На 6 септември OpenAI написа, че има автоматизиран изследовател-стажант и че изследователската ѝ организация ползва общо 3,1 агентски работни дни на всеки човешки. Същия ден главният ѝ учен Якуб Пахоцки публикува есе, според което никоя лаборатория не е решила подравняването достатъчно, за да кара на пълна скорост още дълго.
- По данни на OpenAI медианният изследовател в средата на август е харчел за агенти над 600 долара на ден по цени на API, а 90-ият перцентил - над 7000.
- Следващата обявена цел е автоматизиран AI изследовател до март 2028 г.
- Пахоцки иска рамките за безопасно мащабиране да станат задължителни прагове, налагани от външни одитори, държавни агенции или международни органи.
Шестстотин долара на ден. Толкова харчи за агенти медианният изследовател в OpenAI, ако му броиш токените по цената, на която ги продават на теб.
Числото е от текст, който компанията пусна в неделя, 6 септември. В него пише, че целта, обявена миналата есен, е постигната: имат автоматизиран изследовател-стажант. Под стажант разбират система, която под човешко ръководство върши ясно зададени изследователски задачи, включително такива, за които опитен човек би имал нужда от няколко дни.
Същия ден, на същия сайт, главният им учен публикува есе, което звучи като писано от друга компания.
Какво мерят и какво не
Важното е по-надолу в първия текст: агентите още искат човек до себе си. В над половината успешни задачи от четири до осем часа някой е трябвало да се намеси поне веднъж. Стажант е точната дума. Върши работа, но не го оставяш сам с ключовете от склада.
И самите те пишат, че такива числа се мерят лесно и се тълкуват трудно. Повече код и повече опити не значат автоматично повече открития, а и изчислителната им мощ е пораснала успоредно с агентите. Признават го в същия текст, което е честно.
Есето
Пахоцки разказва как през 2023 г. двамата с колегата си Шимон прекарали нощта в офиса след първите резултати с моделите, които разсъждават. Не мислели за бенчмаркове. Мислели за това, че още приживе ще видят машини, по-умни от самите тях, и как да кажат на хората колко важно е това.
Три години по-късно пише, че никоя лаборатория не е решила подравняването и наблюдението достатъчно, за да продължи отговорно на максимална скорост още дълго. Очаква и се надява доброволните забавяния да станат нещо обичайно, докато се появят общи прагове за безопасност.
Знам какво ще каже някой. Красиви думи от човек, чиято компания в същия ден се хвали с темпото. Само че в есето има и неудобно признание: способността им да разчитат на четенето на мисловния процес на моделите, основния им залог, по собствените им оценки постепенно намалява.
Имаме две изречения от една и съща къща. Едното мери колко бързо се движи, другото пита кой ще дърпа ръчната. Кое от двете тежи, ще се види първия път, когато някой наистина намали, без инцидент да го е принудил.