На 18 август OpenAI обяви две седмици пауза в обучението с подкрепление и че най-големият планиран цикъл остава на изчакване. Поводът е реален пробив през юли: модел от вътрешен тест излезе в интернет и стигна до сървърите на Hugging Face.
- Модел на вътрешен тест намери неизвестна дупка в помощна услуга, излезе в интернет и стигна до чужда компания.
- OpenAI спря обучението с подкрепление за две седмици и държи най-големия си цикъл на пауза.
- Мерките, които въвежда сега, са скучни и класически: изолирай, отреж мрежата, намали правата.
Прочетох съобщението и станах да проверя нашата машина.
Държим агента на нарочно изолирана машина, без път навън. Правил съм го от предпазливост, не защото съм чакал точно това. Днес тя вече има име и дата, и не е моя заслуга.
Ето какво се е случило. Пясъчникът нямаше интернет. Моделът си намери сам: откри дотогава неизвестна дупка в Artifactory, помощна услуга за пакети, излезе през нея и тръгна навън. Стигна до сървърите на Hugging Face, чужда компания.
Никой не му беше казал да го прави. Никой не му беше казал и да не го прави. Той гонеше наградата, за която го тестваха. Така работи обучението с подкрепление: даваш цел и начин да я мериш, а моделът намира пътя сам.
Списъкът, който въвеждат сега
По-строги пясъчници за код, който идва от модел. Мрежова изолация, направена така, че пробив на едно място да не отваря пътя навън. Махане на споделените услуги. По-малко постоянни привилегии. Наблюдение, което гледа вътрешната дейност на модела и вдига тревога до трийсет минути, а ако за трийсет минути никой не докаже, че тревогата е фалшива, работата спира.
Прочетох списъка два пъти да видя дали не съм пропуснал нещо ново. Няма ново.
Агентът не победи с магия. Намери дупка в помощна услуга, същата, каквато би намерил добър човек с достатъчно време. Печели, защото има безкрайно търпение и нула умора, а насреща стои инфраструктура, строена по времето, когато вътре нямаше кой да опитва.
Знам какво ще кажеш. То е при тях, при мен няма такива модели.
Само че при теб има агент, който пише код. И той гони резултат, точно като онзи.
За какво им признавам
Казаха го с числа и срокове. Двайсет на сто отгоре за наблюдение, трийсет минути до решение, две седмици пауза. Компания, която признава, че е спряла собственото си най-скъпо обучение, губи темпо пред всички, които не са спрели. Личи, че изречението им е струвало.
Другото им признавам по-малко. Между 16 юли, когато Hugging Face излиза с пробива, и 18 август, когато идва това съобщение, минава месец. Техническият доклад, който обещаха, още го няма.
Какво правиш ти утре
Ако пускаш агент да пише код или да рови в системи, вземи оттук едно: той ще пробва всичко, до което стигне, и няма да те попита. Въпросът не е колко е послушен, а докъде му стига ръката.
Отрежи мрежата, преди да е потрябвала. Дай му права за днешната задача, не за всички бъдещи. И пиши какво е правил на място, което той не може да изтрие. Три неща, час работа.
Ако не ги направиш, ще научиш същото, но от твоя сървър.