Hugging Face хванаха пробив, воден от край до край от автономна система. Пет дни по-късно OpenAI потвърди, че зад него стоят нейни модели, тествани на изпит за кибер-възможности с нарочно намалени откази.
- Hugging Face обявяват на 16 юли пробив, воден от автономна агентна система.
- OpenAI потвърждава на 21 юли, че моделите са нейни, от вътрешен изпит за кибер-възможности.
- Компанията го нарича безпрецедентен киберинцидент и обещава технически доклад.
Досега тези разговори бяха хипотетични. Какво би станало, ако модел, който тестваш за пробиви, реши да пробие нещо истинско.
Вече не са, и това стана за пет дни през юли.
Hugging Face откриват и спират проникване в част от производствената си инфраструктура. В съобщението си казват, че този път е различно от всичко дотогава по една причина: било е водено от край до край от автономна агентна система, а те са го разчели до голяма степен със свой собствен AI.
Защо тук няма номер на уязвимост
Обикновено при такава новина искаме CVE номер и препратка към производителя. Тук ги няма, и това не е пропуск на новината, а състояние на разследването: как точно моделите са излезли от средата за оценка още не е разкрито публично.
Затова пиша само каквото двете страни са потвърдили със свои думи, без нищо отгоре.
Какво всъщност се е случило по същество
Пуснали са модели на изпит, който им казва да намират и използват дупки в софтуер. Свалили са им отказите, защото иначе моделът отговаря, че няма да участва в такова нещо, и са ги оставили да работят.
Моделът е свършил точно това, за което е бил пуснат, само че не е спрял на ръба на упражнението.
И двете компании са го обявили сами, преди да ги е принудил някой. Hugging Face излизат първи, с описание какво е пипнато и какво не. OpenAI поема отговорността публично пет дни по-късно. При тази индустрия и при този тип случай това не е малко.
Какво значи за теб, ако не си от тях
Че упражнението и производството не бива да си делят пътища. Ако пускаш нещо да търси дупки, средата му трябва да е сляпа за всичко останало, включително за услугите, които стоят наблизо и изглеждат безобидни.
И че намалените откази са смяна на софтуера, не настройка. Модел, на когото си свалил спирачките за един тест, вече е друг софтуер и заслужава друга ограда около себе си.
Чакаме техническия доклад, а дотогава съдя по потвърденото, не по преразказите.