На 30 септември OpenAI съобщи, че е прекъснала координирана кампания за враждебна дестилация, започнала на 1 юли. Ядрото на активността компанията приписва на лица, свързани с Moonshot AI, разработчика на Kimi. Криптиране не е разбито. Пряк достъп до съхранени разговори на потребители не е имало.
- Пиковете са на 24 и 25 юли: 16 000 заявки от над 4000 потребители. Свързан клъстер от над 15 000 потребители е прекъснат до 28 юли.
- OpenAI уточнява, че числата са за опити, не непременно за успешни извличания.
- Затворен е път, по който чуждо криптирано мислене можеше да се „преиграе“ и разчете.
Копираш криптираното мислене на модела от един разговор. Отваряш друг и молиш модела да ти го разшифрова и препише.
Това е един от начините, описани от OpenAI. Не е разбиване в класическия смисъл, никой не е влизал в база данни. Моделът е бил помолен да прочете на глас нещо, което е трябвало да остане скрито, и OpenAI е затворила път от този тип.
Защо някой ще краде разсъжденията, а не отговорите? Защото отговорът казва какво, а мисленето казва как. Ако обучаваш свой модел, „как“ е по-ценното. OpenAI добавя и по-опасната страна: така се пренася способност без предпазителите, сложени върху видимия отговор.
Две неща не знаем. Колко от опитите са успели, защото самата OpenAI казва, че числата са за опити. И какво казва Moonshot, защото тяхна дума в текста няма.
Ако правиш услуга, която пренася мисленето на модел между сесии или акаунти, OpenAI изрично предупреждава, че системите с преносими или повторно изпълними разсъждения може да имат сходни рискове. Това изречение е за инженерите, не за заглавията.