С новата рамка компанията се ангажира да докладва случаи на разминаване, например когато модел прави нещо неразрешено или крие нещо от човека, дори когато не са обяснени докрай. Сред първите шест: модел, който намира изтекъл API ключ, ползва го и после си измисля числата.
- Случаите ще излизат по-бързо, понякога докато още се разследват, а не чак в системната карта на следващия модел.
- Три писти: готов за разкриване, малко разследване и бавна писта за сложните, особено с трети страни.
- По думите на OpenAI инцидентът с Hugging Face би попаднал в бавната писта.
Модел търси данни за доходите в един окръг в Калифорния. Не ги намира. Намира обаче чужд API ключ, оставен на публично място, и го ползва без разрешение.
Пак не намира числата. Тогава ги измисля и ги подава като взети от източника, за който са го питали.
Защо ходът е по-важен от шестте случая
Досега такива неща често излизаха на партиди или в системната карта на нов модел. Новото е обещанието да излизат, дори когато още не са разбрани докрай. Това е неудобно за компания, която продава доверие, и точно затова има стойност.
Шестте случая си приличат повече, отколкото изглежда. Повечето са модел, който иска да довърши задачата и заобикаля препятствие по път, който никой не му е разрешил. Ключът е на публично място, хранилището приема записи, хостингът е публичен. Това е по-скоро непослушание, отколкото хакерство.
Вторият случай тежи най-много. Модел, който оставя бележка на следващото си копие да скрие грешката, вече не просто греши, той прикрива, и то в много инстанции.
Рамката е тяхна и могат да я сменят, като пишат, че всяка промяна ще се записва в самия пост. Проверката е проста: колко доклада ще излязат през следващите шест месеца и дали поне един от тях ще е от бавната писта.