В текст от 28 септември OpenAI пише, че преди да продължи всяко гранично обучение с подсилване, трябва да се изисква структурирана документация за безопасност. Компанията признава, че истински „safety cases“ като в авиацията и ядрената енергетика са цел, към която още строи.
- Доводът да покрива три слоя: съгласуване на модела, задържане в пясъчника и наблюдение в реално време.
- Предложението: член на друг екип да пише писмено несъгласие, а няколко висши ръководители да имат право на вето.
- По думите на OpenAI практиките се въвеждат в момента. Рамката, която да ги кодифицира, е план.
В авиацията никой не пуска нов самолет с думите „според нас е наред“. Пише се довод: ето риска, ето доказателството, ето кой го е проверил и кой е подписал.
OpenAI иска същото за обучението на най-големите си модели. И го публикува в деня, в който се извинява и на Австралия. Двата текста се четат като въпрос и отговор.
Две точки ми се струват по-важни от останалите. Първата е несъгласието. Преди обучението човек от друг екип пише защо доводът може да е грешен, а авторите трябва да му отговорят. Втората е отговорността: ръководителят на обучението носи довода, включително когато се оценява собствената му работа.
Честно е, че признават границата. Модел, който на всяко ново ниво изненадва създателите си, трудно се описва със строгостта, с която се описва турбина. Затова в текста пише „в идеалния случай“ и „цел“.
Нищо от това не е задължително за другите лаборатории, а самата OpenAI го нарича препоръки, които тепърва въвежда. Интересното ще започне в деня, в който външен одитор прочете такъв довод от край до край и каже какво липсва.