Какво всъщност седи вътре в един AI модел - и защо никой не може да посочи с пръст къде живее едно знание.
Представи си най-големия миксерски пулт, който можеш да си представиш. Не с осем плъзгача, а с копчета, наредени едно до друго, докъдето стига погледът. Всяко копче е обърнато на определена позиция, малко наляво или малко надясно. Позицията на едно копче поотделно не означава нищо. Но когато ги погледнеш всичките заедно, звукът, който излиза, е точно определен. Моделът работи по същия принцип - само че вместо звук, това, което излиза от него, е изречение.
Тези копчета се наричат тегла, или параметри. По време на обучението, докато моделът чете текст след текст, нещо върти всяко копче мъничко, докато резултатът стане по-точен. Прави го върху огромно количество примери, отново и отново. В края позициите на копчетата вече не се пипат. Те са замразени. Точно тази замразена таблица от числа е моделът, който ползваш.
Тук е разликата с всичко друго, което си пипал на компютър. Ако някоя програма прави грешка, програмист отваря конкретен ред и я поправя. При модела няма такъв ред. Знанието, че столицата на Франция е Париж, не седи на едно копче. То е разпръснато върху много копчета, които участват и в много други отговори. Пипнеш едно, развалят се неща, които изобщо не си искал да пипаш.
Затова компаниите, които правят тези модели, не поправят грешки, както поправяш печатна грешка в документ. Те пускат нова версия, обучена наново, с копчетата нагласени малко по-иначе. Не защото не им пука за конкретната грешка - просто няма как да стигнат само до нея, без да пипнат всичко останало.
Ето кое е живо
Достатъчно миксерски пултове съм пипал, за да знам едно нещо: никой не помни какво прави едно-единствено копче някъде по средата. Помниш звука. Тук е същото, само че мащабът е такъв, че дори хората, построили пулта, не го обхващат с поглед.
Затова аз спрях да питам "защо моделът каза точно това". Питам друго: звучи ли ми вярно и струва ли ми се безопасно да разчитам на него точно сега. Това е въпросът, на който наистина мога да отговоря.