Преди да отговори, добрият AI първо проверява твоите документи. Не разчита само на паметта си.
Моделът, това е програмата зад чатбота, е научил езика си от купища текст в интернет. Когато го питаш нещо, той не отваря книга да провери. Той досеща по това, което е виждал много пъти преди. Звучи уверено. Понякога е вярно. Понякога е измислица, написана със същия тон на сигурност.
RAG прави нещо просто. Преди моделът да отговори, той първо претърсва определен набор от документи - твоите бележки, вътрешните правила на фирмата, старата преписка - и намира частта, която е по темата. После пише отговора, стъпвайки точно върху нея.
Представи си, че питаш работния чатбот колко дни отпуска ти остават. Обикновен модел познава по това какво обикновено пише в подобни разговори, и може да сгреши. Системата с RAG прави друго. Преди да отговори, отваря истинския ти запис в Личен състав, чете точното число и чак тогава ти казва. Не гадае. Чете.
Аналогията, която ми харесва тук, е справочник под ръка. Има хора, които отговарят по памет - начетени са, говорят уверено, но понякога цитират нещо отпреди години, което вече не важи. И има хора, които преди да отговорят, посягат към актуалния наръчник на бюрото, намират точния ред и чак тогава говорят. RAG е моделът, обучен да прави второто.
Фирмите слагат RAG на вътрешните си системи, защото документите им се менят непрекъснато. Цени, договори, вътрешни правила. Да пренаучаваш целия модел всеки път е бавно и скъпо. По-лесно е да обновиш документите, а моделът да продължи да търси в тях коректно.
Ето кое ме радва
Истината е, че RAG е признание. Признание, че суровият модел не знае нещата ти - той ги отгатва добре облечени в увереност. Фирмите не сложиха търсене отгоре, защото е лукс. Сложиха го, защото увереният грешен отговор в бизнеса струва пари и доверие. За мен, като човек, който строи такива системи, изборът е между разказвач и библиотекар. Разказвачът е по-забавен за слушане. Но когато питаш за твоя отпуск, твоя договор, твоите пари, искаш библиотекаря.