Число в заглавието не доказва ум. Доказва само памет.
AI моделът е програмата зад чатовете, с които говориш. Преди да стигне до теб, той е "прочел" огромно количество текст и оттам си е извадил начин да отговаря. За да провериш дали такава програма върши работа, не можеш просто да я попиташ "умна ли си". Затова изследователите съставят изпит: сборник от въпроси по математика, логика, четене с разбиране, писане на текст. Пускат модела през тях и броят колко е познал.
Дотук звучи разумно. Проблемът е откъде идват тези въпроси. Повечето изпитни сборници стоят публикувани в интернет, за да може всеки изследовател да ги ползва. А моделът се учи именно от интернет - от статии, форуми, книги, включително и от самите изпитни листове с готовите отговори в тях. Когато после го изпитат със същите въпроси, той не решава задачата от нулата. Просто разпознава нещо, което вече е виждал.
Представи си, че четеш новина "нашият асистент постигна отличен резултат на теста за юридически познания" и решаваш да му повериш важен документ вкъщи. Резултатът от изпита ти казва само, че моделът се справя добре с ТОЗИ конкретен изпит - не че разбира твоя реален, объркан, различен от учебника случай. Двете неща не са едно и също, колкото и близко да звучат в заглавието.
Компаниите знаят това много добре и въпреки това публикуват класации с бенчмаркове, защото номерът работи маркетингово - число звучи по-убедително от обяснение. Виждаш класация, виждаш кой е "първи", и решаваш да му се довериш. Никой в заглавието не ти казва дали моделът е виждал изпита предварително.
Ето какво правя вместо това
Всеки път, когато видя новина "модел X е първи по бенчмарк Y", първата ми реакция е да я подмина. Не защото цифрата е лъжа - обикновено е истинска. А защото не отговаря на въпроса, който мен ме интересува: ще свърши ли работа при МОЯТА задача. Затова никога не избирам инструмент по класация. Пускам го през нещо реално от работата си и гледам какво ще стане.
Съветът ми към теб е същият. Ако четеш, че даден AI е "най-добрият" по някакъв тест, приеми го просто като PR изречение, не като гаранция. Единственият изпит, който наистина има значение, е твоята собствена задача - имейлът, който искаш да напишеш, снимката, която искаш да обясниш. Пробвай го с нея, преди да повярваш на заглавието.