NVIDIA пусна ново семейство модели за търсене по смисъл и обяви, че най-голямото им застава начело на класацията RTEB. Числата са на самата компания, но зад тях има реална част: малкият модел върши почти същото на много по-ниска цена, а точно това опира до нашите проекти.
- NVIDIA пусна Nemotron 3 Embed - модели, които превръщат текст в числа, за да се търси по смисъл (за RAG и агентско търсене).
- По данни на NVIDIA най-големият вариант (8B) е номер 1 на класацията RTEB с резултат 78.5%.
- Има и малък вариант около 1B, който по думите им пази над 99% от точността на големия - това е важната част.
Един embedding модел прави проста на пръв поглед работа: превръща текст в дълъг ред числа, така че машината да сравнява смисъл, а не букви. Две изречения, които казват едно и също с различни думи, получават близки числа. Оттам тръгва всичко, което наричаме търсене по смисъл - агентът рови в твои документи, намира точния абзац и отговаря по него, вместо да съчинява. Колкото по-добър е моделът в тази стъпка, толкова по-малко глупости връща агентът.
Това мирише на хайп - вендор, който сам обявява, че сам е номер 1 на класация, е най-старият номер в бранша. Затова първо го маркирам ясно: това са данни на NVIDIA на един бенчмарк, не независима присъда. Но да съм честен, като разчоплиш, отдолу има същина. RTEB не е измислена вчера класация - тя мери точно това, което ни трябва: колко вярно моделът намира правилния текст. И интересното не е първото място на 8-милиардния гигант, а малкият брат около милиард параметъра, който по думите им върши почти същото. Първото място е за заглавие. Малкият модел е за работа.
Ето какво купуваш реално за нас. Голям модел на върха на класация се върти скъпо - плащаш ток и хардуер за всяка заявка към агента. Малък модел, който пази точността, значи същото търсене по смисъл, но евтино и на място, без да пращаш всеки въпрос навън. За RAG върху наши документи разликата не е в третия знак след запетаята на бенчмарка, а в сметката за месеца. Числата ще ги проверим сами, когато го пробваме на нашите текстове - защото класацията е тяхна, а сметката е наша.