Liquid AI пусна LFM2.5-2.6B - модел, изграден от начало докрай за агенти на телефон и лаптоп: следва инструкции, борави с инструменти, дава 220 токена в секунда на процесор Apple M5 Max, а теглата са свободни в Hugging Face. По данни на компанията води в класа си на повечето агентски тестове.
- LFM2.5-2.6B: модел с 2,6 милиарда параметъра от Liquid AI, строен за агенти на устройството; тегла свободни в Hugging Face (04.08).
- По данни на Liquid AI: първи по следване на инструкции сред тестваните и водещ по работа с инструменти на повечето тестове (без BFCLv4).
- 220 токена в секунда на Apple M5 Max и 113 на AMD Ryzen - на чист процесор; поддръжка за llama.cpp, MLX, vLLM, ONNX.
Малкият модел дълго беше орязано копие на големия - същите амбиции, по-малко мозък. Тук е обратно. Малък модел, трениран от край до край за една единствена работа: да бъде агент.
Ето кое издържа на скептичното ми око: сами пишат къде не водят. Бенчмарк от вендор четеш с уговорка - мерили са своето и избрали какво да покажат - но таблица, в която признаваш загубен тест, тежи повече от таблица само с първи места.
По-интересна ми е самата тренировка. Последният етап е reinforcement learning вътре в истински агентски харнеси - моделът учи не разговор, а работа: да извика инструмент, да прочете резултата, да продължи. Тук е зрелостта на категорията - on-device моделът вече се строи за конкретния впряг, с агентската работа заложена още от тренировката.
Смятам да го пробвам сам. Рутинните ти задачи - класификация, извличане, локален асистент по документи - не искат гигант в облака. Носят ли 2,6 милиарда параметъра на лаптоп стабилно тази работа, тежкият модел остава само за тежката задача. Проверката е лесна, защото теглата са публични.