На 15 юли лабораторията на Мира Мурати - бивш технически директор на OpenAI - показа Inkling, първия си публичен модел, и го пусна с отворени тегла. Не е малък модел за демонстрация: голям mixture-of-experts клас, мултимодален, с дълъг контекст, който всеки може да свали и върти сам.
- Thinking Machines Lab (основана от Мира Мурати, бивш CTO на OpenAI) пусна Inkling - първия си модел, с отворени тегла.
- Архитектура mixture-of-experts: около 975 млрд общи и ~41 млрд активни параметъра, мултимодален, с контекст до 1 млн токена.
- Отворени тегла = моделът се сваля и върти на собствена инфраструктура, без да минава през чужд API.
Мира Мурати изведе голяма част от продуктовия екип на OpenAI и вдигна една от най-скъпо финансираните нови лаборатории. Досега за Thinking Machines Lab говорехме повече кой я води, отколкото какво прави. Първият им публичен ход не е затворен API зад ключ. Отворени тегла - модел, който всеки може да свали и върти сам.
Кое остава, кое е шум? Тук същественото не е поредното число на бенчмарк, а една дума: отворени. Модел от този калибър, който сваляш и въртиш сам, значи че контролът остава при теб. Данните ти не пътуват до чужд сървър. Цената не скача на всяка заявка. И никой не може да ти дръпне достъпа посред работа. Мурати можеше да тръгне като OpenAI - затворено, зад ключ. Избра обратното. Това е позиция, не техническа подробност.
За нас, които строим върху тези модели, отвореното тегло е разликата между наемател и собственик. Наемателят живее по правилата на хазяина - вдигне ли цената или смени условията, нямаш ход. Един сериозен отворен модел повече на пазара значи една опция повече да не си наемател.