OpenAI пусна първите измервания на собствения си чип за извод. Твърдят по-висока пропускливост и по-кратко чакане едновременно, което досега се смяташе за размяна. Числата са техни и са мерени от тях.
- Jalapeño е първият собствен чип на OpenAI за извод, а това са първите му публикувани резултати.
- Твърдението е за пропускливост и закъснение наведнъж, не за едното за сметка на другото.
- Чипът е проектиран с AI и е проектиран така, че AI да може да го програмира.
Обявяването на чип е лесната част. Числата идват после и обикновено са по-скромни от сцената.
Дойдоха и не са скромни.
Защо това не е обичайното хвалене
В извода има стара размяна. Пълниш ли машината с повече едновременни заявки, изкарваш повече работа, но всеки отделен човек чака по-дълго. Оптимизираш ли за бързия отговор, машината седи полупразна.
Всеки, който е сервирал модел, познава тоя компромис и си избира едната страна. Твърдението тук е, че не се избира.
Изречението горе е тяхно и е по-интересно от бенчмарковете. Кръгът се затваря: моделите помагат да се направи желязото, върху което после ще вървят, и желязото е нарочно оформено така, че моделът да се справя с програмирането му.
Как го чета
Като заявка, не като резултат. Числата на производител за собствения му продукт са начало на разговор, не край. Ще станат факт, когато някой отвън пусне същите модели на същото желязо и получи същото.
Но посоката е ясна и не е новина само за OpenAI. Големите вече не купуват изчисление, а си го правят, защото сметката за ток по-бързо решава кой оцелява, отколкото сметката за карти.