MTIA 300 е първият ускорител на Meta, построен да обучава модели, а не само да отговаря с готови. Мерникът са системите за препоръки и класиране, а мрежата е вградена в самия силиций. По данни на Meta общото време за комуникация пада 3,9 пъти спрямо равностоен клъстер с графични чипове.
- Първият чип на Meta, построен да ОБУЧАВА модели, не само да ги изпълнява.
- Дванадесет собствени мрежови карти по 800 гигабита в секунда, вградени в самия чип, за общо 1,2 терабайта в секунда.
- По данни на Meta паралелната комуникация сваля скоростта с под 0,5 процента, срещу над 20 при графичните чипове.
Отвори капака на новия чип на Meta и вътре ще намериш нещо, което обикновено стои на отделна платка. Дванадесет собствени мрежови карти, залепени направо в силиция. Не до чипа. В него.
Досега MTIA правеше едно нещо добре: да отговаря бързо, когато вече обучен модел трябва да ти върне резултат. MTIA 300 е първият от фамилията, построен да учи модела, не само да го изпълнява. Мерникът са системите за препоръки и класиране, тези, които решават какво виждаш в лентата.
Комуникацията не е добавка
При графичните чипове смятането и разговорът между машините се редят на една и съща опашка. Пуснеш ли съобщение, докато чипът смята, скоростта при обичайните клъстери пада с над 20 процента. Тук спадът е под половин процент, защото съобщенията си имат свои модули и не влизат в надпреварата.
Числото звучи техническо, но се плаща в истински часове. Модел за препоръки не се тренира върху един чип, а върху хиляди, които непрекъснато си разменят резултати. Всяка загубена секунда в този разговор се умножава по броя им.
Всичко тук е мерено от Meta, върху техните собствени модели. Чипът работи в шкаф днес и това е факт. Дали цифрите ще устоят, когато някой отвън ги повтори, ще разберем от някой отвън.