Мерните единици, които решават всичко в чипа
HBM (High Bandwidth Memory, памет с висока пропускателна способност) не е памет като тази в лаптопа ти. Подредена е на етажи и залепена директно върху процесора през тънък силициев мост, за да пътуват данните на милиметри през платка, вместо на сантиметри. При новите чипове на Nvidia за AI скоростта стига 8 терабайта в секунда. Звучи като детайл за инженери. Не е. Не смогва ли паметта да храни процесора с данни достатъчно бързо, той просто седи и чака - скъпият силиций бездейства, а сметката тече. Затова битката вече не е само 'кой прави по-бърз чип'. HBM произвеждат малко компании, а опашката за тяхната продукция понякога е по-дълга от опашката за самите процесори.
FLOPs (floating point operations per second, операции с плаваща запетая в секунда) е единицата, с която се мери суровата изчислителна мощ на чип или на цял център. Мисли за нея като за конски сили, само че за смятане, вместо за движение. Проблемът е, че голямото число само по себе си лъже - зависи с каква точност смята машината. Затова FLOPs никога не идва самичко. Идва с етикет: FP32, FP16, FP4 - тоест 'колко цифри след запетаята пазя, докато смятам'.
Тук е финтът, който направи цялата индустрия по-евтина. Смятане с максимална точност е като да мериш с шублер там, където ти трябва само линия с молив - вярно, но бавно и скъпо. bfloat16 и FP4 казват на чипа: смятай приблизително, достатъчно точно да не объркаш отговора, достатъчно грубо да е бързо и да пести памет. При обучение на модел точността тежи. При отговор на въпрос - не толкова. Затова компаниите обучават с по-висока точност и пускат готовия модел да отговаря с по-ниска. Резултатът е видимо по-евтин модел, без забележима разлика в отговора.
И тук идва обратът, който малцина очакваха преди две години: спирачката вече не е чипът, а токът. OpenAI (компанията зад ChatGPT) строи заедно с Oracle (софтуерен и облачен гигант) проект с прицел около 10 гигавата мощност - колкото няколко атомни централи накуп. Не защото не могат да купят повече чипове. А защото никой ток не им стига да ги захранят. Разрешително за нов енергиен обект отнема години. Чип се произвежда за месеци. Затова индустрията вече не се хвали само с 'колко чипа купихме', а с 'колко мощност си осигурихме'.
Това е важното
Когато прочетеш новина 'компания X купи огромна партида чипове', не виждаш другата новина зад нея - за трафопост, за договор с електроразпределително дружество, за нов реактор или соларен парк, който трябва да е готов, преди чиповете изобщо да заработят с пълна сила. AI индустрията говори езика на силиция, но живее по правилата на енергетиката.
Аз си играя с малки модели вкъщи - карта, вентилатор, скромна сметка за ток. Смешно е да сравнявам стаята си с гигаватов център, но разликата е само в мащаба - природата на нещото е същата. И при мен, и при тях чипът е скъпата играчка, а токът е сметката, която реално решава докъде стигаш. Затова когато чуеш 'нов супер чип', питай на първо място колко яде. Следващата голяма новина в тази индустрия няма да е за процесор. Ще е за електроцентрала.