Google Cloud раздели новите TPU чипове на две - 8t за тренировка, 8i за inference. Цена и производителност растат до 2.7 пъти, а един тренировъчен клъстер стига над милион чипа.
- Google раздели TPU поколението на две: 8t за тренировка и 8i за inference (22 април).
- 8t: 12.6 PFLOPs и до 2.7x по-добра цена/производителност; 8i: 10.1 PFLOPs и до 80% по-добър inference.
- Мащабът: над 1 милион чипа в един тренировъчен клъстер; Virgo мрежата свързва 134 000+ чипа.
Един чип за обучение. Друг за мислене. Google Cloud раздели новото поколение TPU точно така - 8t за тренировка, 8i за inference (изпълнение и разсъждение). Архитектурата се дели, защото работата вече не е една.
Кое остава и кое е шум тук? Ключът е самото разделяне - тренировка срещу мислене. Дълго един чип вършеше всичко. Сега Google признава, че да обучиш модел и да го пуснеш да работи са различни задачи - и строи различно желязо за всяка, за да пести ток и пари поотделно.
Числото 'милион чипа' звучи абстрактно, но значи нещо конкретно. Следващите гигантски модели опират не в един по-умен чип, а в това дали можеш да оркестрираш цяла фабрика от тях, без мрежата да се задави. Оттам нататък надпреварата е колкото силициева, толкова логистична.