Всеки производител на чипове казва, че неговият е най-бърз. MLPerf е мястото, където трябва да го покаже по едни и същи правила, пред конкурентите си. Ето как се чете резултатът, без да се хванеш на рекламата.
Представи си автомобилно списание, което кара всички коли по една и съща писта, в един и същи ден, с един и същи шофьор. Рекламата на всяка марка казва нещо свое. Пистата показва едно. MLPerf е пистата.
Трите думи, които решават
Затворена или отворена категория. В затворената моделът е фиксиран и сравнението е честно. В отворената можеш да смениш модела или да го доучиш, затова числата не се сравняват пряко с другите.
Наличен, предварителен или изследователски. Наличен значи, че можеш да го купиш или наемеш днес. Предварителен (preview) значи, че системата трябва да може да се подаде като налична в следващия кръг. Изследователски е експериментален или вътрешен хардуер. Преди да повярваш на голямото число в заглавието, виж от коя кутия е.
Пример от септември 2026: в MLPerf Inference v6.1 NVIDIA подаде Vera Rubin NVL72 за първи път, като предварителен резултат. По данни на NVIDIA системата дава до 3,7 пъти по-висока пропускливост от предишното поколение GB300 NVL72. Резултатът е в затворената категория, но е за машина, която тепърва трябва да стане налична.