Накратко: моделът е камара числа, наречени тегла. Квантизацията записва всяко от тях с по-малко знаци. Файлът олеква, но числата вече не са съвсем същите.
Мисли за това като за закръгляне. Цената на 7,48 евро може да се пише 7,5 и всеки разбира за какво става дума. Така се печели място. Така се губи и точност. Колко точност, зависи от начина на закръгляне и от това кои числа закръгляш. Затова една и съща квантизация е почти невидима за един модел и усеща се при друг. Единственият начин да разбереш е да го пуснеш и да измериш.
Пример: NVFP4 при DeepSeek V4.1 Flash
На 30 октомври 2026 г. NVIDIA публикува DeepSeek V4.1 Flash квантизиран в NVFP4. По данни на NVIDIA чекпойнтът е около 400 GiB, а оригиналът в MXFP4 е около 475. Най-поучителното е в дребния шрифт на картата: експертните тегла са преминали конверсията без загуба, а таблиците на Engram, паметта на модела, са конвертирани със загуба. Картата добавя и че теглата без загуба не значат еднакви изходи при инференс. Тоест дори при конверсия без загуба изходът пак може да се различава от оригиналния. Проверката остава твоя: пусни модела със своя двигател и сравни на свои задачи.
Визуалът е генериран код-арт, без чужди изображения.