Квантизация INT8 вместо float32: потери качества меньше чем ожидали
Группа исследователей провела систематическое сравнение моделей при квантизации с 32-битной вещественной арифметики на 8-битную целую. На бенчмарках по генерации текста, классификации и семантическому поиску потери качества оказались минимальными — в пределах статистической погрешности.
Критическое открытие: потеря точности не накапливается линейно. Если модель хорошо обучена, она выносит квантизацию INT8 почти без замечаний, потому что веса уже распределены оптимально. Особенно устойчивы трансформеры с нормализацией слоёв.
Технические последствия
Сжатие в четыре раза означает, что модель весом 50 гигабайт теперь занимает 12–13 гигабайт без значимой потери качества. Это открывает путь к запуску больших моделей на потребительском оборудовании, которое раньше не выдерживало только по памяти.
Производители GPU и фреймворков уже добавляют нативную поддержку INT8, так что квантизация становится одним кликом вместо сложной процедуры. Это ускоряет и упрощает развёртывание моделей.
Результаты меняют экономику локального запуска: теперь легче купить бюджетный GPU с 6–8 гигабайтами памяти, чем арендовать облачный сервис с большей видеокартой.