Когда float8 сломал модель: почему квантизация требует пересчёта

30 октября 2026

Исследование выявило, что при переводе моделей в формат int8 или float8 инженеры часто используют глобальную шкалу квантизации для всех весов. Это приводит к избыточной потере информации в слоях, чувствительных к точности: слоях внимания и нормализации.

Проблема усугубляется при использовании популярных инструментов вроде AutoGPTQ и bitsandbytes: они не всегда автоматически адаптируют шкалу к архитектуре модели. Результат — заметное падение качества на вопросах, требующих логического вывода.

Решение требует анализа

Правильный подход требует калибровки по репрезентативному датасету: для каждого слоя вычисляется свой коэффициент масштабирования в зависимости от распределения весов. Это замедляет подготовку модели, но сохраняет качество.

Некоторые команды переходят на асимметричное квантование или гибридные схемы, где критичные слои остаются в float16. Это увеличивает размер модели на 10-15%, но гарантирует стабильность инференса.

Вывод: при локальном развертывании проверять качество квантизированной модели на тестовом наборе задач, специфичном для вашего применения, а не полагаться на стандартные бенчмарки.