Квантизация GPTQ: веса вдвое компактнее, латенция почти та же

19 октября 2026

GPTQ — это метод квантизации весов до 4-битных целых чисел с калибровкой на репрезентативном датасете. В отличие от наивного квантования, GPTQ компенсирует ошибку округления, пересчитывая остальные веса в каждом слое.

Результат: модель весит вдвое меньше, инференс на один токен замедляется на 10–15%, а перплексия почти не меняется. Для Falcon 180B это означает, что модель можно запустить на одной RTX 4090 вместо трёх.

Распространение в сообществе

GPTQ быстро стала стандартом для публикации моделей в открытых репозиториях. Почти каждая новая модель выходит в четырёхбитной версии параллельно с полнопрецизионной.

Инструмент AutoGPTQ автоматизирует весь процесс квантизации: загрузил модель, указал датасет — получил квантованную версию за несколько часов. Это позволяет даже начинающим разработчикам оптимизировать собственные модели.

Ограничение: если модель очень большая или слои очень чувствительны, качество может упасть заметнее. Для критичных приложений проверка на тестовом наборе обязательна.