Fp8 квантизация: компромисс между скоростью и точностью ответов
Fp8 (8-битные числа с плавающей точкой) заняли нишу между скоростью и сохранением знаний в модели. В отличие от целочисленной 8-битной квантизации Int8, fp8 лучше удерживают динамический диапазон активаций и весов.
Исследования показали, что на LLaMA и Mistral деградация метрик задерживается до величин в пределах 1-2%, что для большинства задач незаметно. На некоторых бенчмарках fp8 совпадает с 16-битным исходником.
Поддержка в железе и ПО
NVIDIA H100 и более новые GPU имеют встроенные тензорные операции для fp8, что ускоряет вычисления в 4-5 раз против fp16. Фреймворки вроде vLLM, TensorRT и DeepSpeed уже встроили автоматическую квантизацию.
Для локального запуска на потребительском оборудовании fp8 менее эффективна, но экономит на загрузке весов и может пригодиться на маломощных GPU. Библиотеки типа bitsandbytes упростили применение квантизации несколькими строками кода.
На практике fp8 стала переходным шагом перед дальнейшим сжатием: 4-битные квантизации уже активно вытесняют fp8 на потребительском железе, но на датацентрах fp8 остаётся эконом-вариантом.