Швейцарские учёные разработали метод компрессии моделей без потери качества
Швейцарский коллектив из ETH Zurich и локальных AI-лабораторий опубликовал метод компрессии, основанный на динамическом отсеивании параметров с учётом их вклада в финальную функцию потерь. Новый подход превосходит стандартные техники квантизации и дистилляции по метрикам сохранения качества.
В тестах на стандартных бенчмарках сжатая модель размером в 40 процентов от исходного сохранила от 92 до 98 процентов производительности в зависимости от типа задачи. Время инференса сократилось в 2–3 раза благодаря меньшему объёму вычислений.
Применение и доступность
Метод применим к моделям любого масштаба, от нескольких миллиардов параметров до триллиона. Авторы продемонстрировали эффект на современных архитектурах трансформеров и предположили совместимость с будущими поколениями моделей.
Сжатые модели становятся доступны для развёртывания на edge-устройствах и локальных серверах с ограниченными ресурсами, что открывает новые сценарии приватной обработки данных. Код метода выложен на GitHub под открытой лицензией.
Исследователи ожидают, что результаты повлияют на изменение подходов к оптимизации и развёртыванию моделей в промышленности, позволяя компаниям избежать дорогостоящих обновлений инфраструктуры.