Новый метод сжатия моделей снизил размер без потери качества на 35 процентов
Учёные опубликовали методику, которая снижает размер больших языковых моделей на 35 процентов, сохраняя их точность и скорость работы. Подход основан на избирательном удалении и квантизации параметров, которые вносят минимальный вклад в вывод сети.
Сжатие облегчает развёртывание моделей на устройствах с ограниченной памятью и ускоряет инференс. Тест на стандартных бенчмарках показал, что качество ответов остаётся на уровне оригинальной версии.
Применение и перспективы
Метод уже протестирован на нескольких архитектурах LLM и показывает стабильные результаты независимо от размера исходной модели. Это расширяет доступность передовых решений для организаций с ограниченной вычислительной мощностью.
Авторы работы планируют открыть код реализации и создать интегрированный инструмент для автоматизированного сжатия пользовательских моделей.
Подход может стать стандартом для подготовки моделей к production-среде и мобильным приложениям.