Дистилляция Qwen перевела 72B модель в 8B без потери по benchmarks
Дистилляция Qwen-72B в 8-параметровую версию показала сохранение оценок на популярных бенчмарках вроде MMLU и HellaSwag. Полученная модель работает на потребительском железе и при этом демонстрирует практически идентичное качество на задачах понимания текста.
Метод обучения основан на классических техниках дистилляции с добавлением синтетических данных, которые генерирует исходная крупная модель. Процесс занимает несколько недель на кластере A100.
Применение и следствия
Компактная версия подходит для мобильных приложений, встроенных систем и массового развёртывания на серверах без дорогого оборудования. Скорость инференса растёт в 5—10 раз.
Авторы публикуют дистиллированные веса в открытом доступе, что даёт разработчикам готовый вариант вместо необходимости переучивать модель самостоятельно.
Подход демонстрирует, что размер моделей — не главный фактор качества, и поощряет инвестиции в методы сжатия и оптимизации вместо бесконечного масштабирования.