Где проходит граница, за которой сжатие модели ломает ответы
Соблазн понятен: чем сильнее сжать веса, тем большая модель поместится в ту же карту. Опыт сообщества показывает, что кривая качества ведёт себя нелинейно и обрушивается на определённом рубеже, а не сползает плавно.
До четырёх бит потери обычно остаются в пределах допустимого. Ниже начинается характерная деградация: модель сохраняет связность речи, но теряет точность в деталях, чаще выдумывает и хуже держит инструкции.
Что выбрать при нехватке памяти
Регулярно повторяемое наблюдение состоит в том, что сильно сжатая крупная модель нередко проигрывает аккуратно сжатой средней. Размер сам по себе не спасает, если разрешающая способность весов упала слишком низко.
Помогает и то, что современные схемы сжимают не все слои одинаково: чувствительные к точности части оставляют в более высоком разрешении. Такие смешанные сборки дают заметно лучший результат при том же объёме файла.
Что это значит
Подробности и первичное описание опубликованы на странице «как работают негативные подсказки», там же собраны условия доступа и ограничения, о которых заявили разработчики.
Похожие материалы и обновления по теме мы собираем в разделе Открытые модели и локальный запуск — он пополняется по мере выхода новых сообщений.