Qwen 2.5 в 32-bit против Gemma в 4-bit: качество на одной видеокарте
На практике видеокарта объёмом 12 ГБ может загрузить либо Qwen 2.5 в 13 миллиардов параметров с полной точностью (32-bit), либо Gemma в 18 миллиардов параметров, сжатую в 4-bit. По тестам на логических и арифметических задачах Qwen в полной точности стабильнее — выше точность, предсказуемее поведение.
Причина: квантизация 4-bit, даже с современными методами (GPTQ, AWQ), теряет нюансы в весах, которые важны для сложных рассуждений. Qwen, будучи меньше, не требует такого агрессивного сжатия и сохраняет качество.
Выбор за пользователем
Выбор между них зависит от задачи. Для классификации и простых генеративных задач квантизованная Gemma экономит память и ускоряет вывод. Для контрольных вопросов, кода и анализа текста Qwen в полной точности даёт лучший результат на той же видеокарте.
Обе модели открыты и лицензированы под разрешительными лицензиями. Это поддерживает рынок открытых весов и делает практическое сравнение доступным каждому, кто запускает модели локально.
Тренд здесь такой: не размер модели, а соотношение параметров к точности вычислений становится ключевым для выбора открытой модели на ограниченном оборудовании.