Gemma 2 открыла веса и требует на 30% меньше памяти чем Llama
Google опубликовала полные веса Gemma 2 — обновления базовой модели с улучшенной архитектурой. По заявлениям разработчиков, модель требует на 30% меньше памяти, чем Llama 2 того же размера параметров, при сопоставимых или лучших результатах на бенчмарках.
Экономия достигнута за счёт оптимизации многоголовых механизмов внимания и переструктурирования слоёв. Веса выпущены под лицензией, позволяющей коммерческое использование.
Что это значит для локального запуска
Модель 27B теперь помещается на одну видеокарту RTX 4090 с комфортным запасом, что раньше требовало шардирования. Поддержка quantization позволяет запустить её даже на картах с 16 Гб памяти.
Интеграция в vLLM и Ollama прошла быстро: сообщество уже делится конфигурациями для оптимального инференса. Gemma 2 становится привлекательной альтернативой для локального использования на потребительском оборудовании.
Google также выпустила инструмент для quantization, что упрощает развёртывание модели на устройствах с ограниченной памятью.