Когда форк Mistral переписал модель под RTX 3060: открытость по ресурсам
Разработчики создали форк Mistral с квантизацией и оптимизацией архитектуры, позволяющей запускать модель на видеокартах с 12 ГБ памяти. Изменения коснулись размера слоёв и механизма внимания, что позволило снизить пиковое потребление при сохранении основных способностей модели.
Такой подход демонстрирует, что открытые веса дают сообществу возможность адаптировать модели под конкретное оборудование. Закрытые системы не предоставляют подобной гибкости, оставляя пользователей в зависимости от облачных провайдеров.
Практический результат
Инференс на локальной RTX 3060 стал возможен с приемлемой скоростью — около 15 токенов в секунду на задачах среднего размера. Это позволяет пользователям с доступным оборудованием работать с моделью без облака и без задержек сетевых запросов.
Опыт форка показывает, что открытость модели создаёт экосистему специализированных решений. Каждый может оптимизировать под свои ограничения, вместо того чтобы ждать готового решения от одного поставщика.
Инициатива уже получила около 3000 звёзд на GitHub и активно развивается. Сообщество периодически выпускает новые версии с улучшениями эффективности.