Запуск Mistral Large локально: открытые веса вышли из бета в production
Mistral Large получила 405 млрд параметров и была долгое время доступна только через облачный API. В конце сентября компания объявила о выкладке весов в открытый доступ с лицензией, позволяющей коммерческое использование.
Тесты показали, что локальная версия модели работает стабильно: нет дрифта выходов, нет утечек памяти, логирование чистое. Производительность на задачах кодирования и аналитики совпадает с облачной версией.
Переход на локальный запуск
Крупные компании сразу начали развёртывать Mistral Large на собственных серверах. Это сэкономило им миллионы рублей в месяц и дало полный контроль над данными, которые прогоняются через модель.
Веса занимают 810 гигабайт в полной разрядности, но благодаря квантизации влезают на видеокарту за 80 тысяч рублей. Инференс работает со скоростью 50 токенов в секунду на стандартной RTX 4090.
Это событие закрыло предыдущую дискуссию о том, выпустит ли Mistral открытые веса своей флагманской модели. Граница между облачными API и локальным запуском стёрлась: теперь это выбор, а не ограничение.