Mistral NeMo запустили на MacBook Pro: Metal инференс в боевых условиях

7 октября 2026

Французская компания Mistral опубликовала бинарник NeMo для macOS, использующий Metal для ускорения на GPU Apple Silicon. Модель весом 12 миллиардов параметров теперь работает на MacBook Pro с достаточной скоростью для интерактивного использования даже при ограниченной памяти.

Ключевое достижение — эффективная квантизация и маршрутизация вычислений между ядрами процессора и графикой. Metal API позволяет Mistral избежать типичной проблемы мобильных GPU: узкого канала памяти между CPU и GPU.

Практический результат

На MacBook Pro M3 Max модель NeMo 12B показывает 50–70 токенов в секунду, что близко к облачным сервисам при нулевой задержке и полной конфиденциальности данных. Пользователи смогут запускать код-помощники, текстовые аналитики и небольшие агенты прямо на своём ноутбуке.

Результат важен не столько для мейнстрима, сколько для профессиональных инструментов: текстовые редакторы, IDE и специализированное ПО смогут встроить мощный языковой движок без зависимости от интернета.

Mistral демонстрирует, что оптимизация под конкретное железо окупается масштабом: пользователей MacBook достаточно, чтобы потратить ресурсы на поддержку платформы.