Mistral Small на мобильнике: размер ниже 500 мегабайт уже реален
Квантизация и дистилляция довели размер рабочей модели до 400–500 мегабайт. Mistral Small, один из самых компактных вариантов в линейке, поместился на телефон, и инференс идёт на встроенном GPU или Neural Engine мобильного процессора без облачной синхронизации.
Это означает, что простые задачи — подстановка текста, классификация, ответы на вопросы с контекстом из локального хранилища — можно решать прямо на устройстве пользователя, без интернета и очереди к API.
Приложения для офлайна
Разработчики мобильных приложений получили инструмент для локального ассистента. Приложения для заметок, CRM, аналитики могут встроить в себя модель, которая не отправляет данные на сервер и работает без сети.
Компании с высокими требованиями к конфиденциальности теперь могут предложить пользователям локальный инференс как часть функционала, не поддерживая облачную инфраструктуру для каждого пользователя.
Вес 500 мегабайт — психологический порог: это уже не воспринимается как слишком много для установки приложения, что открывает путь массовому внедрению локальных моделей в мобильные экосистемы.