Phi-3 Mini на мобильнике: переписал требования к памяти мобильных LLM
Phi-3 Mini достигает производительности более крупных моделей благодаря улучшенному отбору данных для тренировки и архитектурным оптимизациям. На стандартном смартфоне модель выдаёт ответ за 2-3 секунды при входе в несколько сотен токенов.
Microsoft опубликовала инструменты для квантизации и оптимизации модели под конкретные чипы мобильных процессоров. Поддержка включает не только Android, но и iOS благодаря использованию стандартных операций.
Сдвиг в мобильном AI
До этого практический запуск LLM на телефоне требовал специализированного оборудования или облачного подключения. Phi-3 Mini показывает, что полезная модель может жить на устройстве со стандартной конфигурацией памяти.
Приложения теперь могут давать ответы оффлайн, без отправки данных на сервер. Это открывает сценарии для приватных чатов, обработки документов и локального кодовспомощника на мобильных устройствах.
Результат переписывает представления разработчиков о том, где может жить полезная LLM, и стимулирует инвестиции в оптимизацию моделей для локального запуска на потребительском железе.