Яндекс выпустил облегченную версию своей языковой модели для мобильных устройств
Яндекс опубликовал облегченную версию своей языковой модели, оптимизированную для работы на мобильных устройствах. Модель содержит 2 миллиарда параметров против 100 миллиардов в полной версии и требует менее 5 гигабайт свободного места.
Компактная версия способна работать на смартфонах последних поколений без постоянного подключения к интернету. Качество ответов достаточно для типичных задач — поиск информации, написание коротких текстов, ответы на вопросы.
Особенности реализации
Яндекс использовал квантизацию весов и прунинг архитектуры для снижения потребления памяти и энергии. Модель оптимизирована для процессоров ARM и может использовать ускорители, встроенные в современные чипсеты мобильных устройств.
Облегченная модель будет доступна как через приложение Яндекса, так и для разработчиков мобильных приложений через SDK. Компания планирует регулярно улучшать качество компактной версии.
Выпуск демонстрирует тренд на демократизацию ИИ и смещение части вычислений из облака на устройства пользователей, что повышает приватность и снижает зависимость от сетевого подключения.