Форк GPT-2 под русский язык требует всего 768MB: локализация сработала
Сообщество выпустило компактный форк GPT-2 с русским токенайзером и урезанными весами, который работает на устройствах с ограниченной памятью. Стандартная GPT-2 весит 1.5 GB, русская версия занимает 768 MB за счёт удаления редких англоязычных токенов и низкоактивных нейронов.
Качество на русских текстах при этом выше, чем у оригинала: модель обучалась на корпусе из комментариев, статей и форумов, поэтому лучше ловит разговорный стиль и современные выражения. Инференс идёт на одном процессорном ядре за доли секунды.
Для кого это важно
Такие весы решают задачу локального запуска для школ, небольших компаний и любителей, которые не могут себе позволить облачное API или хотят избежать отправки текстов на сторону. На мобильных устройствах и Raspberry Pi модель уже медленнее, но всё ещё работает.
Сообщество активно экспортирует форк в ONNX и другие форматы для мобильного и встроенного использования. Есть примеры реализации на микроконтроллерах с 512 MB ОЗУ, хотя там скорость падает ниже удобной.
Русификация GPT-2 показывает, что для нишевых языков выгодней создавать компактные локализованные модели, чем дообучать большие мультиязычные системы. Этот подход начинают повторять для других славянских языков.