Новая метода позволяет адаптировать большие модели для редких языков за часы
Команда учёных из нескольких университетов предложила метод адаптации предобученных больших моделей к редким языкам, сокращающий время настройки с недель до часов. Подход основан на оптимизированной системе выбора параметров и рациональном использовании доступных языковых ресурсов.
Ключевое улучшение достигнуто за счёт применения техники, позволяющей модели переносить знания из близких языков и эффективнее использовать контекст при ограниченном корпусе текстов.
Результаты тестирования
Тесты на таджицком, исландском и малайском языках показали, что качество адаптированной модели сопоставимо с результатами традиционного подхода, но достигнуто за значительно меньшее время и с меньшим расходом ресурсов.
Метод особенно востребована для языков коренных народов и региональных язвыков, где объём обучающих данных традиционно ограничен.
Исследование опубликовано в открытом доступе, что позволит разработчикам немедленно применить подход в своих проектах.