Исследование выявило, что многоязычные модели забывают редкие языки при дообучении

20 октября 2026

Исследование показало, что при дообучении многоязычных моделей на большом объёме текста на английском или других распространённых языках производительность на языках с меньшей представленностью в тренировочных данных существенно снижается. Явление обозначено как языковая регрессия при адаптации.

Анализ весов моделей указывает на то, что обновления параметров, оптимизирующие работу на популярных языках, нарушают специализированные представления, сформированные при исходной тренировке. Эффект усиливается при больших объёмах дообучающих данных.

Механизмы и решения

Исследователи предложили несколько подходов к смягчению проблемы: использование более низких коэффициентов обучения, специальные техники регуляризации и балансировка примеров из разных языков. Предварительные результаты показывают снижение регрессии на 40-60 процентов.

Открытие подчеркивает важность осторожности при адаптации универсальных моделей под специфические задачи. Это особенно критично для организаций, поддерживающих многоязычные сервисы, где потеря функциональности на меньшинственных языках может быть недопустима.

Дальнейшие исследования сосредоточены на разработке методов, позволяющих улучшать производительность на популярных языках без ущерба для редких.