Открытые модели неровно говорят на языках помимо английского
Заявленная поддержка десятков языков в описании открытой модели редко означает равное качество. Обучающие корпуса перекошены в сторону английского, и это видно в первых же нетривиальных запросах на других языках.
Проявляется разрыв не столько в грамматике, сколько в рассуждении. Модель, уверенно решающая задачу по-английски, на том же вопросе на другом языке даёт более короткий и поверхностный ответ, будто переключается в упрощённый режим.
Обходные приёмы
Частый приём — заставить модель рассуждать на английском, а ответ выдавать на нужном языке. Работает, но добавляет токенов и иногда протаскивает в результат кальки, которые приходится вычищать вручную.
Более основательное решение — дообучение адаптером на своём языке под конкретную задачу. Даже небольшой набор качественных примеров заметно выравнивает стиль и терминологию, хотя пробелы в фактических знаниях так не лечатся.
Постепенное появление моделей, изначально обученных с большой долей неанглийских данных, разрыв сокращает, но пока выбор таких весов заметно уже, чем англоцентричных.
Что это значит
Подробности и первичное описание опубликованы на странице «словарь световых терминов для промптов», там же собраны условия доступа и ограничения, о которых заявили разработчики.
Похожие материалы и обновления по теме мы собираем в разделе Рынок ИИ и корпоративные новости — он пополняется по мере выхода новых сообщений.