Генерация текста падает на согласовании в языках с развитой морфологией
Английский язык использует порядок слов для выражения связи между словами, потому что окончания там почти не меняются. Русский язык пользуется падежами. Модель, обучившись на текстах на русском, понимает грамматику как вероятностное распределение окончаний, а не как систему правил.
Результат выглядит так: модель может написать грамотное по структуре предложение, но допустить ошибку согласования между определением и существительным, особенно если между ними много слов. На английском эта проблема не видна, потому что слова не меняют форму.
Масштаб проблемы растёт с длиной текста
В коротких фразах модель справляется лучше, потому что контекст близко. В длинных предложениях с несколькими оборотами согласование ломается чаще. Предложение со вложенными придаточными может содержать несколько ошибок по падежу, потому что модели приходится помнить согласование на значительном расстоянии между словами.
Организации, работающие с текстом на скланяемых языках, начали добавлять финальный проход редактуры инструментом, который ловит морфологические ошибки. Это не идеально, но уменьшает количество проблем.
Главный вывод: качество генерации зависит от языка сильнее, чем от способности модели. Английский и китайский язык работают лучше, чем русский, немецкий или финский, потому что в первых морфология проще.