Модели перестали улучшаться на датасетах, которые они уже видели
Новое исследование показывает, что после повторного обучения на одних и тех же датасетах современные модели демонстрируют деградацию качества вместо ожидаемого улучшения. Феномен связан с перефиттингом и потерей способности к обобщению.
Это открытие указывает на фундаментальное ограничение текущего подхода к масштабированию моделей и заставляет исследователей искать новые источники обучающих данных.
Проблема дефицита данных обостряется
По оценкам аналитиков, качественный интернет-текст, пригодный для обучения, заканчивается быстрее, чем растут вычислительные мощности лабораторий разработки.
Компании начинают вкладывать в синтетические данные, пользовательский контент и специализированные датасеты, чтобы преодолеть плато в улучшении производительности.
Этот переход может привести к изменению экономики разработки больших моделей и повышению роли качества данных над их объёмом.