Сравнение показало, что дешевые модели часто справляются лучше дорогих
Группа независимых исследователей провела комплексный анализ 30 языковых моделей разного ценового диапазона на наборе из 15 стандартных бенчмарков. Результаты показали, что модели по цене $0,50–1 за миллион токенов часто выполняют задачи качественнее, чем решения, стоящие в 5–10 раз дороже.
Разница особенно заметна в специализированных задачах — анализе текстов на конкретных предметных областях, генерации структурированных данных и логическом выводе. В то же время на творческих текстах премиум-модели сохраняли преимущество.
Значимость для бизнеса
Исследование подчеркивает важность правильного подбора модели под конкретную задачу, а не автоматического выбора самого дорогого решения. Компании могут существенно снизить расходы на AI-сервисы, тестируя несколько вариантов перед развёртыванием в production.
Авторы отмечают, что различие в цене зачастую определяется брендом поставщика и объёмом маркетинга, а не реальными различиями в производительности на узких прикладных задачах. Тенденция способствует фрагментации рынка и появлению новых игроков.
Результаты работы опубликованы в открытом доступе и уже вызывают переоценку инвестиций в AI-проекты у крупных корпоративных пользователей.