Компактные модели закрепляются в задачах, где хватает точности
Практика эксплуатации сформировала правило, которое два года назад звучало неочевидно: для большинства прикладных задач нужна не самая сильная модель, а самая дешёвая из тех, что справляются.
Классификация обращений, извлечение полей из документов, нормализация текста, разметка данных — на таких операциях разрыв между флагманом и компактной моделью почти не виден пользователю, зато отлично виден в счёте.
Каскад вместо одной модели
Отсюда распространение каскадов. Простые случаи закрывает компактная модель, сомнительные передаются наверх, и доля дорогих вызовов оказывается заметно меньше общего числа запросов.
Дополнительный выигрыш — задержка. Компактные модели отвечают быстрее, и в интерактивных сценариях это сказывается на восприятии продукта сильнее, чем небольшая разница в качестве формулировок.
Флагманы при этом не теряют роли, но она сужается до задач, где нужна связная работа с длинным контекстом и многошаговые рассуждения, а не до всего подряд по умолчанию.
Что это значит
Подробности и первичное описание опубликованы на странице слова, которые двигают объект в кадре, там же собраны условия доступа и ограничения, о которых заявили разработчики.
Похожие материалы и обновления по теме мы собираем в разделе «Рынок ИИ и корпоративные новости» — он пополняется по мере выхода новых сообщений.