Модель переучилась вызывать инструменты реже и точнее
Исследователи провели переобучение языковой модели на наборе задач, где требовалось минимизировать количество вызовов внешних инструментов. Новая версия модели научилась сначала обрабатывать запрос собственными знаниями и обращаться к API или базам данных только когда это действительно необходимо.
Тестирование показало, что точность ответов повысилась на 18 процентов, а среднее время обработки сократилось вдвое. Модель перестала вызывать поисковый API для общеизвестных фактов и не обращается к калькулятору для простых арифметических операций.
Результаты на практике
В задачах на анализ структурированных данных модель теперь верно определяет, есть ли у неё достаточно информации в контексте, чтобы дать ответ без запроса к внешней системе. Это особенно заметно на сценариях с большими объёмами текста.
Сокращение количества вызовов инструментов означает и снижение стоимости работы агента, так как каждый запрос к API облагается сбором. На типовых рабочих нагрузках экономия составила 22 процента.
Разработчики отмечают, что переобучение улучшило также способность модели объяснять, почему она не вызывает инструмент, что повышает доверие пользователей к автоматизированным решениям на её основе.