Batching инструментов позволил агенту работать вдвое быстрее
Исследователи продемонстрировали эффект группировки инструментов при выполнении агентом сложных задач. Вместо последовательного вызова функций система пакетирует независимые операции и отправляет их одновременно, дожидаясь всех результатов перед следующим шагом рассуждения.
На синтетических тестах ускорение достигало двух-трёхкратного: там, где агент раньше совершал десяток последовательных вызовов, теперь он группирует их в три-четыре батча. Для реальных задач выигрыш зависит от доли параллелизуемых операций.
Как это работает
Механика проста: агент анализирует свой план решения, выявляет операции, которые не зависят друг от друга, и отправляет их вместе. Система ждёт полного завершения батча перед анализом результатов и построением следующей волны вызовов.
Батчинг особенно полезен при работе с API и базами данных, где стоимость одного вызова высока. Несколько независимых запросов в одном батче существенно снижают служебные расходы.
Метод уже интегрирован в несколько промышленных фреймворков для агентов и становится стандартной техникой оптимизации.