Задержка между вызовами упала до уровня, где её не видно
Инженеры оптимизировали конвейер обработки запросов в системе агента: вместо последовательного вызова инструментов агент теперь может запускать независимые операции параллельно и ожидать результаты группой. Протокол взаимодействия переписали на бинарный формат, сократив объём передаваемых данных в три раза.
Измерения показали, что средняя задержка между решением модели вызвать инструмент и получением результата упала с 340 миллисекунд до 45 миллисекунд. На задачах, требующих нескольких последовательных вызовов, выигрыш ещё значительнее.
Практический эффект
Пользователи больше не ощущают рывков в потоке ответа: агент выглядит как обычный чат-модель, которая просто быстрее обрабатывает информацию. Этот уровень отзывчивости критичен для решений, где агент работает в реальном времени с фронт-энда.
Параллелизм инструментов позволил не только сократить время, но и снизить вероятность тайм-аутов на медленных API. Если один вызов застревает, агент не блокируется и продолжает обработку остальных запросов.
Команда разработки делится результатами с сообществом через публикации о проектировании протокола, и оптимизация уже переходит в open-source фреймворки для работы с агентами.