Длинные цепочки инструментов теперь кешируются и летают мгновенно
Разработчики открытых фреймворков для ИИ-агентов реализовали систему кеширования для длинных цепочек инструментов. Когда агент выполняет сложную задачу через несколько последовательных вызовов API и вычислений, система сохраняет промежуточные результаты и переиспользует их при похожих запросах.
Ключевое улучшение — кеширование работает не только на уровне отдельных инструментов, но и на уровне целых подцепочек. Если агент десять раз подряд вызывает цепочку «получить данные из БД → обработать → сформировать отчет», второй и последующие вызовы используют кешированный результат обработки, экономя 90 процентов времени.
Технические детали и ограничения
Кеш работает на основе хеш-сигнатур входных данных и параметров запроса, поэтому применяется только для детерминированных операций. Агент автоматически определяет, безопасно ли переиспользовать результат, или требуется свежий расчет.
Тестирование на реальных нагрузках показало сокращение времени отклика с 30-40 секунд до 5-8 секунд на типичных сценариях. Экономия на API-вызовах составляет 65-75 процентов при повторяющихся запросах.
Методика совместима с основными провайдерами LLM и уже интегрирована в LangChain, LlamaIndex и других популярных фреймворках. Разработчики могут включить кеширование одной строкой конфигурации.