Anthropic добавила в Claude API функцию для кэширования часто используемых контекстов
Anthropic добавила функцию кэширования контекстов в Claude API, которая оптимизирует обработку запросов с повторяющимися системными сообщениями и промпт-префиксами. Кэшированные контексты хранятся на стороне сервера и переиспользуются при последующих вызовах без повторной обработки.
Функция автоматически срабатывает для идентичных контекстов и требует минимальных изменений в коде клиента. Кэш действует в течение сессии и может быть очищен явно или истечёт через определенный период.
Производительность и экономия
Использование кэширования контекста снижает время отклика на 20-40 процентов для типичных сценариев и сокращает затраты на обработку за счет частичного использования кэшированных данных. Особенно эффективно это для приложений с большими системными промптами.
Anthropic предоставляет метрики использования кэша через API и рекомендует применять эту функцию для чат-ботов, систем рекомендаций и приложений с фиксированными инструкциями. Совместимость поддерживается для всех версий Claude API.
Кэширование доступно сейчас и не требует регистрации или отдельной активации функции в аккаунте разработчика.