OpenAI расширила Python SDK поддержкой потокового кэширования промптов

31 октября 2026

OpenAI выпустила обновление Python SDK с встроенной поддержкой потокового кэширования промптов. Механизм автоматически сохраняет токены встроенных объектов и системных сообщений, позволяя переиспользовать их при следующих вызовах модели без переобработки.

Кэширование работает прозрачно для приложения и не требует изменений в коде инициирующей стороны. SDK автоматически определяет, какие части промпта остаются неизменными между запросами, и использует механизм Prompt Caching API, если сервер поддерживает эту функцию.

Снижение затрат

Использование потокового кэша может снизить latency на 30–50 % при обработке длинных контекстов и уменьшить токены, передаваемые на сервер. Это особенно значимо для приложений, работающих с большими объёмами однотипных данных — например, при анализе документов или обработке систематизированных данных.

OpenAI предоставила примеры интеграции для типичных сценариев: длительных диалогов, анализа больших текстов и обработки повторяющихся запросов. Кэш хранится локально и конфигурируется через параметры клиента.

Функция доступна для моделей семейства GPT-4o и требует Python SDK версии 1.14 и выше.