OpenAI добавила в API режим предварительной загрузки моделей для снижения задержек
OpenAI расширила API новым режимом предварительной загрузки, который уменьшает первоначальную задержку при обращении к модели. Функция полезна для приложений, которые обслуживают запросы с чувствительностью к времени отклика, но используют модель с перерывами.
При активации режима модель остаётся в памяти системы в течение определённого времени даже после последнего запроса. Это исключает необходимость повторной инициализации и снижает затраты на вычисления за счёт переиспользования выделенных ресурсов.
Тарификация и настройка
OpenAI предоставляет гибкие параметры для управления временем удержания модели в памяти — от нескольких секунд до часов. Разработчик может выбирать стратегию в зависимости от паттернов использования приложения.
Режим доступен как для текстовых моделей, так и для моделей обработки изображений. Подробная документация содержит примеры калькуляции стоимости для разных сценариев нагрузки.
Функция включена по умолчанию для новых приложений и может быть отключена через настройки проекта в личном кабинете.