Новая версия API поддерживает асинхронную обработку запросов с очередью
API v2.0 вводит асинхронный режим с управлением очередью на стороне сервера. Разработчики отправляют пакеты запросов без ожидания ответа и получают уведомления при готовности результатов через вебхуки.
Система автоматически распределяет нагрузку между инстансами и регулирует приоритет заданий. Гарантированная доставка результатов сохраняется даже при отключении клиента.
Производительность и масштабирование
Пропускная способность увеличилась на 300% для batch-запросов в режиме асинхронного выполнения. Стоимость обработки упала на 25% за счёт оптимизации планировщика.
Максимальный размер одного batch — 100 тыс. токенов; задержка доставки результатов — от 5 минут до часа в зависимости от приоритета. WebSocket-поддержка позволяет получать результаты в реальном времени.
Миграция существующего кода потребует минимальных изменений благодаря обратной совместимости с v1.0; документация содержит примеры для популярных фреймворков.