Together AI расширила REST API поддержкой graceful degradation при недостатке токенов
Together AI внедрила функцию graceful degradation в REST API для надёжности приложений. Когда исходная модель исчерпывает суточный лимит токенов, система автоматически переключается на альтернативную модель из предоставленного списка с минимальным перерывом в обслуживании.
Разработчики указывают список резервных моделей с указанием приоритета. API автоматически выбирает первую доступную модель и отправляет туда запрос, логируя переключение в ответе. Это позволяет приложениям продолжать работу без явной обработки ошибок исчерпания квоты.
Гибкость стратегий
Механизм поддерживает как простое переключение между версиями одной модели, так и переход на качественно другие модели для особенно критичных приложений. Разработчики могут установить максимально допустимую задержку и параметры качества, которые должна соблюдать резервная модель.
API возвращает подробную информацию о том, какая модель обрабатывала запрос, на сколько она отличается от запрошенной, и когда ожидается восстановление квоты. Клиентский код может принять обоснованное решение о продолжении работы или уведомлении пользователя.
Graceful degradation настраивается на уровне ключа API и применяется ко всем запросам для стабильности и предсказуемости поведения приложений в условиях нагрузки.