Together AI расширила SDK поддержкой встроенного retry-механизма с экспоненциальной задержкой
Together AI расширила SDK встроенным retry-механизмом с экспоненциальной задержкой, что упрощает разработку устойчивых приложений при работе через сетевые соединения с переменной надёжностью. Механизм автоматически повторяет неудачные запросы с возрастающей задержкой, избегая перегрузки сервера и снижая количество сбоев.
Разработчики могут гибко настраивать поведение retry: число попыток, стартовую задержку, коэффициент экспоненциального роста и перечень кодов ошибок, для которых применяется повтор. По умолчанию SDK использует консервативные настройки, которые покрывают большинство практических сценариев.
Улучшение стабильности
Встроенная поддержка retry снижает количество кода, необходимого для обеспечения базовой надёжности, и позволяет разработчикам сосредоточиться на бизнес-логике вместо реализации собственных механизмов переподключения. Это особенно важно для приложений, которые работают в сетях с высокой латентностью или нестабильностью.
Механизм соблюдает best practices отрасли для обработки временных сбоев и автоматически отказывает при постоянных ошибках конфигурации, чтобы избежать циклических повторов. Поддерживается телеметрия для мониторинга частоты и причин повторов.
Функциональность доступна в последних версиях SDK для Python и JavaScript и рекомендуется для использования во всех производственных приложениях, работающих с API Together AI.