Anthropic добавила в SDK поддержку параллельных запросов с единым rate limit
Anthropic добавила встроенную поддержку параллельных запросов в SDK с механизмом единого rate limit для всех одновременных операций. Это позволяет разработчикам использовать полную пропускную способность API без риска превышить ограничения.
Система автоматически управляет очередью запросов и регулирует их отправку в зависимости от оставшихся квот. Разработчик задает общее количество одновременных запросов, а SDK следит за их распределением и переотправкой при ошибках.
Упрощение конкурентной обработки
SDK поддерживает различные стратегии распределения квоты: справедливое распределение между потоками, приоритизация критичных запросов, адаптация к динамическим ограничениям API. Разработчик выбирает подходящую стратегию при инициализации клиента.
Встроенный механизм автоматически обрабатывает временные ошибки и переполнение квот, откладывая запросы с экспоненциальной задержкой. Это снижает нагрузку на код приложения, так как он не должен самостоятельно реализовывать логику переотправки.
Функция доступна во всех основных версиях SDK Anthropic и полностью обратно совместима с существующим кодом.