Cohere обновила Java SDK с поддержкой асинхронных операций с моделями
Cohere опубликовала новую версию Java SDK, которая добавляет полную поддержку асинхронных операций при работе с моделями. Обновление позволяет разработчикам отправлять параллельные запросы к API без блокировки основного потока выполнения.
Асинхронный API построен на базе Project Reactor и предоставляет реактивные потоки для обработки результатов. Это особенно полезно для высоконагруженных приложений, которым требуется обрабатывать множество запросов одновременно.
Практическое применение
Новый SDK снижает задержки при интеграции моделей Cohere в Java-приложения и микросервисы. Разработчики могут использовать асинхронные вызовы для управления сложными рабочими потоками без переписывания существующего кода.
Обновление совместимо с Java 11 и выше и включает подробную документацию с примерами. Библиотека доступна в Maven Central и готова к использованию в production-среде.
Cohere рекомендует миграцию на новый SDK для приложений с высокой нагрузкой и переходящих на архитектуру на основе реактивных потоков.