Cohere обновила Python-библиотеку с улучшенной работой с контекстом
Cohere выпустила обновление своей Python-библиотеки с режимом контекстного управления для длинных разговоров. Библиотека автоматически сжимает старые сообщения при приближении к лимиту токенов, сохраняя семантическую значимость диалога.
Новый функционал включает API для загрузки и индексирования больших документов непосредственно через SDK. Разработчики могут выполнять семантический поиск по документам и встраивать найденные фрагменты в контекст запроса.
Производительность и удобство
Обновление улучшает скорость обработки на 40% благодаря оптимизированной кэшированию промежуточных результатов. Библиотека теперь поддерживает асинхронные вызовы и потоковую обработку большого числа запросов.
SDK содержит встроенные утилиты для работы с различными форматами документов: PDF, DOCX, JSON. Разработчики получают готовые функции для очистки текста и нормализации кодировок.
Cohere предоставила детальную документацию и примеры использования для чат-ботов, поисковых систем и систем рекомендаций, а также обещала регулярные обновления в соответствии с обратной связью сообщества.