Cohere обновила SDK с функцией автоматического разбиения длинного текста на части
Cohere опубликовала новую версию своего SDK с функцией автоматического разбиения текста на управляемые части. Инструмент анализирует содержимое и рационально распределяет его по блокам, соблюдая лимиты API без потери смысловой связности.
Функция работает на уровне SDK, что исключает необходимость ручного написания логики парсинга и разбиения. Разработчики передают полный текст, а система сама определяет оптимальные точки разреза на основе структуры документа и контекстных границ.
Технические особенности
Алгоритм разбиения учитывает различные форматы входных данных — от неструктурированных текстов до разметки в Markdown и HTML. При этом сохраняется информация о границах исходных частей, что помогает восстанавливать контекст при обработке.
SDK автоматически следит за лимитами токенов и параллельно отправляет запросы для ускорения общего времени обработки. Результаты агрегируются в исходном порядке без дополнительного кода со стороны разработчика.
Обновление включено в основной релиз и доступно для Python, JavaScript и Go версий SDK.