Cohere выпустила библиотеку для работы с многоязычным поиском в embeddings
Cohere выпустила открытую библиотеку для работы с многоязычными эмбеддингами, ориентированную на разработчиков, которые строят поисковые системы для глобальных аудиторий. Библиотека оптимизирована для поиска смысла на одном языке среди контента на нескольких языках без предварительного перевода.
Инструмент интегрируется с существующими векторными базами данных и включает предтренированные модели для основных языков. Разработчики могут использовать библиотеку как самостоятельно, так и через Cohere API.
Применение в практике
Библиотека адресована компаниям с многонациональными пользовательскими базами — медиа-платформам, маркетплейсам и системам документопоиска. Отсутствие необходимости в переводе снижает задержку ответов и улучшает точность релевантности результатов.
По данным Cohere, использование многоязычных эмбеддингов позволяет повысить качество поиска на 15–25 процентов на недоминирующих языках. Библиотека выпущена под свободной лицензией и доступна на GitHub.
Поддержка включает примеры интеграции с популярными фреймворками индексирования векторов и документацию на английском языке.