Meta открыла библиотеку для векторизации больших текстовых корпусов через Llama
Meta представила новую библиотеку с открытым исходным кодом для векторизации больших текстовых корпусов. Инструмент построен на основе моделей Llama и оптимизирован для работы с документами объёмом от миллионов до миллиардов примеров.
Библиотека позволяет разработчикам автоматически преобразовывать текст в векторные представления, необходимые для поиска по смыслу, ранжирования и систем рекомендаций. Решение включает предобученные модели и поддержку распределённой обработки на GPU и TPU.
Применение в production
Инструмент рассчитан на команды, работающие с большими объёмами неструктурированного текста. Он значительно упрощает подготовку данных перед загрузкой в векторные хранилища и поисковые системы.
Meta указала, что библиотека уже используется в некоторых внутренних проектах компании для обработки контента и улучшения поиска.
Код опубликован на GitHub с документацией и примерами для быстрого старта.