Together AI запустила платформу для распределённого кэширования эмбеддингов
Together AI запустила платформу для распределённого кэширования эмбеддингов, позволяющую пользователям хранить и переиспользовать векторные представления текста на сети узлов. Архитектура построена на основе peer-to-peer и обеспечивает быстрый доступ к кэшированным данным.
Платформа полезна для систем поиска, рекомендаций и других приложений, которые неоднократно обращаются к одним и тем же текстовым данным. Кэширование эмбеддингов снижает нагрузку на API моделей и уменьшает общую стоимость использования.
Архитектура и масштабируемость
Система поддерживает кэширование эмбеддингов от разных моделей и позволяет настраивать политики вытеснения для оптимизации памяти. Платформа совместима с основными библиотеками для работы с векторными данными.
Together AI предоставляет API для добавления и извлечения данных из кэша, а также инструменты для мониторинга использования и статистики попаданий.
Сервис находится на стадии закрытого бета-тестирования с постепенным расширением доступа для разработчиков.