Mistral расширила API поддержкой кэширования векторных представлений документов
Mistral запустила функцию серверного кэширования для векторных представлений документов. Когда приложение отправляет документ на векторизацию, API кэширует его эмбеддинг и возвращает идентификатор кэша. Следующие запросы с тем же документом используют кэшированное значение без переобработки.
Механизм значительно ускоряет обработку больших наборов документов и снижает потребление API-квот, особенно в сценариях с повторяющимся контентом. Кэш имеет настраиваемое время жизни и поддерживает версионирование документов.
Практическое применение
Функция полезна для систем поиска, рекомендаций и классификации, где одни и те же документы обрабатываются многократно. Кэширование также снижает задержку ответов на миллисекунды.
API предоставляет методы для управления кэшем: очистка устаревших записей, явное инвалидирование, статистика использования.
Mistral гарантирует безопасность данных в кэше и обеспечивает изоляцию между пользователями, так что кэшированные эмбеддинги одного пользователя недоступны другому.