Mistral обновила SDK с функцией кэширования часто используемых предпромптов
Mistral обновила официальный SDK, добавив встроенное кэширование часто используемых предпромптов. Функция автоматически определяет неизменяемые части промпта и сохраняет их в кэше, что снижает объём данных, отправляемых в API при каждом запросе.
Кэширование особенно эффективно для систем с единой инструкцией и переменными входными данными, таких как чат-боты с фиксированной системной ролью. Оптимизация приводит к снижению латентности и уменьшению объёма используемых токенов, что сокращает стоимость использования API.
Управление и мониторинг
SDK предоставляет настройки для управления сроком действия кэша и размером хранилища. Разработчики могут отслеживать эффективность кэширования через встроенные метрики и логи.
Функция автоматически совместима с существующим кодом и не требует изменения интерфейса API. Mistral обеспечивает обратную совместимость со старыми версиями SDK через флаги конфигурации.
Обновление доступно для всех подписчиков Mistral API и может быть установлено через стандартный менеджер пакетов.