Cohere представила платформу для автоматического tuning параметров моделей в production
Cohere запустила платформу для автоматического tuning параметров моделей прямо в production. Система анализирует метрики качества и задержки в реальном времени, автоматически подбирая температуру, beam search и другие параметры для оптимизации баланса между скоростью и точностью.
Платформа использует многоарийный бандит и байесовскую оптимизацию для поиска конфигурации без снижения доступности сервиса. Эксперименты проводятся в фоновом режиме с постепенным увеличением доли трафика на новых параметрах.
Автоматизация управления моделями
Интеграция занимает несколько строк кода в SDK Cohere. Платформа отслеживает метрики через встроенные хуки и не требует переподготовки модели или переразвёртывания инфраструктуры.
Пользователи получают доступ к аналитике по проведённым экспериментам и истории изменений параметров. Система автоматически откатывает конфигурацию, если качество начинает падать.
Платформа доступна для моделей Cohere Command и Embed на план Pro и выше с ежемесячной подпиской за несколько сотен долларов.