Cohere обновила SDK с поддержкой сохранения истории запросов для последующего анализа
Cohere выпустила обновление SDK, которое автоматически сохраняет все запросы и ответы в локальное хранилище или облачное хранилище по выбору разработчика. Каждая запись содержит временную метку, параметры запроса, полный ответ и время обработки.
История может быть экспортирована в формат JSON или CSV для анализа в аналитических инструментах. Система поддерживает фильтрацию по датам, моделям и типам запросов для быстрого поиска интересующих записей.
Использование в разработке и мониторинге
Разработчики могут воспроизвести проблемные сценарии, используя сохранённые запросы, без необходимости ждать повторного возникновения ошибки в production. Функция особенно полезна для отладки и понимания поведения модели на реальных данных.
SDK предоставляет встроенные функции фильтрации и статистики по сохранённым запросам: среднее время обработки, распределение по типам ошибок, использование токенов.
Логирование можно включить или отключить при инициализации клиента, а объём сохраняемой истории регулируется параметром ротации по размеру или времени хранения.