Anthropic запустила платформу для сбора и анализа метрик использования SDK в production
Anthropic опубликовала платформу для централизованного сбора и анализа метрик работы своих SDK. Инструмент автоматически регистрирует latency, количество токенов, типы ошибок и другие параметры использования непосредственно на production.
Платформа предоставляет дашборды и отчёты, помогающие разработчикам выявить узкие места в интеграции и места избыточного расхода токенов. Данные агрегируются по моделям, endpoint-ам и типам запросов.
Инструменты мониторинга
В набор функций входят оповещения по пороговым значениям, экспорт сырых логов для дальнейшего анализа и интеграция с популярными системами мониторинга типа Datadog и New Relic.
Сбор метрик происходит с сохранением приватности — данные не содержат контента промптов и ответов, только параметры вызовов и результаты.
Доступ предоставляется всем пользователям SDK, начиная с версии 0.28 для Python и последних выпусков для Node.js и других языков.