OpenAI добавила в API инструмент для профилирования расхода токенов по компонентам
OpenAI представила встроенный профайлер расхода токенов в API, который разбивает потребление на отдельные компоненты системы. Инструмент показывает, сколько токенов используется на обработку входных данных, генерацию ответа, вызовы инструментов и другие операции, что помогает выявить узкие места в затратах.
Метрики доступны в реальном времени через расширенные параметры API ответа. Разработчики могут отслеживать использование на уровне вызова функции, запроса или полного сеанса, что облегчает планирование бюджета и оптимизацию архитектуры приложения.
Практическое применение
Профилирование особенно полезно для приложений с высокой нагрузкой, где оптимизация расходов становится критической. Разработчики могут выявить, какие компоненты или типы запросов потребляют больше всего токенов, и принять соответствующие меры.
Функция интегрируется с системой мониторинга и аналитики, позволяя строить графики расходования и сравнивать эффективность разных версий приложения.
Инструмент доступен для всех подписок и моделей API без дополнительной платы.