Groq добавила в API функцию для ограничения стоимости запроса по времени выполнения
Groq добавила в свой API параметр для установки максимальной стоимости запроса на основе временного бюджета. Функция позволяет разработчикам автоматически отклонять запросы, которые превысят заданный лимит вычислительного времени.
Ограничение стоимости по времени полезно для приложений с переменной нагрузкой и меняющимся объёмом обработки. Это даёт разработчикам более удобный способ контролировать бюджет вместо слепого ограничения по количеству токенов.
Контроль расходов
Параметр интегрирован в стандартный формат запроса и работает совместно с другими限制 и настройками оптимизации. Groq указала, что функция уменьшает риск неожиданных переплат за длительные и ресурсоёмкие запросы.
Система отслеживает время выполнения в реальном времени и прерывает запрос, если он приближается к установленному лимиту.
Функция доступна для всех клиентов Groq API без дополнительной платы.