Rate limiting пересчитали: теперь лимит не в запросах, а в токенах

13 сентября 2026

Первое поколение API моделей считало лимиты просто: запросов в секунду или в день. Разработчик видел предел и планировал архитектуру вокруг него. Но запросы очень отличаются по объёму: один символ и тысячу символов вводил одинаковые счётчики.

Сейчас провайдеры заметили, что реальная нагрузка на вычисления определяется количеством токенов, а не количеством запросов. Один запрос с большим файлом требует больше ресурсов, чем десять простых вопросов.

Откуда берётся реальный лимит

Когда разработчик видит, что его лимит исчерпан после небольшого числа вызовов, он смотрит на сумму токенов в выходе. Это не баг — это правильный расход. Провайдер отсчитывает тратило ресурсов, а не количество клиентских операций.

Практика разработки должна была перестроиться: заранее оценить, сколько токенов потребует задача, а не гадать по количеству запросов. Батчинг несколько небольших вызовов в один экономит лимиты лучше, чем просто распределение нагрузки по времени.

Организации, которые переехали на токеновые лимиты, начали видеть повторяющиеся запросы как проблему. Кэширование результата на собственной стороне теперь экономит не только бюджет, но и соблюдение квоты.