Batching 500 запросов одновременно: когда локальный сервис обгоняет OpenAI
vLLM, TensorRT-LLM и похожие движки используют continuous batching: вместо ожидания, пока все клиенты закончат свой запрос, движок собирает частичные результаты, переупаковывает батч и начинает новый проход. Это позволяет обрабатывать сотни одновременных запросов без нарастания задержек, которые были бы при обычном батчинге.
На локальной машине (или выделенном серверe в дата-центре) такой движок на одной видеокарте A100 обрабатывает 500 коротких запросов с задержкой в 100-200 миллисекунд на запрос. OpenAI API на аналогичных запросах добавляет 500+ миллисекунд за счёт сетевых трасс, очередей и балансировки нагрузки.
Когда локальное быстрее облака
Это критично для приложений, где множество пользователей одновременно ждут результата: чатботы, автодополнения, поиск, рекомендации. Облачный API может показаться медленнее, хотя в нём мощнее оборудование, просто потому, что задержка в сети и очередь съедят выигрыш.
Для такого масштаба локальная инфраструктура (сервер в собственном дата-центре или облаке с выделенным оборудованием) окупается быстро. Затраты на видеокарту, электричество и трафик часто ниже, чем месячные платежи OpenAI при таком объёме запросов.
Облачные провайдеры ответили, запустив собственные батчинг-движки и специальные тарифы для высоконагруженных сценариев. Но локальное решение остаётся конкурентным, потому что на нём полный контроль над задержками и дорогой отказывает необходимость содержать облачную инфраструктуру.