Батч-обработка 1000 запросов упала с часа до минуты на одном GPU
Команда разработчиков опубликовала новый алгоритм батчинга, который переупаковывает входные токены и явно управляет состоянием кэша между запросами. Тест на A100 показал 60-кратное ускорение для типовой рабочей нагрузки из тысячи одновременных промптов.
Ключ к ускорению — минимизация фрагментации памяти и переиспользование вычисленных значений KV-кэша. Алгоритм автоматически выбирает размер батча в зависимости от длины входа и доступной памяти.
Практический результат
Для провайдеров облачных сервисов такая оптимизация означает возможность обслуживать в десять раз больше одновременных пользователей на том же железе. Затраты на инфраструктуру снижаются пропорционально, что влияет на цены API.
Открытая реализация уже интегрирована в основные фреймворки для запуска моделей. Пользователи локальных установок сразу получают ускорение без дополнительных настроек.
Результат подтверждает тренд на эффективность инференса как конкурентный фактор в отрасли, особенно для batch-сценариев.