vLLM 0.7 ускорил батч-запросы в 2.5 раза на одной видеокарте
vLLM 0.7 реализует новый алгоритм планирования запросов в памяти видеокарты. Оптимизация касается распределения KV-кеша между одновременно обрабатываемыми запросами, что позволяет вписать больше батча в VRAM без потери скорости.
На бенчмарках с RTX 4090 и батчем из 50 запросов throughput вырос с 150 до 375 токенов в секунду. Прирост особенно заметен при запусках моделей размером 70B, где память ранее была узким местом.
Техничекие детали
Механизм называется continuous batching с улучшенным alloc-фри алгоритмом. Фрагментация памяти снизилась благодаря предварительной резервации и переиспользованию блоков под разные размеры контекстов.
Обновление также добавило профилирование и метрики latency по операциям, что помогает разработчикам находить узкие места. API остался совместимым, обновление требует только пересборку.
vLLM 0.7 становится стандартом для локального инференса с высоким параллелизмом, оттесняя конкурентов по скорости обработки потоков батч-запросов.