vLLM 0.6 удвоила пропускную способность на той же железке
vLLM — фреймворк для быстрого локального инференса на больших языковых моделях — выпустил версию 0.6 с серьёзными улучшениями производительности. Главное изменение коснулось системы кэширования: алгоритм распределения памяти между одновременными запросами теперь позволяет использовать GPU-память на 40–50% эффективнее, чем раньше, за счёт лучшей фрагментации и повторного использования блоков кэша.
Вторая часть оптимизации касается батчирования запросов — система теперь гибче распределяет вычислительные ресурсы между несколькими пользовательскими запросами, идущими параллельно. Это особенно заметно при работе с разной длиной входов и выходов: раньше система ждала самого медленного запроса, теперь быстрые запросы обслуживаются без задержек.
Практический результат
На практике пропускная способность сервера vLLM увеличилась с 60–80 запросов в секунду до 120–150 запросов в секунду на одной видеокарте A100 с той же моделью Llama 70B. Для пользователей это означает, что одна видеокарта может обслужить в два раза больше пользователей или вдвое ускорить обслуживание одного пользователя без добавления оборудования.
Фреймворк остаётся open-source и активно развивается, с регулярными обновлениями для новых архитектур моделей. Версия 0.6 уже совместима с последними моделями Mixtral, Qwen и других открытых проектов, что делает её de facto стандартом для production инференса на локальном оборудовании.
Такой прирост производительности позволяет компаниям либо снизить количество видеокарт для обслуживания той же нагрузки, либо увеличить покрытие пользователей, используя то же оборудование — это снижает как капитальные, так и операционные расходы на инфраструктуру инференса.