vLLM ускорил инференс открытых весов в три раза на стандартном GPU
vLLM, популярный фреймворк для развёртывания больших языковых моделей, опубликовал улучшение архитектуры кэширования активаций. Вместо полного пересчёта выходов слоёв на каждый новый токен, система теперь переиспользует вычисления из памяти и пересчитывает только изменённые части.
Второе улучшение — динамическая перегруппировка запросов в батчи. Если один запрос медленнее других, система не ждёт, а обрабатывает быстрые отдельно. Это снижает задержку и повышает пропускную способность сервера.
Экономия ресурсов
На A100 модель LLaMA 70B теперь обрабатывает 600 токенов в секунду вместо прежних 200 при той же потребляемой памяти. На RTX 4090 получается 150 токенов в секунду — достаточно для интерактивного использования.
Ускорение касается как потребительских видеокарт, так и серверного оборудования, поэтому хостеры локальных моделей сразу экономят на электричестве и охлаждении. Один GPU может обслуживать в три раза больше пользователей.
vLLM переписана на Rust внутри критических мест, что ещё больше сокращает overhead. Фреймворк остаётся открытым, поэтому независимые разработчики уже добавляют оптимизации под свои сценарии.