Ускорение копирования весов в VRAM: техники предзагрузки
Копирование параметров большой модели с диска на GPU может занимать десятки секунд даже при высокоскоростном хранилище. Главная причина — последовательный доступ к памяти: диск отправляет данные рывками, а видеокарта не успевает их принимать с полной скоростью.
Решение предложили разработчики из NVIDIA и ряда открытых проектов: предварительное размещение весов в буфере на системной памяти CPU с их асинхронной загрузкой в VRAM во время инициализации модели. Пока нейросеть компилируется и настраивает ядра, веса уже движутся на видеокарту в фоне.
Прямая передача и компрессия
Другой подход использует технику прямой передачи данных (DMA) без промежуточной буферизации: данные копируются минуя кеши CPU, что сохраняет пропускную способность. В сочетании со сжатием весов в прямых форматах это даёт ускорение в два раза.
Опубликованные бенчмарки показывают, что загрузка 70-миллиардной модели сокращается с 45 до 15 секунд. Методика уже внедрена в vLLM и llama.cpp, а коммерческие решения начнут её использовать в ближайших версиях.
Практический эффект: время от запроса к первому токену сокращается настолько, что инференс становится интерактивным даже на хостах с ограниченной пропускной способностью диска.