Запуск нескольких копий модели: параллелизм на многоядерной системе
Многоядерные системы позволяют запускать несколько копий одной модели независимо друг от друга, распределяя нагрузку между ядрами CPU и избегая конфликтов доступа к памяти. Такой подход полезен для обработки очереди задач или масштабирования локальной системы без облачной инфраструктуры.
Фреймворки вроде vLLM и TensorRT-LLM добавили встроенную поддержку запуска нескольких worker-процессов на одной машине. Каждый процесс получает свой набор ядер и работает с отдельным экземпляром модели, координируясь через единый API.
Пропускная способность и задержка
Параллелизм шагается через кэш L3 и пропускную способность памяти: при увеличении числа копий каждая замедляется пропорционально конкуренции за пропускную способность. Точка баланса зависит от архитектуры процессора и размера модели.
На практике запуск двух-трёх копий на 16-ядерном процессоре часто снижает latency единого запроса, но увеличивает общую пропускную способность системы при пиковых нагрузках. Эту компромисс приходится находить экспериментально для каждой конфигурации.
В production-системах такой подход используется для балансировки между скоростью ответа и количеством одновременных запросов, позволяя полнее использовать ресурсы локального оборудования.