Mixtral 8x22B на четырёх видеокартах: архитектура распределённого инференса
Mixtral 8x22B — модель с архитектурой смешанных экспертов, где на каждом слое активна только часть параметров. Это даёт 141 млрд параметров при активации примерно 39 млрд на один токен, что позволяет запустить инференс на четырёх видеокартах среднего уровня (например, RTX 4090 или A100), когда монолитная модель того же размера потребовала бы в три-четыре раза больше памяти.
Распределение работает путём разрезания слоёв модели по видеокартам и синхронизации активаций между ними. На каждой видеокарте хранится полный набор экспертов, но вычисления идут параллельно, и результаты передаются по PCIe или сетевым интерфейсам. Пропускная способность соединений между картами становится узким местом, но для типовых batch-размеров в production режиме это не критично.
Практические выводы
Такая архитектура делает Mixtral привлекательной для организаций, которые не готовы инвестировать в GPU-кластеры с высокоскоростной коммутацией. Четыре видеокарты можно установить в одну рабочую станцию или небольшой сервер, и модель будет работать без необходимости в специальной инфраструктуре.
Однако качество инференса зависит от балансировки нагрузки между экспертами — если маршрутизатор мультиголовых экспертов направляет большинство токенов в один-два эксперта, преимущество разреженности теряется. Современные реализации включают механизмы для аудита и коррекции такого дисбаланса во время обучения.
На практике Mixtral 8x22B уже используется в production на локальном оборудовании, что ранее было невозможно для моделей такого размера без облачных GPU-серверов, доступных только крупным компаниям.