Mistral 8x7B распределили по четырём видеокартам: руководство масштабирования
Mistral выпустила подробное руководство по шардированию модели 8x7B на несколько видеокарт. Подход позволяет снизить задержку инференса без потери производительности на входных данных среднего объёма.
Распределение основано на тензорном параллелизме: каждая видеокарта обрабатывает часть вычислений одновременно. Для четырёх GPU требуется как минимум 32 Гб памяти на устройство, что делает схему доступной на картах вроде RTX 4090 или A100.
Практическое применение
Разработчики сообщают о снижении latency на 75% при сохранении throughput для batch-запросов среднего размера. Конфигурация поддерживает динамическую балансировку нагрузки между GPU.
Руководство включает примеры интеграции с популярными фреймворками вроде vLLM и TGI. Комьюнити уже адаптирует подход к другим открытым моделям размером 50-70 млрд параметров.
Инструмент остаётся полезен для организаций с локальным запуском и ограниченным бюджетом на NVIDIA A100, так как позволяет использовать бюджетные карты эффективнее.