Распределённый инференс: веса на разных машинах работают как одна модель
Технология распределённого инференса (distributed inference) переместила слои нейросети на разные машины, сохраняя полную функциональность модели. Вычисления идут последовательно: выход с первого узла становится входом для второго, без задержек синхронизации.
Это решение снизило требования к памяти видеокарт отдельной машины и распределило нагрузку между серверами. Задержка при такой схеме зависит от пропускной способности сети между узлами, а не от их мощности.
Практическое применение
Разработчики применили распределённый инференс для моделей весом более 100 млрд параметров, которые не влезают на одну видеокарту. Выход: каждый узел держит часть весов, вычисляет свой слой и передаёт результат соседу.
Стоимость инфраструктуры упала благодаря использованию более дешёвых серверов с меньшей памятью. Решение стало популярным в компаниях, где бюджет на ускорители ограничен, но есть сетевые возможности.
Библиотеки вроде DeepSpeed и Ray LLM уже встроили поддержку такой архитектуры в стандартные процедуры развёртывания.