Распределение весов по сетевым дискам: инженерия для дата-центра на столе
Техника использует NFS или SMB для доступа к весам, которые хранятся на нескольких машинах локальной сети. Вычислительная машина загружает слои по сети по мере необходимости, кэшируя их в памяти для повторного использования.
Пропускная способность локальной сети 1–10 Гбит/с достаточна для inference больших моделей, если структурировать доступ правильно — чтение слоёв параллельно, prefetching следующего слоя во время вычисления текущего.
Применение в лаборатории
Такой подход позволяет исследователям запускать модели вроде LLaMA 405B на кластере из пяти-десяти обычных машин, не покупая специализированное iron. Экономия на облачных вычислениях может быть существенной при долгосрочных экспериментах.
Минусы: зависимость от стабильности сети, повышенная задержка доступа к памяти и сложность отладки багов, которые проявляются только при сетевых сбоях. Для production редко используется, но для разработки и тестирования вполне применимо.
Открытые фреймворки типа Ray и Petals уже интегрировали эту стратегию, позволяя распределять нагрузку между узлами сети с минимальной переписи кода исследователя.