Новая архитектура позволяет обучать модели параллельно на нескольких ускорителях
Новая архитектура распределённого обучения позволяет одновременно использовать несколько ускорителей для параллельного обучения больших языковых моделей. Подход решает проблему синхронизации градиентов между устройствами и значительно сокращает время вычислений.
Исследователи демонстрируют линейное масштабирование при использовании до 128 вычислительных узлов, что ранее считалось недостижимым из-за накладных расходов на коммуникацию между устройствами.
Практическое применение
Технология уже апробирована при обучении моделей с параметрами свыше 70 миллиардов, что открывает возможность разработки более мощных систем без пропорционального увеличения сроков обучения.
Архитектура совместима с существующими фреймворками машинного обучения, что облегчает её внедрение в текущие производственные процессы.
Авторы работы планируют открыть исходный код разработки для использования научным сообществом.