Новый подход к обучению снижает потребление энергии при инференсе на 45 процентов
Учёные из нескольких лабораторий предложили новый подход к обучению больших языковых моделей, нацеленный на снижение энергопотребления при инференсе. Метод основан на структурированной редукции весов модели во время тренировки.
Экспериментальная проверка показала, что при таком обучении расход энергии на инференс снижается на 45 процентов по сравнению со стандартными подходами. При этом точность моделей на контрольных наборах данных практически не страдает.
Значение для масштабирования ИИ
Снижение энергопотребления критично для больших центров обработки данных, которые тренируют и запускают современные модели. Метод может быть применён к существующим архитектурам без существенной переработки инфраструктуры.
Исследование привлекло внимание крупных облачных провайдеров, которые заинтересованы в снижении операционных расходов. Первые практические применения метода ожидаются в течение года.