Инженеры снизили энергопотребление обучения больших моделей на 50 процентов

31 октября 2026

Новый подход к оптимизации вычислений сокращает энергопотребление при обучении больших моделей на 50 процентов без снижения итоговой производительности. Метод основан на адаптивном квантовании активаций и специализированной организации памяти.

Инженеры переработали алгоритмы обратного распространения ошибки для минимизации операций с числами двойной точности. Гибридное использование разных типов данных позволило балансировать между точностью и эффективностью.

Практическое значение для индустрии

Снижение энергопотребления напрямую снижает себестоимость обучения и делает разработку больших моделей доступнее для исследовательских групп. Результаты актуальны для облачных платформ обучения и локальных ускорителей.

Метод протестирован на моделях размером от 7 до 70 миллиардов параметров и показывает консистентные улучшения. Авторы опубликовали оптимизированный код в открытом доступе.

Внедрение техники в промышленные конвейеры обучения может сократить глобальные выбросы углерода в секторе искусственного интеллекта.