Энергопотребление инференса снизилось благодаря новой архитектуре нейросетей
Новая архитектура использует динамические механизмы спурсификации вычислений, при которых модель адаптивно отключает избыточные параметры в зависимости от сложности входных данных. Это снижает нагрузку на вычислительные ускорители без существенной потери качества.
Оптимизация касается как передачи данных между слоями, так и точности арифметических операций на блоках обработки. Исследователи продемонстрировали применимость подхода к различным архитектурам трансформеров и сверточных сетей.
Экономический и экологический эффект
Снижение энергопотребления инференса особенно значимо для облачных сервисов и мобильных устройств, где стоимость электроэнергии и тепловыделение являются ограничивающими факторами.
При массовом применении метода к моделям, используемым миллионами пользователей, потенциальное снижение глобального энергопотребления составляет несколько процентов от всего трафика AI-сервисов.
Разработчики уже начали адаптировать архитектуру под промышленные реализации, включая встраиваемые системы и пограничные устройства, где эффективность вычислений критична.