Инженеры нашли способ снизить энергопотребление инференса на 45 процентов
Группа исследователей из нескольких компаний разработала комбинированный метод оптимизации инференса, который снижает энергопотребление на 45 процентов в сравнении со стандартными реализациями. Метод сочетает динамическую квантизацию активаций, спарсификацию весов и оптимизацию графа вычислений специально под целевое оборудование.
Особенность подхода в том, что оптимизация выполняется автоматически с помощью компилятора, который анализирует архитектуру модели и параметры железа, на котором она будет запущена. Методика совместима с популярными фреймворками и не требует переобучения модели.
Практическое применение
Тестирование на реальных моделях для обработки естественного языка показало, что падение точности при снижении энергопотребления на 45 процентов составляет менее одного процента. Это делает подход практически применимым для мобильных устройств и серверов в регионах с дорогой электроэнергией.
Сокращение энергопотребления инференса имеет значение для снижения углеродного следа ИИ-систем и облегчения развёртывания моделей на граничных устройствах. Компании могут снизить операционные расходы на охлаждение серверов и сокращение потребления электросети.
Результаты внедрения уже применены несколькими облачными провайдерами и началось их интеграцию в стандартные инструменты оптимизации, что может сделать энергоэффективные модели новым стандартом отрасли.