Запуск на батарее: мобильный инференс упирается в энергоэффективность
Инженеры сталкиваются с проблемой: мобильные чипы потребляют на инференс в два раза больше энергии, чем показывают лабораторные тесты. Разница объясняется постоянным переключением ядер процессора и утечками питания при работе с максимальной точностью.
Квантизация до int8 помогает, но только отчасти — теряется точность предсказаний для задач с низким допуском на ошибки. Попытка снизить напряжение питания приводит к нестабильности, а отключение ядер замораживает выполнение на пару секунд.
Динамическое масштабирование частоты
Перспективное решение — динамический контроль частоты в зависимости от того, какой слой сети обрабатывается. Ранние слои требуют меньше мощности и могут работать на низкой частоте без потери качества, поздние нуждаются в полной производительности.
На практике это даёт снижение потребления на 30–40 процентов при сохранении точности. Единственный недостаток — требуется поддержка со стороны прошивки чипа, которую производители добавляют медленно.
Пока основной выход остаётся прежним: выбор более лёгких архитектур и согласие на небольшое снижение качества ответов в обмен на работу через день на одной зарядке.