Запуск на батарее 48 часов: энергоэффективность открытых весов выросла
Проект на GitHub описывает запуск квантизованной версии Llama на iPhone, которая работает 48 часов непрерывно без подзарядки при интенсивном использовании. Достигается это за счёт комбинации 4-битной квантизации, выключения ненужных слоёв при обработке простых текстов и специальной памяти для кеширования токенов.
Энергопотребление упало с 15 Вт до 1.5 Вт на инференс, что позволяет крутить полноценную языковую модель в кармане без заметного влияния на батарею. Качество ответов при этом остаётся приемлемым для чата и поиска по документам.
Практические приложения
Это открывает сценарии офлайн-работы в полевых условиях, на судах, самолётах и в регионах с плохой связью. Врачи и инженеры могут держать в телефоне справочник, переводчик и помощника по диагностике без интернета.
Крупные телеком и производители смартфонов начинают встраивать такие модели в прошивку как встроенный сервис. Samsung и Apple уже анонсировали включение локальных моделей в следующие версии iOS и Android.
Энергоэффективность открытых весов теперь не уступает закрытым облачным альтернативам, но с плюсом приватности. Это ускорит переход на мобильные и встроенные системы, независимые от провайдеров.