Llama 3.2 запустили на смартфоне: какие требования к памяти
Meta выпустила облегченную версию Llama 3.2, которая работает на смартфонах с процессорами ARM. Модель требует минимум 8 Гб оперативной памяти и около 5 Гб свободного места на диске для весов модели.
Компания использовала комбинацию техник: урезанное количество параметров, квантизация 4-bit и оптимизация для батареи. Результат — полнофункциональный языковой ассистент прямо на устройстве, без облачного подключения.
Практические сценарии локального запуска
Локальный запуск позволяет использовать модель без интернета и полностью контролировать данные пользователя. Производительность на смартфонах остается приемлемой для текстовых задач: ответ генерируется за 1-3 секунды.
Тестирование показало, что батарея разряжается на 15-20% быстрее при интенсивном использовании модели. Для повседневных запросов этот недостаток не критичен.
Инженеры Meta подчеркивают, что мобильный запуск открывает путь к приватным ассистентам, которые работают без отправки данных на серверы. Экосистема развертывания моделей на устройствах начинает конкурировать с облачными решениями.