Llama 3.4 на 4GB VRAM: новая граница доступного локального инференса
Квантизация и оптимизация архитектуры позволили запустить полнофункциональную версию Llama 3.4 на графических ускорителях объёмом 4 гигабайта. Это означает, что в локальном инференсе стали доступны модели, которые раньше требовали мощного дата-центра или облачного API.
Версии с INT4-квантизацией и flash attention сохраняют приемлемое качество при работе с типичными задачами: ответы на вопросы, анализ текста, реферирование. Задержка ответа составляет 1-3 секунды на среднем ноутбуке, что сравнимо с задержкой API запроса, но без сетевых бросков.
Кто это меняет
Главные бенефициары — разработчики с ограниченным бюджетом, исследователи в регионах с дорогим интернетом и приватные пользователи, озабоченные конфиденциальностью. Модель полностью локальна: никакие промпты не отправляются на серверы, вывод остаётся на машине.
Инструменты типа Ollama и текстовые интерфейсы для локального запуска ещё больше снизили порог входа: не нужно писать Python код для инференса, достаточно одной команды в консоли.
Эта граница будет уходить ниже: инженеры продолжают оптимизировать архитектуры и квантизацию, поэтому через полгода похожий класс моделей вероятно запустится на 2-3 гигабайтах.