Запуск на Raspberry Pi: какие модели весят меньше 1 Гб

15 сентября 2026

Phi 2 от Microsoft весит 2.7 Гб, а её квантизированная версия в GGUF формате — 1.4 Гб. TinyLlama 1.1B прошивается в 400-600 Мб в зависимости от уровня сжатия. Обе модели выполняют базовые задачи: ответы на вопросы, суммирование текстов, простую генерацию.

Запуск на Raspberry Pi 4 с 8 Гб памяти даёт скорость вывода 1-5 токенов в секунду. Для интерактивных приложений это работает, для быстрых ответов требуется оптимизация или более мощное железо.

Сценарии применения

Локальные чат-боты для дома, системы управления умным домом, анализ логов на устройстве без отправки данных в облако. Это открывает путь для приватных приложений, которые не требуют подключения к интернету.

Устройства с нейроускорителями типа Google Coral могут повысить скорость на порядок, но даже без них Phi 2 на Raspberry Pi работает достаточно быстро для многих задач.

Сообщество активно подбирает компромисс между размером модели, скоростью и качеством. Каждый месяц появляются новые квантизированные версии всё более компактных моделей.