Phi-3 требует три гигабайта: когда даже ноутбук запустит нужное
Microsoft Phi-3 — семейство лёгких языковых моделей, оптимизированных для устройств с ограниченными ресурсами. Версия в 7 миллиардов параметров сжимается до 3–4 Гб и функционирует на ноутбуках среднего поколения и смартфонах с 8+ Гб памяти.
Квантизация до 4-битного формата сокращает занимаемый объём вдвое без заметной потери качества. На практике задачи суммирования, рерайтинга и простого диалога выполняются на одном ядре с задержкой в пару секунд.
Доступность для массового запуска
Phi-3 обучена на отобранных данных высокого качества и демонстрирует производительность, близкую к моделям на 13 миллиардов параметров при трети объёма. Это снижает входной порог для встраивания моделей в приложения.
Локальный запуск на ноутбуке означает, что разработчик может тестировать интеграцию без облачной инфраструктуры и сетевых задержек. Полная независимость от интернета делает модель пригодной для оффлайн-приложений.
Результат — расширение аудитории, способной работать с нейросетями: малые студии, фрилансеры и энтузиасты получают практически бесплатный доступ к функциональности, которая раньше требовала платных API.