Phi-4 весит 15GB, но работает как модель вдвое больше: как это вышло

7 октября 2026

Phi-4 — это 15-миллиардная модель от Microsoft, которая по производительности на бенчмарках приближается к моделям в 30 миллиардов параметров. Достигнуто это не за счёт архитектурных чудес, а за счёт чрезвычайно тщательного подбора обучающих данных: модель прошла обучение на отфильтрованных, проверенных вручную датасетах без шума и артефактов.

На практике это означает, что каждый параметр Phi-4 работает эффективнее, чем средний параметр в крупных моделях, обученных на интернете без фильтрации. Модель лучше понимает инструкции, точнее отвечает на сложные вопросы, а галлюцинации менее часты.

Применение в локальном инференсе

Для запуска локально 15 гигабайт — это комфортный размер: влезает в видеокарту среднего уровня или на диск SSD с целевой памятью. При этом качество ответов часто превосходит крупные квантизированные модели того же объёма памяти.

Стратегия Microsoft показывает, что масса параметров — не единственный путь к качеству. Малые модели с высоким качеством данных обучения становятся конкурентоспособнее, чем большие модели, обученные на сыром интернете.

Этот подход вероятно будет копироваться конкурентами: инвестиция в датасеты и их кураторство обходится дешевле, чем масштабирование вычислений, но даёт сравнимый или лучший результат.