Запуск на центральном процессоре: когда GPU нет, а задача срочная
Центральные процессоры медленнее графических в матричных операциях, но стали достаточно быстрыми для инференса моделей среднего размера, особенно если применена квантизация (снижение разрядности весов с 16 бит до 8 или 4). Фреймворки вроде ONNX Runtime и llama.cpp добавили поддержку векторизации SSE и AVX, которые ускоряют работу на многоядерных процессорах.
На практике инференс 7-миллиардной параметризованной модели на современном 16-ядерном процессоре занимает несколько секунд на токен — медленнее GPU в 10-20 раз, но часто приемлемо для задач, где задержка в несколько минут не критична. Квантизация до 4 бит снижает потребление памяти с 13 гигабайт до 3-4, что позволяет модели поместиться на машинах с малым объёмом оперативной памяти.
Когда это имеет смысл
CPU-инференс используется в три случая: когда GPU недоступен (серверы без видеокарт), когда задача не срочна и можно ждать ночь-другую, или когда модель нужна на локальном компьютере для разработки и тестирования. На рабочем ноутбуке с 8 ядрами инференс идёт медленнее, но экономит батарею, так как не нагружает видеокарту.
Гибридный подход — распределение большой модели между CPU и GPU — позволяет чуть ускорить инференс и снижает потребление памяти GPU, но добавляет сложность в синхронизации операций. На практике для простых случаев проще выбрать либо CPU, либо GPU полностью.
Нормализация CPU-инференса делает открытые модели доступнее: в 2026 году эта техника широко используется компаниями, которые не могут позволить себе GPU-ферму, и позволяет конкурировать с облачными API за счёт сокращения задержки и стоимости на некритичных по скорости задачах.