Инференс на CPU с AVX-512: процессоры Xeon больше не медленнее в 100 раз
Разработчики рантайма для инференса на CPU реализовали поддержку AVX-512, набора инструкций, доступного на процессорах Xeon последних поколений. Оптимизация позволила сократить разрыв в производительности между CPU и GPU с фактором 100 до фактора 10–20 в зависимости от модели и задачи.
Инференс на Xeon становится экономически привлекательным для применений, где задержка менее критична, чем общая стоимость владения инфраструктурой. Серверные процессоры дешевле в энергопотреблении и проще масштабируются в облачных центрах.
Практические следствия
Хостеры могут предложить более дешевые тарифы на инференс, используя CPU вместо GPU для части рабочих нагрузок. Это снижает конкуренцию между облачными провайдерами в сегменте дорогих графических процессоров.
Поддержка AVX-512 требует актуального процессора и пересборки утилит. Старые версии Xeon и AMD EPYC этой поддержки не имеют, что ограничивает применимость оптимизации.
CPU-инференс перестает быть аварийным вариантом и становится вполне приемлемым выбором для многих сценариев. Это усиливает интерес к запуску моделей на существующей серверной инфраструктуре вместо специализированного оборудования.