Intel разработала специализированный процессор для инференса языковых моделей
Intel представила специализированный процессор для инференса языковых моделей, разработанный на основе архитектуры Gaudi. Чип нацелен на снижение стоимости развёртывания больших моделей в датацентрах через повышение энергоэффективности и пропускной способности.
По заявлениям компании, процессор показывает превосходство по энергопотреблению на единицу обработанного токена по сравнению с видеокартами предыдущего поколения. Архитектура поддерживает как работу с полными моделями, так и с квантизованными версиями.
Стратегия Intel на рынке ИИ
Разработка Gaudi3 — часть более широкой стратегии Intel по диверсификации предложения на рынке акселераторов. Компания конкурирует с предложениями Nvidia, AMD и облачными сервисами, которые используют собственные ускорители.
Первые развёртывания чипа начнутся в облачных сервисах и на собственной инфраструктуре гигантов технологического сектора. Цена на единицу вычислений планируется значительно ниже текущего рыночного стандарта.
Предполагается, что это событие усилит конкуренцию на рынке специализированного железа и сделает инфраструктуру для больших моделей более доступной.