GPU сдают позиции специализированному железу для инференса
GPU были удобным, но ненадёжным решением: они хорошо считают матрицы, но к ним нужна куча служебного кода вокруг. Компании типа Google и Meta решили, что нужен чип, который будет только считать матрицы и больше ничего.
Такой чип работает быстрее, ест меньше электричества и дешевле в массовом производстве. Единственная проблема: он работает только для одного типа вычислений.
Сдвиг в архитектуре дата-центра
Раньше дата-центр был универсален: в один день обслуживал видео-обработку, в другой — ИИ. Сейчас большие компании строят отдельные дата-центры для ИИ, где все серверы забиты чипами для одной задачи.
Для ниши стартапов это затруднение: не каждый может позволить себе закупить собственные чипы. Поэтому рынок облачного ИИ вырос: тебе больше не нужно покупать железо, а просто брать место в облаке.
Специализированные чипы окупаются только на гигантских масштабах, когда потребление вычислений считается сотнями мегаватт в год.