Запуск на TPU: Google открыла доступ к своим чипам для инференса
Google Cloud объявила об открытии доступа к TPU v5 для инференса больших языковых моделей через новый endpoint. Первичный фокус — интеграция с популярными моделями, включая Google Gemini и совместимые с ней открытые модели.
Программа предполагает льготное ценообразование для исследователей и стартапов, а также гарантированное время ответа. Тесты показывают, что TPU дают 2-3-кратное преимущество в латентности по сравнению с GPU для типовых LLM.
Конкуренция за железо
Инициатива прямо конкурирует с NVIDIA и поставщиками облачных вычислений, которые строили стратегию на монополии GPU. Google показывает, что специализированное железо может быть доступно разработчикам за приемлемые деньги.
Открытие TPU для инференса сокращает зависимость экосистемы моделей от одного поставщика чипов. Это подталкивает других к инвестициям в собственное специализированное оборудование.
Долгосрочный эффект — фрагментация рынка чипов и усложнение оптимизации моделей под разное железо, но выигрыш в конкуренции и цене перевешивает эти издержки.