Компания SambaNova представила чип для инференса больших моделей с низкой задержкой

9 октября 2026

SambaNova представила новый чип серии DataScale, оптимизированный для инференса моделей размером от 70 миллиардов до трёх триллионов параметров. Архитектура использует уникальный подход к организации памяти и вычислений, обеспечивающий высокую пропускную способность при низкой латентности.

По заявлениям компании, чип обеспечивает задержку менее 100 миллисекунд для первого токена и 50 миллисекунд для каждого последующего при работе с полноразмерными моделями, что соответствует требованиям реальных приложений.

Применение и конкурентность

Решение нацелено на облачные провайдеры и организации, развёртывающие собственные инфраструктуры для инференса. Энергопотребление на один токен сопоставимо с текущими GPU-решениями при значительном сокращении затрат на охлаждение.

Чип поддерживает как классические форматы моделей, так и недавно представленные архитектуры с расширенным контекстом, что позволяет использовать его с современными поколениями моделей.

Первые системы с DataScale уже проходят квалификацию у крупных облачных провайдеров, развёртывание в продакшене планируется на четвёртый квартал текущего года.