Когда открытые веса конкурируют с облачным API по цене за токен
Анализ затрат показывает переломный момент: на малых объёмах запросов облачные сервисы выгоднее, так как не требуют капитальных вложений в хардвер. Но при регулярной нагрузке локальное развёртывание открытой модели окупается за несколько месяцев.
Цена за 1 миллион токенов у крупных провайдеров держится на уровне 1–15 долларов. Амортизация GPU-сервера на три года и стоимость электроэнергии дают конкурентный результат при использовании более 20% ёмкости оборудования.
Экономика выбора
Компании с предсказуемыми нагрузками переходят на открытые веса. Те, чьи потребности колеблются, остаются с облаком: гибкость экономит на простое оборудования.
Расчётная модель усложняется, если учитывать обслуживание: обновление железа, отслеживание versioning моделей, настройка квантизации. Облачные API избавляют от этой работы.
Рынок открытых весов давит на облачные цены снизу, и провайдеры реагируют, снижая тарифы на базовые модели. Конкуренция выгодна пользователям.