Когда собственный сервер дешевле облака: расчёт для production нагрузок

Облачные API для инференса (например, OpenAI API, Claude API) берут плату за каждый токен — обычно 0.5–10 центов за миллион входных токенов и 1.5–30 центов за миллион выходных, в зависимости от размера модели. Для стабильной production нагрузки расчёт точный: число запросов в день умножается на среднюю длину токена, и это число умножается на цену за токен.

Собственный GPU-сервер имеет однократные расходы на оборудование (видеокарта стоит 1000–20000 долларов) и текущие расходы на электричество (обычно 100–500 долларов в месяц в зависимости от мощности). Для модели среднего размера (7–13 млрд параметров) на одной видеокарте типовая production нагрузка в 100 млн токенов в месяц обходится в облаке примерно в 1000–5000 долларов, а на своём сервере — в 200–300 долларов электричества после покрытия стоимости видеокарты в течение года.

Точка безубыточности

Точка безубыточности наступает примерно через 6–12 месяцев регулярной нагрузки, после чего собственный сервер экономит 70–80% расходов по сравнению с облаком. Это предполагает стабильность нагрузки — если запросы приходят волнообразно с длительными простоями, облако остаётся дешевле за счёт отсутствия фиксированных расходов.

Расчёты усложняются необходимостью содержать резервный сервер для отказоустойчивости, но даже с этим два локальных GPU-сервера дешевле, чем полный перевод на облачный API для типовой компании среднего размера. Кроме того, собственный сервер даёт полный контроль над моделью, латентностью и конфиденциальностью данных.

Ряд компаний используют гибридный подход: базовая нагрузка идёт на собственное оборудование, а пики и экспериментальные модели через облачный API — это позволяет оптимизировать расходы без потери гибкости.