Инференс через Ollama на Kubernetes: масштабирование микромоделей

13 октября 2026

Ollama — популярный тул для локального запуска открытых моделей на машине через простой CLI. В последнем обновлении добавлена поддержка Kubernetes: Ollama может теперь работать как развёрнутый сервис, масштабируя реплики подов в зависимости от нагрузки.

Это значит, что администратор кластера может определить желаемое количество инстансов модели (например, 5 копий Mistral 7B) и Kubernetes автоматически распределит их по нодам, балансируя нагрузку и перезапуская упавшие поды.

Архитектура на практике

Ollama на Kubernetes развёртывается через Helm-чарт, который конфигурирует Deployment, Service и HorizontalPodAutoscaler. Масштабирование может быть ручным или автоматическим по метрикам CPU и памяти.

Это решение особенно полезно для компаний, которые хотят запустить микромодели вроде Mistral 7B или LLaMA 2 в своём центре обработки данных без зависимости от облачных API. Инференс остаётся полностью локальным и контролируемым.

Первые примеры показывают, что кластер из 10 нод может обслуживать тысячи запросов в сек, если модель оптимизирована под батчирование и кэширование KV.