Ollama интегрировала поддержку Metal: Mac инференс без CUDA

17 октября 2026

Ollama выпустила обновление с полной интеграцией Metal — графического API от Apple. Открытые модели теперь запускаются напрямую на GPU в Mac Mini, MacBook Pro и iMac без эмуляции или сложной настройки.

Инженеры Ollama переписали критичные части вычислений на Metal, включая matrix multiplication и attention. Тесты показывают, что Mistral 7B работает на M3 Max с той же скоростью, что на отдельной видеокарте средней ценовой категории.

Доступность для фрилансеров и сольщиков

Изменение дарует доступ к локальному инференсу владельцам Mac: раньше приходилось либо ограничиваться tiny-моделями, либо покупать дополнительное оборудование. Модели до 70B теперь помещаются в памяти Mac Studio.

Ollama сохранила простоту использования: одна команда запускает модель в фоне, REST API готов к работе. Веб-интерфейс и поддержка OpenAI-совместимого chat API работают из коробки.

Интеграция Metal заполняет пробел между облачными сервисами и локальным запуском на Linux, делая Apple-железо полноценной платформой для экспериментов с открытыми моделями.