ROCm поддержка: локальный запуск на видеокартах AMD теперь реален
AMD выпустила ROCm — стек инструментов для вычислений на видеокартах Radeon. Последние версии совместимы с llama.cpp, Ollama и другими популярными фреймворками для запуска больших моделей.
Видеокарты AMD Radeon RX 7000 с 16 Гб памяти стоят дешевле аналогов NVIDIA и потребляют меньше электроэнергии. На них работают модели размером до 70B токенов с приемлемой скоростью вывода.
Технические подробности
ROCm использует собственный компилятор HIP вместо CUDA. Это требует пересборки некоторых библиотек, но большинство популярного ПО для ИИ уже адаптировано или готовится к поддержке.
Скорость вывода на AMD примерно сопоставима с NVIDIA на одном уровне памяти. RX 7900 XT достигает 30-40 токенов в секунду для Llama 2 13B — вполне рабочий результат для приватных приложений.
ROCm сняла главное препятствие локального запуска для пользователей вне экосистемы NVIDIA. Конкуренция на рынке GPU-ускорения растёт, цены падают, доступность открытого локального запуска повышается.