Выбор видеокарты: GPU определяет режимы работы модели, не её качество
Открытую модель можно запустить на процессоре, на ноутбуке, на серверном GPU. Выбор железа не меняет саму модель, но радикально меняет режимы её использования. На CPU домашняя машина медленнее облака в разы, но зато не пропускает ничего через интернет.
Выбор видеокарты для домашнего запуска — это выбор компромисса между ценой, памятью и скоростью. Ту же модель можно запустить на картах разных поколений, но параметры будут отличаться. Более новая карта той же ценовой категории часто быстрее даёт тот же результат, но дороже.
Память важнее скорости
На видеокарте главный ресурс — память для весов и кэша внимания. Если поместилась вся модель с пространством для контекста, скорость зависит от следующего поколения железа. Если не поместилась — модель вообще не запустится на этой карте или будет складировать слои в оперативку.
Разработчики открытых моделей давно это знают: выпускают варианты разных размеров специально для разных бюджетов памяти. На топовом GPU легко идёт большая модель, но это не значит, что меньшая модель на дешёвой карте плохо отвечает. Часто она быстрее и дешевле в энергопотреблении, а ответы не отличаются по смыслу.
Пользователи выбирают карту под задачу, а не покупают максимум про запас. Стабильность инференса на локальной машине важнее пиковой производительности облака.