Запуск на видеокартах предыдущего поколения: ограничения памяти вместо архитектуры
Видеокарты поколения 2017–2019 годов — V100, T4, RTX 2080 — теперь могут запускать модели, которые раньше требовали A100 или H100. Квантизация до int8 или int4, flash attention и методы дистилляции сдвинули ограничение из разряда физических невозможностей в разряд инженерной оптимизации.
Локальный инференс становится доступнее для компаний, которые пока не готовы вложиться в новое железо. Старая карта, загруженная до предела по памяти, работает медленнее, но работает.
Компромисс между скоростью и доступностью
Трейд-офф очевиден: модель на T4 с квантизацией генерирует токены на треть медленнее, чем на A100, но стоит в десять раз дешевле. Для batch-систем и некритичных к задержке приложений это приемлемо.
Появилась целая ниша инструментов, оптимизирующих модели именно под старое железо. GPTQ, AWQ и другие методы квантизации позволяют масштабировать до 13–70 миллиардов параметров на картах с 6–8 гигабайтами видеопамяти.
Эффект расширил рынок локального инференса на компании и разработчиков, у которых не было бюджета на новое оборудование, но была потребность запускать модели локально.