Запуск на старых видеокартах: поддержка GTX 1080 в новых моделях
Популярные реализации инференса добавили явную поддержку архитектуры Pascal, на которой построены видеокарты серии GTX 10xx. Это позволяет запускать актуальные модели вроде Mistral и Llama 2 на оборудовании пятилетней давности.
Ограничение касается в основном контекстного окна: на GTX 1080 с 8 Гб памяти комфортно работают модели до 13 млрд параметров с контекстом в 4 тыс. токенов.
Экономия и доступность
Многие предприятия и фреланса могут продлить жизнь рабочих машин, не покупая новое железо. Карты GTX 1080 активно продаются на вторичном рынке по доступной цене.
Оптимизации касаются распределения памяти и использования тензорных операций, которые поддерживаются всеми современными GPU независимо от поколения.
Запуск требует аккуратности с выбором квантизации и размером батча, но при правильной настройке показывает приличную скорость.