Falcon 180B на двух RTX 4090: расчёт оптимальной архитектуры кластера
Инженеры уменьшили кластер для Falcon 180B с одиннадцати A100 до двух RTX 4090, используя tensor parallelism и кэширование активаций. Пропускная способность упала с 800 токенов в секунду до 120, но цена инфраструктуры снизилась в 40 раз.
Ключевой приём — распределение слоёв между видеокартами так, чтобы обмен данными шёл по NVLink с минимальными задержками. Для каждого слоя рассчитана оптимальная ширина распараллеливания в зависимости от его размера и типа операций.
Чем это полезно для стартапов
Уменьшение железа на порядок означает, что можно снять дорогостоящий кластер и запустить инференс в облаке на дешёвых инстансах с двумя RTX 4090. Расходы на инфраструктуру упадут с миллионов до сотен тысяч рублей в месяц.
Одновременно выросла задержка до первого токена: если раньше ответ приходил за 100 миллисекунд, то теперь — за несколько секунд. Для batch-обработки и асинхронных задач это не критично.
Подход обобщается на другие большие модели. Наукой пока остаётся поиск оптимальной ширины распараллеливания для конкретного железа — нужно прогнать десятки конфигураций, чтобы найти лучшую.