Батч-размер 128 против размера 1: когда скорость растёт не линейно
При переходе с батч-размера 1 на размер 128 пропускная способность растёт в 40–60 раз, хотя теоретически ожидается прирост в 128 раз. Причина лежит в структуре памяти и алгоритмах умножения матриц, которые оптимизированы на GPU для средних размеров батчей.
Дальнейшее увеличение батча до 512 дополнительно поднимает производительность на 15–20 процентов, после чего рост замедляется из-за насыщения пропускной способности памяти. Этот эффект критичен для облачных провайдеров, где батч-размер определяет реальную стоимость обслуживания.
Практическое значение для открытых моделей
Открытые системы позволяют пользователю экспериментировать с параметрами и находить оптимальные значения для своего оборудования. Облачные провайдеры обычно фиксируют батч-размер, исключая такую возможность.
Сообщество разработчиков уже выпустило рекомендации и бенчмарки для популярных GPU, включая RTX, H100 и TPU. На этой основе создаются инструменты автоматической оптимизации батч-размера при инференсе.
Знание этих особенностей помогает правильно выбирать конфигурацию при развёртывании открытых моделей. Неправильный батч-размер может снизить производительность вдвое и более, что существенно влияет на себестоимость услуги.