Google расширила Vertex AI инструментом для автоматического выбора размера батча при обучении

Google представила инструмент автоматического выбора оптимального размера батча в платформе Vertex AI, который анализирует доступные ресурсы и характеристики модели для максимизации пропускной способности. Система динамически изменяет размер батча во время обучения, адаптируясь к нагрузке на GPU и TPU.

Инструмент работает с использованием исторических данных о производительности и машинного обучения для предсказания оптимального размера батча для каждого типа модели и датасета. Это позволяет сократить время обучения на 15-40 процентов в зависимости от сценария.

Оптимизация затрат

Автоматическая оптимизация батча снижает потребление вычислительных ресурсов, так как модель обучается более эффективно и использует ускорители более полно. Это отражается на счёте за облачные вычисления, особенно для крупномасштабных проектов с многочасовым обучением.

Функция доступна для всех типов моделей в Vertex AI, включая пользовательские и предопубликованные модели Google. Разработчики могут включить автоматическую оптимизацию одним переключателем в конфигурации обучающего процесса.

Google предоставила рекомендации по использованию инструмента и примеры экономии ресурсов для типичных сценариев обучения, от компьютерного зрения до обработки естественного языка.