Google добавила в Vertex AI инструмент для профилирования производительности моделей
Google представила новый инструмент профилирования производительности, встроенный в платформу Vertex AI. Профайлер позволяет отслеживать задержки, пропускную способность и использование ресурсов при работе с языковыми моделями.
Инструмент собирает метрики на уровне слоёв модели, операций и аппаратных подсистем. Это помогает разработчикам быстро выявлять узкие места в инфраструктуре и оптимизировать развёртывание.
Диагностика и оптимизация
Профайлер интегрируется с дашбордами Vertex AI и позволяет в реальном времени отслеживать производительность моделей на боевых нагрузках. Данные доступны через стандартные инструменты мониторинга Google Cloud.
Инструмент поддерживает анализ как синхронных, так и асинхронных вызовов, что важно для пакетной обработки и потоков запросов. Разработчики могут экспортировать отчёты и использовать их для планирования масштабирования.
Функция включена в платформу без дополнительной оплаты для существующих клиентов Vertex AI.