Groq представила инструмент для профилирования использования памяти в инферансе
Groq представила профайлер для детального мониторинга использования памяти во время инференса моделей на своих ускорителях LPU. Инструмент отслеживает распределение памяти между слоями модели, буферами активаций и временными данными, предоставляя построчный отчёт о потреблении.
Профайлер интегрирован в SDK Groq и позволяет идентифицировать узкие места и участки с избыточным потреблением ресурсов. Данные представлены в виде временных графиков и гистограмм по слоям нейросети.
Оптимизация инфраструктуры
Инструмент помогает выбрать оптимальный размер батчей, упаковку моделей и распределение вычислений между несколькими ускорителями. Разработчики могут экспериментировать с параметрами квантизации и кэширования активаций на основе объективных данных.
Профайлер совместим с популярными фреймворками трансформеров и поддерживает экспорт результатов в стандартных форматах для анализа во внешних инструментах. API позволяет программно запрашивать метрики из приложений.
Groq предоставляет профайлер как часть платной подписки на облачный инференс и как отдельный модуль для локальных развёртываний её оборудования.