Meta открыла исходный код библиотеки для оптимизации моделей в облаке
Meta представила библиотеку ModelOptimizer, предназначенную для автоматической оптимизации моделей машинного обучения перед развёртыванием. Инструмент анализирует архитектуру модели, профилирует вычисления и применяет оптимизации, снижающие время инференса на 30-50 процентов без переобучения.
Библиотека поддерживает PyTorch, ONNX и TensorFlow форматы моделей с унифицированным API для всех платформ. Встроены инструменты для статического и динамического профилирования, включая визуализацию узких мест.
Техники оптимизации
ModelOptimizer применяет слияние слоёв, пулинг операций, инлайнинг констант и другие трансформации графа вычислений. Разработчики могут указать целевые метрики: время инференса, память, точность и задать компромиссы между ними.
Интеграция с облачными платформами упрощена благодаря плагинам для AWS SageMaker, Google Vertex AI и других сервисов. Процесс оптимизации запускается с одной команды и не требует изменения кода приложения.
Проект активно поддерживается сообществом: еженедельные обновления, документация на русском языке и форум для обсуждений доступны с момента запуска.