Новый стандарт позволяет быстро переносить модели между платформами
ONNX Runtime 2.0 позволяет экспортировать нейросети из любого фреймворка — PyTorch, TensorFlow, JAX — в унифицированный формат и запустить на целевой платформе без переписывания кода. Новая версия добавила поддержку квантизации, оптимизации графа вычислений и параллелизма на уровне оператора.
Тесты показывают, что модель на ONNX работает в среднем на 15–40% быстрее благодаря автоматическому распределению операций между ядрами CPU и GPU. Размер файла модели сократился на 30% при сохранении точности благодаря встроенным компрессорам весов.
Поддерживаемые платформы
Runtime работает на серверах x86, мобильных процессорах ARM, графических ускорителях NVIDIA и AMD, а также на специализированных NPU от Intel и ARM. Это позволяет использовать одну модель на десктопе, облаке и смартфоне одновременно.
Стандарт уже поддерживают основные облачные провайдеры и производители железа. Это упрощает развёртывание для небольших команд, которые раньше тратили недели на оптимизацию для каждой платформы отдельно.
Консорциум обещает обратную совместимость и обновления через открытый процесс на GitHub.