onnxruntime microsoft

ONNX Runtime: cross-platform, high performance ML inferencing and training accelerator

主要语言
C++
Stars
21,436
Forks
4,148

标签

  • 库/SDK
  • 推理优化
  • 深度学习
  • 跨平台
  • 本地部署
  • C++

摘要

ONNX Runtime 是微软开源的跨平台机器学习推理与训练加速引擎，可在 CPU、GPU 及各类硬件加速器上以最优性能运行 ONNX 模型，并通过图优化提升速度、降低成本。它支持 PyTorch、TensorFlow 以及 scikit-learn、XGBoost 等经典机器学习库导出的模型，同时提供多节点 NVIDIA GPU 的 Transformer 训练加速能力。适用于生产环境的模型部署、边缘设备推理与高性能训练场景。

README

<p align="center"><img width="50%" src="docs/images/ONNX_Runtime_logo_dark.png" /></p> **ONNX Runtime 是一个跨平台的推理和训练机器学习加速器**。 **ONNX Runtime 推理**能够带来更快的用户体验并降低成本，支持来自 PyTorch、TensorFlow/Keras 等深度学习框架以及 scikit-learn、LightGBM、XGBoost 等经典机器学习库的模型。ONNX Runtime 兼容不同的硬件、驱动程序和操作系统，并通过在适用场景下利用硬件加速器以及图优化和转换来…

查看完整页面