Link to this section如何通过 Ultralytics 导出非 YOLO PyTorch 模型#
将 PyTorch 模型部署到生产环境通常意味着要为每个目标平台使用不同的导出工具:针对 ONNX 的 torch.onnx.export,针对 Apple 设备的 coremltools,针对 TensorFlow 的 onnx2tf,针对 NCNN 的 pnnx 等。每个工具都有自己的 API、依赖项限制和输出约定。
Ultralytics 提供了独立的导出工具,将多个后端封装在一个统一的接口下。你可以将任何 torch.nn.Module(包括 timm 图像模型、torchvision 分类器和检测器,或者你自己的自定义架构)导出为 ONNX、TorchScript、OpenVINO、CoreML、NCNN、PaddlePaddle、MNN、ExecuTorch 和 TensorFlow SavedModel,无需单独学习每个后端。
Link to this section为什么要使用 Ultralytics 进行非 YOLO 模型导出?#
- 跨 10 种格式的单一 API: 学习一套调用约定即可,无需掌握十几种。
- 共享工具集: 这些导出辅助函数位于
ultralytics.utils.export下,因此一旦安装了后端包,你就可以在不同格式间使用相同的调用模式。 - 与 YOLO 导出相同的代码路径: 同样的辅助函数驱动着每一次 Ultralytics YOLO 的导出。
- 内置 FP16 和 INT8 量化: 支持这些功能的格式(OpenVINO、CoreML、MNN、NCNN)均已内置此功能。
- 在 CPU 上运行: 导出步骤本身不需要 GPU,因此你可以在任何笔记本电脑上本地运行。
Link to this section快速入门#
最快的方法是进行两行代码导出到 ONNX,无需任何 YOLO 代码,也无需除了 pip install ultralytics onnx timm 之外的任何设置:
import timm
import torch
from ultralytics.utils.export import torch2onnx
model = timm.create_model("resnet18", pretrained=True).eval()
torch2onnx(model, torch.randn(1, 3, 224, 224), output_file="resnet18.onnx")Link to this section支持的导出格式#
torch2* 函数接受标准的 torch.nn.Module 和一个示例输入张量。MNN、TF SavedModel 和 TF Frozen Graph 均通过中间的 ONNX 或 Keras 工件进行转换。无论哪种情况,都不需要任何 YOLO 特定的属性。
| 格式 | 函数 | 安装 | 输出 |
|---|---|---|---|
| ONNX | torch2onnx() | pip install onnx | .onnx 文件 |
| TorchScript | torch2torchscript() | 包含在 PyTorch 中 | .torchscript 文件 |
| OpenVINO | torch2openvino() | pip install openvino | _openvino_model/ 目录 |
| CoreML | torch2coreml() | pip install coremltools | .mlpackage |
| TF SavedModel | onnx2saved_model() | 见下方详细要求 | _saved_model/ 目录 |
| TF Frozen Graph | keras2pb() | 见下方详细要求 | .pb 文件 |
| NCNN | torch2ncnn() | pip install ncnn pnnx | _ncnn_model/ 目录 |
| MNN | onnx2mnn() | pip install MNN | .mnn 文件 |
| PaddlePaddle | torch2paddle() | pip install paddlepaddle x2paddle | _paddle_model/ 目录 |
| ExecuTorch | torch2executorch() | pip install executorch | _executorch_model/ 目录 |
MNN、TF SavedModel 和 TF Frozen Graph 导出均通过 ONNX 作为中间步骤。请先导出为 ONNX,然后再进行转换。
多个导出函数接受一个可选的 metadata 字典(例如 torch2torchscript(..., metadata={"author": "me"})),如果格式支持,它会将自定义键值对嵌入到导出的工件中。
Link to this section分步示例#
下方的每个示例都使用相同的设置:一个来自 timm 的预训练 ResNet-18,并处于评估模式:
import timm
import torch
model = timm.create_model("resnet18", pretrained=True).eval()
im = torch.randn(1, 3, 224, 224)Dropout、批量归一化 以及其他仅在训练时使用的层在推理期间的表现不同。跳过 .eval() 会导致导出的模型输出不正确。
Link to this section导出到 ONNX#
from ultralytics.utils.export import torch2onnx
torch2onnx(model, im, output_file="resnet18.onnx")对于动态批次大小,请传入一个 dynamic 字典:
torch2onnx(model, im, output_file="resnet18_dyn.onnx", dynamic={"images": {0: "batch_size"}})默认算子集 (opset) 为 14,默认输入名称为 "images"。你可以使用 opset、input_names 或 output_names 参数进行重写。
Link to this section导出到 TorchScript#
无需额外依赖。底层使用 torch.jit.trace。
from ultralytics.utils.export import torch2torchscript
torch2torchscript(model, im, output_file="resnet18.torchscript")Link to this section导出到 OpenVINO#
from ultralytics.utils.export import torch2openvino
ov_model = torch2openvino(model, im, output_dir="resnet18_openvino_model")目录包含一对固定名称的 model.xml 和 model.bin 文件:
resnet18_openvino_model/
├── model.xml
└── model.bin传入 dynamic=True 以实现动态输入形状,half=True 以启用 FP16,或 int8=True 以进行 INT8 量化。INT8 还需要一个 calibration_dataset 参数。
需要 openvino>=2024.0.0(或 macOS 15.4+ 上的 >=2025.2.0)和 torch>=2.1。
Link to this section导出到 CoreML#
import coremltools as ct
from ultralytics.utils.export import torch2coreml
inputs = [ct.TensorType("input", shape=(1, 3, 224, 224))]
ct_model = torch2coreml(model, inputs, im, classifier_names=None, output_file="resnet18.mlpackage")对于 图像分类 模型,传入一个类名列表到 classifier_names,以便为 CoreML 模型添加分类头。
需要 coremltools>=9.0、torch>=1.11 和 numpy<=2.3.5。Windows 不支持。
coremltools>=9.0 为 macOS 和 Linux 上的 Python 3.10–3.13 提供了 wheels。在较新的 Python 版本上,原生 C 扩展加载失败。请使用 Python 3.10–3.13 进行 CoreML 导出。
Link to this section导出到 TensorFlow SavedModel#
TF SavedModel 导出通过 ONNX 作为中间步骤:
from ultralytics.utils.export import onnx2saved_model, torch2onnx
torch2onnx(model, im, output_file="resnet18.onnx")
keras_model = onnx2saved_model("resnet18.onnx", output_dir="resnet18_saved_model")该函数返回一个 Keras 模型,并在输出目录中生成 TFLite 文件 (.tflite):
resnet18_saved_model/
├── saved_model.pb
├── variables/
├── resnet18_float32.tflite
├── resnet18_float16.tflite
└── resnet18_int8.tflite要求:
tensorflow>=2.0.0,<=2.19.0onnx2tf>=1.26.3,<1.29.0tf_keras<=2.19.0sng4onnx>=1.0.1onnx_graphsurgeon>=0.3.26(安装时加上--extra-index-url https://pypi.ngc.nvidia.com)- macOS 上使用
ai-edge-litert>=1.2.0,<1.4.0(其他平台使用ai-edge-litert>=1.2.0) onnxslim>=0.1.71onnx>=1.12.0,<2.0.0protobuf>=5
Link to this section导出到 TensorFlow Frozen Graph#
接着上面的 SavedModel 导出,将返回的 Keras 模型转换为冻结的 .pb 图:
from pathlib import Path
from ultralytics.utils.export import keras2pb
keras2pb(keras_model, output_file=Path("resnet18_saved_model/resnet18.pb"))Link to this section导出到 NCNN#
from ultralytics.utils.export import torch2ncnn
torch2ncnn(model, im, output_dir="resnet18_ncnn_model")目录包含固定名称的 param 和 bin 文件,以及一个 Python 包装器:
resnet18_ncnn_model/
├── model.ncnn.param
├── model.ncnn.bin
└── model_ncnn.pytorch2ncnn() 会在首次使用时检查 ncnn 和 pnnx。
Link to this section导出到 MNN#
MNN 导出需要一个 ONNX 文件作为输入。请先导出到 ONNX,然后再进行转换:
from ultralytics.utils.export import onnx2mnn, torch2onnx
torch2onnx(model, im, output_file="resnet18.onnx")
onnx2mnn("resnet18.onnx", output_file="resnet18.mnn")支持 half=True 以启用 FP16,以及 int8=True 进行 INT8 量化。需要 MNN>=2.9.6 和 torch>=1.10。
Link to this section导出到 PaddlePaddle#
from ultralytics.utils.export import torch2paddle
torch2paddle(model, im, output_dir="resnet18_paddle_model")目录包含 PaddlePaddle 模型和参数文件:
resnet18_paddle_model/
├── model.pdmodel
└── model.pdiparams需要 x2paddle 以及适合你平台的 PaddlePaddle 发行版:
- CUDA 平台上使用
paddlepaddle-gpu>=3.0.0,<3.3.0 - 在 ARM64 CPU 上使用
paddlepaddle==3.0.0 - 在其他 CPU 上使用
paddlepaddle>=3.0.0,<3.3.0
不支持 NVIDIA Jetson。
Link to this section导出为 ExecuTorch#
from ultralytics.utils.export import torch2executorch
torch2executorch(model, im, output_dir="resnet18_executorch_model")导出的 .pte 文件保存在输出目录中:
resnet18_executorch_model/
└── model.pte需要 torch>=2.9.0 和配套的 ExecuTorch 运行时 (pip install executorch)。有关运行时使用方法,请参阅 ExecuTorch 集成。
Link to this section验证你导出的模型#
After exporting, verify numerical parity with the original PyTorch model before shipping. A quick smoke test with ONNXBackend from ultralytics.nn.backends compares outputs and flags tracing or quantization errors early:
import numpy as np
import timm
import torch
from ultralytics.nn.backends import ONNXBackend
model = timm.create_model("resnet18", pretrained=True).eval()
im = torch.randn(1, 3, 224, 224)
with torch.no_grad():
pytorch_output = model(im).numpy()
onnx_model = ONNXBackend("resnet18.onnx", device=torch.device("cpu"))
onnx_output = onnx_model(im)[0]
diff = np.abs(pytorch_output - onnx_output).max()
print(f"Max difference: {diff:.6f}") # should be < 1e-5对于 FP32 导出,最大绝对差异应小于 1e-5。更大的差异通常指向不支持的操作、输入形状不正确或模型未处于评估模式。FP16 和 INT8 导出的容差则更为宽松。请使用真实数据而非随机张量进行验证。
对于其他运行时,输入张量名称可能有所不同。例如,OpenVINO 使用模型的前向参数名称(通用模型通常为 x),而 torch2onnx 默认为 "images"。
Link to this section已知限制#
- 多输入支持不均衡:
torch2onnx和torch2openvino接受示例张量的元组或列表用于多输入模型。而torch2torchscript、torch2coreml、torch2ncnn、torch2paddle和torch2executorch仅假设单个输入张量。 - ExecuTorch 需要
flatc:ExecuTorch 运行时需要 FlatBuffers 编译器。在 macOS 上使用brew install flatbuffers安装,或在 Ubuntu 上使用apt install flatbuffers-compiler安装。 - 无法通过 Ultralytics 进行推理:导出的非 YOLO 模型无法通过
YOLO()加载回以进行推理。请为每种格式使用原生运行时 (ONNX Runtime, OpenVINO Runtime 等)。 - 仅限 YOLO 的格式:Axelera 和 Sony IMX500 导出需要 YOLO 特定的模型属性,不适用于通用模型。
- 平台特定格式:TensorRT 需要 NVIDIA GPU。RKNN 需要
rknn-toolkit2SDK(仅限 Linux)。Edge TPU 需要edgetpu_compiler二进制文件(仅限 Linux)。
Link to this section常见问题解答#
Link to this section我可以使用 Ultralytics 导出哪些模型?#
任何 torch.nn.Module。这包括来自 timm、torchvision 的模型或任何自定义 PyTorch 模型。在导出前,模型必须处于评估模式 (model.eval())。ONNX 和 OpenVINO 额外接受多输入模型的示例张量元组。
Link to this section哪些导出格式可以在没有 GPU 的情况下工作?#
所有支持的格式(TorchScript, ONNX, OpenVINO, CoreML, TF SavedModel, TF Frozen Graph, NCNN, PaddlePaddle, MNN, ExecuTorch)都可以在 CPU 上导出。导出过程本身不需要 GPU。TensorRT 是唯一需要 NVIDIA GPU 的格式。
Link to this section我需要什么版本的 Ultralytics?#
请使用 Ultralytics >=8.4.38,它包含了 ultralytics.utils.export 模块以及标准化的 output_file/output_dir 参数。
Link to this section我可以将 torchvision 模型导出为 CoreML 以进行 iOS 部署吗?#
Yes. torchvision classifiers, detectors, and segmentation models export to .mlpackage via torch2coreml. For image classification models, pass a list of class names to classifier_names to bake in a classification head. Run the export on macOS or Linux. CoreML is not supported on Windows. See the CoreML integration for iOS deployment details.
Link to this section我可以将导出的模型量化为 INT8 或 FP16 吗?#
可以,适用于多种格式。在导出到 OpenVINO、CoreML、MNN 或 NCNN 时,传入 half=True 可获得 FP16,或传入 int8=True 可获得 INT8。OpenVINO 中的 INT8 还需要一个 calibration_dataset 参数用于 训练后量化。请参阅每个格式的集成页面了解量化的权衡。