どのエクスポート形式を使用すればよいですか？

CPUへのデプロイにはONNXまたはOpenVINOを使用してください。PyTorchより最大3倍高速です。NVIDIA GPUにはTensorRTを使用してください。最大5倍高速です。CoreMLはAppleデバイスを対象とし、TensorFlow LiteまたはEdge TPUはAndroidおよびCoralハードウェアを対象とします。

FP16でエクスポートするにはどうすればよいですか？

--halfを追加します。ほとんどの形式では半精度にGPUが必要なため、--device 0も渡してください。例外として、CoreMLはCPUでFP16にエクスポートできます。

動的なバッチサイズでエクスポートできますか？

はい。--dynamicを追加します。ONNXのエクスポートではバッチ、高さ、幅の軸が動的になり、CPUでトレースされるため、--device 0は省略してください。TensorRTのエクスポートでは画像サイズが固定され、バッチ次元のみが変化します。引き続き--device 0が必要で、--batch-sizeはエンジンが受け入れる最大バッチサイズを設定します。

TFLite、ONNX、CoreML、TensorRTへのエクスポート#

Q: エクスポートしたモデルを実行するにはどうすればよいですか？

エクスポートしたファイルをdetect.py --weights、val.py --weights、またはtorch.hub.load("ultralytics/yolov5", "custom", "yolov5s.onnx")に渡します。YOLOv5はファイルの拡張子から適切なバックエンドを選択します。

📚 このガイドでは、学習済みのYOLOv5 🚀モデルをPyTorchから、ONNX、TensorRT、CoreMLなどのさまざまなデプロイ形式にエクスポートする方法を説明します。

開始する前に#

リポジトリをクローンし、Python>=3.8.0環境（PyTorch>=1.8を含む）でrequirements.txtをインストールします。モデルとデータセットは、最新のYOLOv5リリースから自動的にダウンロードされます。

git clone https://github.com/ultralytics/yolov5 # clone
cd yolov5
pip install -r requirements.txt # install

TensorRTへのエクスポート例（GPUが必要）については、Colabノートブックの付録セクションをご覧ください。

対応するエクスポート形式#

YOLOv5の推論は、以下の12形式を公式にサポートしています。

パフォーマンスのヒント

ONNXまたはOpenVINOにエクスポートすると、CPUの速度が最大3倍向上します。CPUベンチマークをご覧ください。
TensorRTにエクスポートすると、GPUの速度が最大5倍向上します。GPUベンチマークをご覧ください。

形式	`export.py --include`	モデル
PyTorch	-	`yolov5s.pt`
TorchScript	`torchscript`	`yolov5s.torchscript`
ONNX	`onnx`	`yolov5s.onnx`
OpenVINO	`openvino`	`yolov5s_openvino_model/`
TensorRT	`engine`	`yolov5s.engine`
CoreML	`coreml`	`yolov5s.mlpackage`
TensorFlow SavedModel	`saved_model`	`yolov5s_saved_model/`
TensorFlow GraphDef	`pb`	`yolov5s.pb`
TensorFlow Lite	`tflite`	`yolov5s.tflite`
TensorFlow Edge TPU	`edgetpu`	`yolov5s_edgetpu.tflite`
TensorFlow.js	`tfjs`	`yolov5s_web_model/`
PaddlePaddle	`paddle`	`yolov5s_paddle_model/`

ベンチマーク#

以下のベンチマークは、YOLOv5チュートリアルのノートブックを使用してColab Proで実行しています。再現するには、次の手順に従ってください。

python benchmarks.py --weights yolov5s.pt --imgsz 640 --device 0

Colab Pro V100 GPU#

benchmarks: weights=/content/yolov5/yolov5s.pt, imgsz=640, batch_size=1, data=/content/yolov5/data/coco128.yaml, device=0, half=False, test=False
Checking setup...
YOLOv5 🚀 v6.1-135-g7926afc torch 1.10.0+cu111 CUDA:0 (Tesla V100-SXM2-16GB, 16160MiB)
Setup complete ✅ (8 CPUs, 51.0 GB RAM, 46.7/166.8 GB disk)

Benchmarks complete (458.07s)
                   Format  mAP@0.5:0.95  Inference time (ms)
0                 PyTorch        0.4623                10.19
1             TorchScript        0.4623                 6.85
2                    ONNX        0.4623                14.63
3                OpenVINO           NaN                  NaN
4                TensorRT        0.4617                 1.89
5                  CoreML           NaN                  NaN
6   TensorFlow SavedModel        0.4623                21.28
7     TensorFlow GraphDef        0.4623                21.22
8         TensorFlow Lite           NaN                  NaN
9     TensorFlow Edge TPU           NaN                  NaN
10          TensorFlow.js           NaN                  NaN

Colab Pro CPU#

benchmarks: weights=/content/yolov5/yolov5s.pt, imgsz=640, batch_size=1, data=/content/yolov5/data/coco128.yaml, device=cpu, half=False, test=False
Checking setup...
YOLOv5 🚀 v6.1-135-g7926afc torch 1.10.0+cu111 CPU
Setup complete ✅ (8 CPUs, 51.0 GB RAM, 41.5/166.8 GB disk)

Benchmarks complete (241.20s)
                   Format  mAP@0.5:0.95  Inference time (ms)
0                 PyTorch        0.4623               127.61
1             TorchScript        0.4623               131.23
2                    ONNX        0.4623                69.34
3                OpenVINO        0.4623                66.52
4                TensorRT           NaN                  NaN
5                  CoreML           NaN                  NaN
6   TensorFlow SavedModel        0.4623               123.79
7     TensorFlow GraphDef        0.4623               121.57
8         TensorFlow Lite        0.4623               316.61
9     TensorFlow Edge TPU           NaN                  NaN
10          TensorFlow.js           NaN                  NaN

学習済みYOLOv5モデルをエクスポートする#

このコマンドは、事前学習済みYOLOv5sモデルをTorchScript形式とONNX形式にエクスポートします。yolov5s.ptは利用可能なモデルのうち2番目に小さい「small」モデルです。ほかの選択肢はyolov5n.pt、yolov5m.pt、yolov5l.pt、yolov5x.ptと、それぞれのP6版（yolov5s6.ptなど）、または独自にカスタム学習したチェックポイント（runs/train/exp/weights/best.ptなど）です。利用可能なすべてのモデルの詳細については、READMEの表をご覧ください。

python export.py --weights yolov5s.pt --include torchscript onnx

ヒント

ファイルサイズを小さくするために、--halfを追加してFP16半精度でモデルをエクスポートします。精度

出力：

export: data=data/coco128.yaml, weights=['yolov5s.pt'], imgsz=[640, 640], batch_size=1, device=cpu, half=False, inplace=False, train=False, keras=False, optimize=False, int8=False, dynamic=False, simplify=False, opset=12, verbose=False, workspace=4, nms=False, agnostic_nms=False, topk_per_class=100, topk_all=100, iou_thres=0.45, conf_thres=0.25, include=['torchscript', 'onnx']
YOLOv5 🚀 v6.2-104-ge3e5122 Python-3.8.0 torch-1.12.1+cu113 CPU

Downloading https://github.com/ultralytics/yolov5/releases/download/v6.2/yolov5s.pt to yolov5s.pt...
100% 14.1M/14.1M [00:00<00:00, 274MB/s]

Fusing layers...
YOLOv5s summary: 213 layers, 7225885 parameters, 0 gradients

PyTorch: starting from yolov5s.pt with output shape (1, 25200, 85) (14.1 MB)

TorchScript: starting export with torch 1.12.1+cu113...
TorchScript: export success ✅ 1.7s, saved as yolov5s.torchscript (28.1 MB)

ONNX: starting export with onnx 1.12.0...
ONNX: export success ✅ 2.3s, saved as yolov5s.onnx (28.0 MB)

Export complete (5.5s)
Results saved to /content/yolov5
Detect:          python detect.py --weights yolov5s.onnx
Validate:        python val.py --weights yolov5s.onnx
PyTorch Hub:     model = torch.hub.load('ultralytics/yolov5', 'custom', 'yolov5s.onnx')
Visualize:       https://netron.app/

エクスポートしたモデルは、元のPyTorchモデルと同じ場所に保存されます。

YOLO export locations

エクスポートしたモデルの可視化には、Netron Viewerを推奨します。

YOLO model visualization

エクスポートしたモデルの使用例#

detect.pyはエクスポートしたモデルで推論を実行します。

python detect.py --weights yolov5s.pt             # PyTorch
python detect.py --weights yolov5s.torchscript    # TorchScript
python detect.py --weights yolov5s.onnx           # ONNX Runtime or OpenCV DNN with --dnn
python detect.py --weights yolov5s_openvino_model # OpenVINO
python detect.py --weights yolov5s.engine         # TensorRT
python detect.py --weights yolov5s.mlpackage      # CoreML (macOS only)
python detect.py --weights yolov5s_saved_model    # TensorFlow SavedModel
python detect.py --weights yolov5s.pb             # TensorFlow GraphDef
python detect.py --weights yolov5s.tflite         # TensorFlow Lite
python detect.py --weights yolov5s_edgetpu.tflite # TensorFlow Edge TPU
python detect.py --weights yolov5s_paddle_model   # PaddlePaddle

val.pyはエクスポートしたモデルで検証を実行します。

python val.py --weights yolov5s.pt             # PyTorch
python val.py --weights yolov5s.torchscript    # TorchScript
python val.py --weights yolov5s.onnx           # ONNX Runtime or OpenCV DNN with --dnn
python val.py --weights yolov5s_openvino_model # OpenVINO
python val.py --weights yolov5s.engine         # TensorRT
python val.py --weights yolov5s.mlpackage      # CoreML (macOS only)
python val.py --weights yolov5s_saved_model    # TensorFlow SavedModel
python val.py --weights yolov5s.pb             # TensorFlow GraphDef
python val.py --weights yolov5s.tflite         # TensorFlow Lite
python val.py --weights yolov5s_edgetpu.tflite # TensorFlow Edge TPU
python val.py --weights yolov5s_paddle_model   # PaddlePaddle

エクスポートしたYOLOv5モデルでPyTorch Hubを使用します。

import torch

# Model
model = torch.hub.load("ultralytics/yolov5", "custom", "yolov5s.pt")
model = torch.hub.load("ultralytics/yolov5", "custom", "yolov5s.torchscript")  # TorchScript
model = torch.hub.load("ultralytics/yolov5", "custom", "yolov5s.onnx")  # ONNX Runtime
model = torch.hub.load("ultralytics/yolov5", "custom", "yolov5s_openvino_model")  # OpenVINO
model = torch.hub.load("ultralytics/yolov5", "custom", "yolov5s.engine")  # TensorRT
model = torch.hub.load("ultralytics/yolov5", "custom", "yolov5s.mlpackage")  # CoreML（macOSのみ）
model = torch.hub.load("ultralytics/yolov5", "custom", "yolov5s_saved_model")  # TensorFlow SavedModel
model = torch.hub.load("ultralytics/yolov5", "custom", "yolov5s.pb")  # TensorFlow GraphDef
model = torch.hub.load("ultralytics/yolov5", "custom", "yolov5s.tflite")  # TensorFlow Lite
model = torch.hub.load("ultralytics/yolov5", "custom", "yolov5s_edgetpu.tflite")  # TensorFlow Edge TPU
model = torch.hub.load("ultralytics/yolov5", "custom", "yolov5s_paddle_model")  # PaddlePaddle

# Images
img = "https://ultralytics.com/images/zidane.jpg"  # またはfile、Path、PIL、OpenCV、numpy、list

# Inference
results = model(img)

# Results
results.print()  # or .show(), .save(), .crop(), .pandas(), etc.

OpenCV DNN推論#

ONNXモデルを使用したOpenCV推論：

python export.py --weights yolov5s.pt --include onnx

python detect.py --weights yolov5s.onnx --dnn # detect
python val.py --weights yolov5s.onnx --dnn    # validate

C++推論#

エクスポートしたONNXモデルを使用したYOLOv5 OpenCV DNN C++推論の例：

YOLOv5 OpenVINO C++推論の例：

TensorFlow.jsウェブブラウザー推論#

https://aukerul-shuvo.github.io/YOLOv5_TensorFlow-JS/

サポート対象の環境#

Ultralyticsでは、プロジェクトをすぐに開始できるよう、CUDA、CUDNN、Python、PyTorchなどの必須依存関係をあらかじめインストールした、すぐに使えるさまざまな環境を提供しています。

プロジェクトのステータス#

このバッジは、すべてのYOLOv5 GitHub Actions継続的インテグレーション（CI）テストが正常に合格していることを示します。これらのCIテストでは、トレーニング、検証、推論、エクスポート、ベンチマークなど、さまざまな重要な側面におけるYOLOv5の機能とパフォーマンスを厳密に確認します。これにより、macOS、Windows、Ubuntuで一貫して信頼性の高い動作が保証されます。テストは24時間ごと、および新しいコミットごとに実施されます。

よくある質問#

CPUへのデプロイにはONNXまたはOpenVINOを使用してください。PyTorchより最大3倍高速です。NVIDIA GPUにはTensorRTを使用してください。最大5倍高速です。CoreMLはAppleデバイスを対象とし、TensorFlow LiteまたはEdge TPUはAndroidおよびCoralハードウェアを対象とします。
--halfを追加します。ほとんどの形式では半精度にGPUが必要なため、--device 0も渡してください。例外として、CoreMLはCPUでFP16にエクスポートできます。
はい。--dynamicを追加します。ONNXのエクスポートではバッチ、高さ、幅の軸が動的になり、CPUでトレースされるため、--device 0は省略してください。TensorRTのエクスポートでは画像サイズが固定され、バッチ次元のみが変化します。引き続き--device 0が必要で、--batch-sizeはエンジンが受け入れる最大バッチサイズを設定します。
エクスポートしたファイルをdetect.py --weights、val.py --weights、またはtorch.hub.load("ultralytics/yolov5", "custom", "yolov5s.onnx")に渡します。YOLOv5はファイルの拡張子から適切なバックエンドを選択します。

コントリビューター

GLglenn-jocher⁴ RAraimbekovm¹ PDpderrenger¹

作成日 4 か月前更新日 2 週間前

Get Started