Intel OpenVINO エクスポート

このガイドでは、YOLO26モデルをOpenVINO形式にエクスポートする方法について説明します。この形式を使用することで、CPUで最大3倍の高速化が期待できるほか、Intel GPUおよびNPUハードウェア上でのYOLO推論を加速できます。

OpenVINO（Open Visual Inference & Neural Network Optimization toolkitの略）は、AI推論モデルの最適化とデプロイのための包括的なツールキットです。名前にVisualが含まれていますが、OpenVINOは言語、音声、時系列データなど、その他の多様なタスクもサポートしています。

使用例

YOLO26nモデルをOpenVINO形式にエクスポートし、エクスポートされたモデルで推論を実行します。

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

エクスポート引数

エクスポートプロセスの詳細については、Ultralyticsのエクスポートに関するドキュメントページを参照してください。

OpenVINOの利点

1. パフォーマンス: OpenVINOは、Intel CPU、統合およびディスクリートGPU、FPGAの能力を活用することで、高性能な推論を実現します。
2. ヘテロジニアス実行のサポート: OpenVINOは、一度コードを書けば、サポートされているIntelハードウェア（CPU、GPU、FPGA、VPUなど）すべてにデプロイできるAPIを提供します。
3. Model Optimizer: OpenVINO provides a Model Optimizer that imports, converts, and optimizes models from popular deep learning frameworks such as PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle, and Caffe.
4. 使いやすさ: ツールキットには、ツールキットの様々な側面を学ぶための80以上のチュートリアルノートブック（YOLO26の最適化を含む）が用意されています。

OpenVINOエクスポート構造

モデルをOpenVINO形式にエクスポートすると、以下の内容を含むディレクトリが生成されます：

1. XMLファイル: ネットワークトポロジを記述します。
2. BINファイル: 重みとバイアスのバイナリデータを含みます。
3. マッピングファイル: 元のモデルの出力テンソルとOpenVINOテンソル名のマッピングを保持します。

これらのファイルを使用して、OpenVINO Inference Engineで推論を実行できます。

デプロイメントでのOpenVINOエクスポートの使用

モデルをOpenVINO形式に正常にエクスポートした後、推論を実行するための主なオプションが2つあります：

1. ultralytics パッケージを使用する。これは高レベルAPIを提供し、OpenVINO Runtimeをラップしています。

2. ネイティブの openvino パッケージを使用する。推論動作をより高度に、または詳細に制御したい場合に適しています。

Ultralyticsによる推論

ultralyticsパッケージを使用すると、predictメソッドを通じてエクスポートされたOpenVINOモデルで簡単に推論を実行できます。また、device引数を使用してターゲットデバイス（例: intel:gpu、intel:npu、intel:cpu）を指定することもできます。

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

このアプローチは、推論パイプラインを完全に制御する必要がない場合の迅速なプロトタイピングやデプロイメントに最適です。

OpenVINO Runtimeによる推論

OpenVINO Runtimeは、サポートされているすべてのIntelハードウェア間で共通の推論APIを提供します。また、Intelハードウェア間の負荷分散や非同期実行といった高度な機能も備えています。推論の実行に関する詳細情報は、YOLO26ノートブックを参照してください。

XMLおよびBINファイルに加え、入力サイズや正規化用のスケール係数などのアプリケーション固有の設定が必要になることを覚えておいてください。これらはRuntimeでモデルを正しくセットアップし使用するために必要です。

デプロイメントアプリケーションでは、通常以下の手順を実行します：

1. core = Core() を作成してOpenVINOを初期化します。
2. core.read_model() メソッドを使用してモデルをロードします。
3. core.compile_model() 関数を使用してモデルをコンパイルします。
4. 入力を準備します（画像、テキスト、音声など）。
5. compiled_model(input_data) を使用して推論を実行します。

詳細な手順やコードスニペットについては、OpenVINOドキュメントまたはAPIチュートリアルを参照してください。

OpenVINO YOLO26 ベンチマーク

Ultralyticsチームは、様々なモデル形式と精度でYOLO26をベンチマークし、OpenVINOと互換性のある様々なIntelデバイスで速度と精度を評価しました。

Intel® Core™ Ultra

Intel® Core™ Ultra™シリーズは、ゲーマーやクリエイターからAIを活用するプロフェッショナルまで、現代のユーザーの進化するニーズに応えるべく設計された、ハイパフォーマンスコンピューティングの新たなベンチマークです。この次世代ラインナップは、従来のCPUシリーズを超えた存在です。強力なCPUコア、統合された高性能GPU機能、および専用のNeural Processing Unit（NPU）を1つのチップに集約し、多様で集中的なコンピューティングワークロードに対して統合的なソリューションを提供します。

Intel® Core Ultra™アーキテクチャの中心にあるのは、従来の処理タスク、GPU加速ワークロード、AI駆動型操作全体で卓越したパフォーマンスを実現するハイブリッド設計です。NPUの搭載はオンデバイスAI推論を強化し、幅広いアプリケーションでより高速で効率的な機械学習とデータ処理を可能にします。

Core Ultra™ファミリには、異なるパフォーマンスニーズに合わせて調整された様々なモデルが含まれています。省電力設計から、「H」指定が付いたハイパワーバリアントまで、深刻なコンピューティングパワーを必要とするノートPCやコンパクトなフォームファクタに最適な選択肢を提供します。ラインナップ全体を通じて、ユーザーはCPU、GPU、NPU統合の相乗効果から恩恵を受け、優れた効率性、応答性、マルチタスク能力を得ることができます。

Intelの絶え間ないイノベーションの一環として、Core Ultra™シリーズは将来を見据えたコンピューティングの新たな標準を打ち立てます。複数のモデルが利用可能であり、今後もさらに増える予定のこのシリーズは、インテリジェントでAIが強化された次世代デバイスに向けた最先端ソリューションを提供するというIntelのコミットメントを強調しています。

以下のベンチマークは、Intel® Core™ Ultra™ X7 358H、Intel® Core™ Ultra™ 7 258V、およびIntel® Core™ Ultra™ 7 155H上で、FP32、FP16、およびINT8精度で実行されたものです。

Intel® Core™ Ultra™ X7 358H

ベンチマーク

統合型 Intel® Arc™ GPUIntel® Panther Lake CPUIntegrated Intel® AI Boost NPU

詳細ベンチマーク結果

モデル	形式	精度	ステータス	サイズ (MB)	metrics/mAP50-95(B)	推論時間 (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	25.18
YOLO26n	OpenVINO	FP32	✅	9.6	0.4763	2.67
YOLO26n	OpenVINO	FP16	✅	5.1	0.4763	2.64
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	2.73
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	50.09
YOLO26s	OpenVINO	FP32	✅	36.7	0.5615	3.57
YOLO26s	OpenVINO	FP16	✅	18.6	0.5615	3.55
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	3.09
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	135.1
YOLO26m	OpenVINO	FP32	✅	78.3	0.6168	5.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	5.85
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	4.14
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	169.75
YOLO26l	OpenVINO	FP32	✅	95.3	0.6206	8.14
YOLO26l	OpenVINO	FP16	✅	48.1	0.6206	8.18
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	4.67
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	407.56
YOLO26x	OpenVINO	FP32	✅	213.2	0.6569	13.11
YOLO26x	OpenVINO	FP16	✅	107.1	0.6569	13.15
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	9.24

Intel® Core™ Ultra™ 7 258V

ベンチマーク

統合型 Intel® Arc™ GPUIntel® Lunar Lake CPUIntegrated Intel® AI Boost NPU

詳細ベンチマーク結果

モデル	形式	精度	ステータス	サイズ (MB)	metrics/mAP50-95(B)	推論時間 (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	31.43
YOLO26n	OpenVINO	FP32	✅	9.6	0.4762	3.57
YOLO26n	OpenVINO	FP16	✅	5.1	0.4762	3.53
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	3.65
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	60.4
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	5.02
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	5.01
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	4.31
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	173.31
YOLO26m	OpenVINO	FP32	✅	78.3	0.6191	9.48
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	9.6
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	6.03
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6173	224.52
YOLO26l	OpenVINO	FP32	✅	95.3	0.3725	11.88
YOLO26l	OpenVINO	FP16	✅	48.1	0.6201	12.0
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	8.47
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	595.72
YOLO26x	OpenVINO	FP32	✅	213.2	0.6567	20.26
YOLO26x	OpenVINO	FP16	✅	107.1	0.6454	20.25
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	14.77

Intel® Core™ Ultra™ 7 155H

ベンチマーク

統合型 Intel® Arc™ GPUIntel® Meteor Lake CPU

詳細ベンチマーク結果

モデル	形式	精度	ステータス	サイズ (MB)	metrics/mAP50-95(B)	推論時間 (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	38.77
YOLO26n	OpenVINO	FP32	✅	9.6	0.4774	9.87
YOLO26n	OpenVINO	FP16	✅	5.1	0.4774	9.84
YOLO26n	OpenVINO	INT8	✅	3.2	0.4705	5.86
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	69.54
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	17.29
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	17.06
YOLO26s	OpenVINO	INT8	✅	10.0	0.5452	10.33
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	192.22
YOLO26m	OpenVINO	FP32	✅	78.3	0.6187	34.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6187	34.75
YOLO26m	OpenVINO	INT8	✅	20.5	0.6073	15.99
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	245.62
YOLO26l	OpenVINO	FP32	✅	95.3	0.6202	43.7
YOLO26l	OpenVINO	FP16	✅	48.1	0.6202	44.65
YOLO26l	OpenVINO	INT8	✅	25.2	0.6048	20.31
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	513.06
YOLO26x	OpenVINO	FP32	✅	213.2	0.6544	80.19
YOLO26x	OpenVINO	FP16	✅	107.1	0.6544	79.83
YOLO26x	OpenVINO	INT8	✅	54.8	0.6393	35.16

結果を再現する

上記のUltralyticsベンチマークをすべてのエクスポートフォーマットで再現するには、このコードを実行してください。

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

結論

ベンチマーク結果は、YOLO26モデルをOpenVINOフォーマットにエクスポートする利点を明確に示しています。さまざまなモデルやハードウェアプラットフォーム全体で、OpenVINOフォーマットは、精度を維持しながら推論速度の面で他のフォーマットを一貫して上回っています。

これらのベンチマークは、ディープラーニングモデルをデプロイするためのツールとしてのOpenVINOの有効性を強調しています。モデルをOpenVINOフォーマットに変換することで、開発者はパフォーマンスを大幅に向上させることができ、実世界のアプリケーションへのモデルデプロイが容易になります。

OpenVINOの使用に関する詳細情報や手順については、公式OpenVINOドキュメントを参照してください。

FAQ

YOLO26モデルをOpenVINOフォーマットにエクスポートするにはどうすればよいですか？

YOLO26モデルをOpenVINOフォーマットにエクスポートすると、CPU速度が大幅に向上し、IntelハードウェアでのGPUおよびNPUアクセラレーションが可能になります。エクスポートには、以下に示すようにPythonまたはCLIのいずれかを使用できます。

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

詳細については、エクスポートフォーマットのドキュメントを参照してください。

YOLO26モデルでOpenVINOを使用する利点は何ですか？

IntelのOpenVINOツールキットをYOLO26モデルで使用すると、いくつかの利点があります。

1. パフォーマンス: CPU推論で最大3倍の高速化を実現し、Intel GPUおよびNPUを活用して高速化できます。
2. モデルオプティマイザー: PyTorch、TensorFlow、ONNXなどの一般的なフレームワークからのモデルを変換、最適化、実行できます。
3. 使いやすさ: 80以上のチュートリアルノートブックが用意されており、YOLO26を含むユーザーの導入をサポートします。
4. ヘテロジニアス実行: 統合されたAPIを使用して、さまざまなIntelハードウェアにモデルをデプロイできます。

詳細なパフォーマンス比較については、ベンチマークセクションをご覧ください。

OpenVINOにエクスポートされたYOLO26モデルを使用して推論を実行するにはどうすればよいですか？

YOLO26nモデルをOpenVINOフォーマットにエクスポートした後、PythonまたはCLIを使用して推論を実行できます。

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

詳細については、予測モードのドキュメントを参照してください。

OpenVINOエクスポートに他のモデルではなくUltralytics YOLO26を選択すべき理由は何ですか？

Ultralytics YOLO26は、リアルタイムの物体検出において高い精度と速度を実現するように最適化されています。特にOpenVINOと組み合わせることで、YOLO26は以下を提供します。

• Intel CPUでの最大3倍の高速化
• Intel GPUおよびNPUへのシームレスなデプロイ
• さまざまなエクスポートフォーマット間での一貫した同等の精度

詳細なパフォーマンス分析については、異なるハードウェアでの詳細なYOLO26ベンチマークを確認してください。

PyTorch、ONNX、OpenVINOなどの異なるフォーマットでYOLO26モデルのベンチマークを実行できますか？

はい、PyTorch、TorchScript、ONNX、OpenVINOを含むさまざまなフォーマットでYOLO26モデルのベンチマークを実行できます。以下のコードスニペットを使用して、選択したデータセットでベンチマークを実行してください。

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

詳細なベンチマーク結果については、ベンチマークセクションおよびエクスポートフォーマットのドキュメントを参照してください。