Intel OpenVINO 輸出

このガイドでは、エクスポートについて説明しますYOLO11 OpenVINO形式へのモデル変換により、 CPU速度が最大3倍向上し、 YOLO 推論Intel GPUおよびNPUハードウェア。

OpenVINOOpen Visual Inference &Neural NetworkOptimization toolkitの略で、AI推論モデルの最適化と展開のための包括的なツールキットである。名前にVisualが含まれていますが、OpenVINO 、言語、音声、時系列など様々な追加タスクもサポートしています。

見るんだ： OpenVINO を使った推論のためにUltralytics YOLOv8 モデルをエクスポートして最適化する方法 .

使用例

YOLO11nモデルをエクスポートするOpenVINO エクスポートされたモデルをフォーマットして推論を実行します。

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo11n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

# Export a YOLO11n PyTorch model to OpenVINO format
yolo export model=yolo11n.pt format=openvino # creates 'yolo11n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg'

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg' device="intel:gpu"

エクスポートの引数

エクスポートプロセスの詳細については、Ultralytics ドキュメントのエクスポートに関するページをご覧ください。

メリットOpenVINO

1. パフォーマンス：Intel CPU、統合GPU、ディスクリートGPU、FPGAのパワーを活用することで、OpenVINO 、高性能な推論を実現。
2. ヘテロジニアス実行のサポート：OpenVINO は、一度書けば、サポートされているIntel ハードウェア（CPU 、GPU 、FPGA、VPUなど）にデプロイできるAPIを提供する。
3. モデル・オプティマイザー：OpenVINO は、PyTorch などの一般的なディープラーニング・フレームワークのモデルをインポート、変換、最適化するモデル・オプティマイザーを提供する、 TensorFlowTensorFlow Lite、Keras、ONNX 、PaddlePaddle 、Caffe。
4. 使いやすさ：ツールキットには、ツールキットのさまざまな側面を教える80以上のチュートリアルノートブック （YOLOv8 最適化を含む）が付属しています。

OpenVINO 輸出構造

モデルをOpenVINO フォーマットにエクスポートすると、次のようなディレクトリが作成されます：

1. XMLファイル：ネットワークのトポロジーを記述する。
2. BINファイル：weights and biases バイナリデータを含む。
3. マッピングファイル：元のモデル出力テンソルのOpenVINO tensor へのマッピングを保持する。

これらのファイルを使用して、OpenVINO 推論エンジンで推論を実行することができる。

デプロイメントでOpenVINO エクスポートを使用する

モデルが正常にエクスポートされると、 OpenVINO 形式によっては、推論を実行するための 2 つの主なオプションがあります。

1. を使用する。 ultralytics パッケージは高レベルのAPIを提供し、 OpenVINO ランタイム。

2. ネイティブを使う openvino 推論動作をより高度に、またはカスタマイズして制御するためのパッケージ。

推論Ultralytics

そのultralytics パッケージを使用すると、エクスポートされたOpenVINO 予測メソッドでモデルを予測します。また、ターゲットデバイス（例： intel:gpu, intel:npu, intel:cpu) をデバイス引数を使用して実行します。

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

このアプローチは、推論パイプラインを完全に制御する必要がない場合に、迅速なプロトタイピングやデプロイメントに最適です。

推論OpenVINO ランタイム

そのopenvino ランタイムは、サポートされているすべての推論に統合されたAPIを提供します。 Intel ハードウェア。また、負荷分散などの高度な機能も提供します。 Intel ハードウェアと非同期実行。推論の実行に関する詳細については、 YOLO11ノートブックを参照してください。

Runtimeでモデルを正しくセットアップして使用するには、XMLファイルとBINファイル、および入力サイズや正規化のためのスケールファクターなど、アプリケーション固有の設定が必要であることを忘れないでください。

デプロイメント・アプリケーションでは、通常、以下の手順を実行する：

1. を作成してOpenVINO を初期化する。 core = Core().
2. モデルをロードするには core.read_model() メソッドを使用する。
3. モデルをコンパイルするには core.compile_model() 関数である。
4. 入力（画像、テキスト、音声など）を準備する。
5. を使用して推論を実行する。 compiled_model(input_data).

より詳細な手順とコード・スニペットについては、OpenVINO ドキュメントまたはAPI チュートリアルを参照してください。

OpenVINO YOLO11 ベンチマーク

そのUltralytics チームのベンチマークYOLO11 さまざまなモデル形式と精度にわたって、さまざまな速度と精度を評価しますIntel 対応デバイスOpenVINO 。

Intel コアCPU

インテル® Core® シリーズは、Intel の高性能プロセッサー製品群である。ラインナップには、Core i3（エントリーレベル）、Core i5（ミッドレンジ）、Core i7（ハイエンド）、Core i9（エクストリームパフォーマンス）がある。各シリーズは、日常的なタスクから要求の厳しいプロフェッショナルなワークロードまで、さまざまなコンピューティングニーズと予算に対応しています。新しい世代になるごとに、パフォーマンス、エネルギー効率、機能が改善されています。

以下のベンチマークは第12世代Intel® Core® i9-12900KSで実行されていますCPU FP32 精度で。

インテル® Core™ ウルトラ

インテル® Core™ Ultra™ シリーズは、ゲーマーやクリエイターからAIを活用するプロフェッショナルまで、現代のユーザーの進化するニーズに応えるよう設計された、ハイパフォーマンスコンピューティングの新たなベンチマークです。この次世代ラインナップは、従来のラインナップにとどまりません。 CPU シリーズ;強力なCPU コア、統合された高性能GPU 機能と専用のニューラル プロセッシング ユニット (NPU) を 1 つのチップ内に統合し、多様で集中的なコンピューティング ワークロードに対応する統合ソリューションを提供します。

インテル® Core™ Ultra™ アーキテクチャーの中核は、従来の処理タスクで優れたパフォーマンスを実現するハイブリッド設計です。 GPUワークロードの高速化、AIを活用した運用など、幅広いアプリケーションで活用できます。NPUの搭載により、デバイス上でのAI推論が強化され、より高速で効率的な機械学習とデータ処理が幅広いアプリケーションで実現します。

Core Ultra™ファミリーには、さまざまなパフォーマンスニーズに合わせてカスタマイズされた様々なモデルがあり、省電力設計から「H」マークの付いた高出力モデルまで、幅広いオプションが用意されています。これは、高度なコンピューティングパワーを必要とするノートパソコンやコンパクトなフォームファクターに最適です。ラインナップ全体を通して、ユーザーは以下の相乗効果を享受できます。 CPU 、 GPU 、NPU 統合により、優れた効率性、応答性、マルチタスク機能を実現します。

の一環としてIntel Core Ultra™シリーズは、継続的なイノベーションによって、未来を見据えたコンピューティングの新たなスタンダードを確立しました。複数のモデルが用意されており、さらに新しいモデルも登場予定であるこのシリーズは、 Intelは、次世代のインテリジェントな AI 強化デバイス向けに最先端のソリューションを提供するというコミットメントを果たします。

以下のベンチマークは、インテル® Core™ Ultra™ 7 258Vおよびインテル® Core™ Ultra™ 7 265KでFP32およびINT8精度で実行されています。

インテル® Core™ Ultra™ 7 258V

ベンチマーク

統合インテル® Arc™GPUインテル®ルナレイクCPU統合インテル® AIブーストNPU

詳細なベンチマーク結果

モデル	フォーマット	精密	ステータス	サイズ (MB)	メトリック/mAP50-95(B)	推論時間（ms/im）
YOLO11n	PyTorch	FP32	✅	5.4	0.5052	32.27
YOLO11n	OpenVINO	FP32	✅	10.4	0.5068	11.84
YOLO11n	OpenVINO	INT8	✅	3.3	0.4969	11.24
YOLO11s	PyTorch	FP32	✅	18.4	0.5776	92.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.5797	14.82
YOLO11s	OpenVINO	INT8	✅	9.8	0.5751	12.88
YOLO11m	PyTorch	FP32	✅	38.8	0.6262	277.24
YOLO11m	OpenVINO	FP32	✅	77.1	0.6306	22.94
YOLO11m	OpenVINO	INT8	✅	20.2	0.6126	17.85
YOLO11l	PyTorch	FP32	✅	49.0	0.6361	348.97
YOLO11l	OpenVINO	FP32	✅	97.3	0.6365	27.34
YOLO11l	OpenVINO	INT8	✅	25.7	0.6242	20.83
YOLO11x	PyTorch	FP32	✅	109.3	0.6984	666.07
YOLO11x	OpenVINO	FP32	✅	217.8	0.6890	39.09
YOLO11x	OpenVINO	INT8	✅	55.9	0.6856	30.60

詳細なベンチマーク結果

モデル	フォーマット	精密	ステータス	サイズ (MB)	メトリック/mAP50-95(B)	推論時間（ms/im）
YOLO11n	PyTorch	FP32	✅	5.4	0.5052	32.27
YOLO11n	OpenVINO	FP32	✅	10.4	0.5077	32.55
YOLO11n	OpenVINO	INT8	✅	3.3	0.4980	22.98
YOLO11s	PyTorch	FP32	✅	18.4	0.5776	92.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.5782	98.38
YOLO11s	OpenVINO	INT8	✅	9.8	0.5745	52.84
YOLO11m	PyTorch	FP32	✅	38.8	0.6262	277.24
YOLO11m	OpenVINO	FP32	✅	77.1	0.6307	275.74
YOLO11m	OpenVINO	INT8	✅	20.2	0.6172	132.63
YOLO11l	PyTorch	FP32	✅	49.0	0.6361	348.97
YOLO11l	OpenVINO	FP32	✅	97.3	0.6361	348.97
YOLO11l	OpenVINO	INT8	✅	25.7	0.6240	171.36
YOLO11x	PyTorch	FP32	✅	109.3	0.6984	666.07
YOLO11x	OpenVINO	FP32	✅	217.8	0.6900	783.16
YOLO11x	OpenVINO	INT8	✅	55.9	0.6890	346.82

詳細なベンチマーク結果

モデル	フォーマット	精密	ステータス	サイズ (MB)	メトリック/mAP50-95(B)	推論時間（ms/im）
YOLO11n	PyTorch	FP32	✅	5.4	0.5052	32.27
YOLO11n	OpenVINO	FP32	✅	10.4	0.5085	8.33
YOLO11n	OpenVINO	INT8	✅	3.3	0.5019	8.91
YOLO11s	PyTorch	FP32	✅	18.4	0.5776	92.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.5788	9.72
YOLO11s	OpenVINO	INT8	✅	9.8	0.5710	10.58
YOLO11m	PyTorch	FP32	✅	38.8	0.6262	277.24
YOLO11m	OpenVINO	FP32	✅	77.1	0.6301	19.41
YOLO11m	OpenVINO	INT8	✅	20.2	0.6124	18.26
YOLO11l	PyTorch	FP32	✅	49.0	0.6361	348.97
YOLO11l	OpenVINO	FP32	✅	97.3	0.6362	23.70
YOLO11l	OpenVINO	INT8	✅	25.7	0.6240	21.40
YOLO11x	PyTorch	FP32	✅	109.3	0.6984	666.07
YOLO11x	OpenVINO	FP32	✅	217.8	0.6892	43.91
YOLO11x	OpenVINO	INT8	✅	55.9	0.6890	34.04

インテル® Core™ Ultra™ 7 265K

ベンチマーク

統合インテル® Arc™GPUインテル® Arrow LakeCPU統合インテル® AIブーストNPU

詳細なベンチマーク結果

モデル	フォーマット	精密	ステータス	サイズ (MB)	メトリック/mAP50-95(B)	推論時間（ms/im）
YOLO11n	PyTorch	FP32	✅	5.4	0.5072	16.29
YOLO11n	OpenVINO	FP32	✅	10.4	0.5079	13.13
YOLO11n	OpenVINO	INT8	✅	3.3	0.4976	8.86
YOLO11s	PyTorch	FP32	✅	18.4	0.5771	39.61
YOLO11s	OpenVINO	FP32	✅	36.4	0.5808	18.26
YOLO11s	OpenVINO	INT8	✅	9.8	0.5726	13.24
YOLO11m	PyTorch	FP32	✅	38.8	0.6258	100.65
YOLO11m	OpenVINO	FP32	✅	77.1	0.6310	43.50
YOLO11m	OpenVINO	INT8	✅	20.2	0.6137	20.90
YOLO11l	PyTorch	FP32	✅	49.0	0.6367	131.37
YOLO11l	OpenVINO	FP32	✅	97.3	0.6371	54.52
YOLO11l	OpenVINO	INT8	✅	25.7	0.6226	27.36
YOLO11x	PyTorch	FP32	✅	109.3	0.6990	212.45
YOLO11x	OpenVINO	FP32	✅	217.8	0.6884	112.76
YOLO11x	OpenVINO	INT8	✅	55.9	0.6900	52.06

詳細なベンチマーク結果

モデル	フォーマット	精密	ステータス	サイズ (MB)	メトリック/mAP50-95(B)	推論時間（ms/im）
YOLO11n	PyTorch	FP32	✅	5.4	0.5072	16.29
YOLO11n	OpenVINO	FP32	✅	10.4	0.5077	15.04
YOLO11n	OpenVINO	INT8	✅	3.3	0.4980	11.60
YOLO11s	PyTorch	FP32	✅	18.4	0.5771	39.61
YOLO11s	OpenVINO	FP32	✅	36.4	0.5782	33.45
YOLO11s	OpenVINO	INT8	✅	9.8	0.5745	20.64
YOLO11m	PyTorch	FP32	✅	38.8	0.6258	100.65
YOLO11m	OpenVINO	FP32	✅	77.1	0.6307	81.15
YOLO11m	OpenVINO	INT8	✅	20.2	0.6172	44.63
YOLO11l	PyTorch	FP32	✅	49.0	0.6367	131.37
YOLO11l	OpenVINO	FP32	✅	97.3	0.6409	103.77
YOLO11l	OpenVINO	INT8	✅	25.7	0.6240	58.00
YOLO11x	PyTorch	FP32	✅	109.3	0.6990	212.45
YOLO11x	OpenVINO	FP32	✅	217.8	0.6900	208.37
YOLO11x	OpenVINO	INT8	✅	55.9	0.6897	113.04

詳細なベンチマーク結果

モデル	フォーマット	精密	ステータス	サイズ (MB)	メトリック/mAP50-95(B)	推論時間（ms/im）
YOLO11n	PyTorch	FP32	✅	5.4	0.5072	16.29
YOLO11n	OpenVINO	FP32	✅	10.4	0.5075	8.02
YOLO11n	OpenVINO	INT8	✅	3.3	0.3656	9.28
YOLO11s	PyTorch	FP32	✅	18.4	0.5771	39.61
YOLO11s	OpenVINO	FP32	✅	36.4	0.5801	13.12
YOLO11s	OpenVINO	INT8	✅	9.8	0.5686	13.12
YOLO11m	PyTorch	FP32	✅	38.8	0.6258	100.65
YOLO11m	OpenVINO	FP32	✅	77.1	0.6310	29.88
YOLO11m	OpenVINO	INT8	✅	20.2	0.6111	26.32
YOLO11l	PyTorch	FP32	✅	49.0	0.6367	131.37
YOLO11l	OpenVINO	FP32	✅	97.3	0.6356	37.08
YOLO11l	OpenVINO	INT8	✅	25.7	0.6245	30.81
YOLO11x	PyTorch	FP32	✅	109.3	0.6990	212.45
YOLO11x	OpenVINO	FP32	✅	217.8	0.6894	68.48
YOLO11x	OpenVINO	INT8	✅	55.9	0.6417	49.76

インテル® アークGPU

インテル® Arc™ は、高性能ゲーム、コンテンツ制作、AI ワークロード向けに設計されたIntelディスクリート・グラフィックス・カードの製品ラインです。Arcシリーズは、リアルタイム・レイトレーシング、AI強化グラフィックス、高解像度ゲームをサポートする高度なGPU アーキテクチャを特徴としています。インテル® Arc™は、パフォーマンスと効率性に重点を置き、ハードウェアアクセラレーションによるAV1エンコーディングや最新のグラフィックスAPIのサポートといった独自の機能を提供しながら、他の主要GPU ブランドと競合することを目指しています。

以下のベンチマークはIntel Arc A770とIntel Arc B580でFP32とINT8精度で実行された。

Intel アークA770

Intel アーク B580

結果を再現する

上記のUltralytics のベンチマークをすべてのエクスポートフォーマットで再現するには、以下のコードを実行してください：

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco128.yaml

結論

ベンチマークの結果は、輸出の利点を明確に示しています。 YOLO11 モデルにOpenVINO フォーマット。異なるモデルやハードウェアプラットフォーム間で、 OpenVINO この形式は、同等の精度を維持しながら、推論速度の点で一貫して他の形式を上回ります。

ベンチマークは、ディープラーニングモデルを展開するツールとしてのOpenVINO の有効性を強調しています。モデルをOpenVINO 形式に変換することで、開発者は大幅な性能向上を達成することができ、これらのモデルを実世界のアプリケーションに展開することが容易になります。

OpenVINO の詳しい情報や使用方法については、 OpenVINO の公式ドキュメントを参照してください。

よくあるご質問

エクスポートするにはどうすればいいですか？ YOLO11 モデルをOpenVINO 形式？

エクスポートYOLO11 モデルをOpenVINO フォーマットは大幅に強化されますCPU スピードと有効化GPU NPUアクセラレーションIntel ハードウェア。エクスポートするには、 Python またはCLI 以下のように表示されます。

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo11n_openvino_model/'

# Export a YOLO11n PyTorch model to OpenVINO format
yolo export model=yolo11n.pt format=openvino # creates 'yolo11n_openvino_model/'

詳細については、エクスポート・フォーマットのドキュメントを参照してください。

使用することのメリットは何ですか？ OpenVINO とYOLO11 モデルですか？

使用IntelのOpenVINO ツールキット付きYOLO11 モデルにはいくつかの利点があります:

1. パフォーマンス：CPU 推論で最大3倍のスピードアップを達成し、Intel GPUとNPUをアクセラレーションに活用。
2. モデル・オプティマイザー：PyTorch 、TensorFlow 、ONNX のような一般的なフレームワークからモデルを変換、最適化、実行します。
3. 使いやすさ: 80以上のチュートリアルノートブックが用意されており、ユーザーが使い始めるのに役立ちます。 YOLO11 。
4. ヘテロジニアス実行：統一された API を使用して、さまざまなIntel ハードウェア上にモデルを展開します。

詳細な性能比較については、ベンチマークセクションをご覧ください。

推論を実行するにはどうすればいいですか？ YOLO11 モデルをエクスポートOpenVINO ？

YOLO11nモデルをエクスポートした後OpenVINO 形式では、推論を実行することができますPython またはCLI ：

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with the exported model
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg'

詳細については、予測モードのドキュメントを参照してください。

なぜ選ぶべきなのかUltralytics YOLO11 他のモデルよりもOpenVINO 輸出？

Ultralytics YOLO11 高精度かつ高速なリアルタイム物体検出に最適化されています。具体的には、 OpenVINO 、 YOLO11 提供するもの:

• Intel CPUで最大3倍のスピードアップ
• Intel GPUおよびNPUへのシームレスな展開
• 様々なエクスポートフォーマットで一貫した同等の精度

詳細なパフォーマンス分析については、さまざまなハードウェアでの詳細なYOLO11ベンチマークを確認してください。

ベンチマークできますかYOLO11 さまざまな形式のモデル、例えばPyTorch 、 ONNX 、 そしてOpenVINO ？

はい、ベンチマークできますYOLO11 さまざまな形式のモデルを含むPyTorch 、 TorchScript 、 ONNX 、 そしてOpenVINO選択したデータセットでベンチマークを実行するには、次のコード スニペットを使用します。

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml

詳細なベンチマーク結果については、ベンチマークセクションおよびエクスポートフォーマットのドキュメントを参照してください。

📅作成：1年前 ✏️更新 11日前

コメント