Intel OpenVINO 輸出

このガイドでは、YOLOv8 のモデルを OpenVINOフォーマットへのエクスポートを取り上げます。 CPUのスピードアップと、YOLO 推論の高速化について説明する。Intel GPUやNPUハードウェア上での 推論の高速化について説明します。

OpenVINOOpen Visual Inference &Neural NetworkOptimization toolkitの略で、AI推論モデルの最適化と展開のための包括的なツールキットである。名前にVisualが含まれていますが、OpenVINO 、言語、音声、時系列など様々な追加タスクもサポートしています。

見るんだ： OpenVINO を使った推論のためにUltralytics YOLOv8 モデルをエクスポートして最適化する方法 .

使用例

YOLOv8n モデルをOpenVINO 形式にエクスポートし、エクスポートしたモデルで推論を実行する。

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolov8n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

議論

メリットOpenVINO

1. パフォーマンス：Intel CPU、統合GPU、ディスクリートGPU、FPGAのパワーを活用することで、OpenVINO 、高性能な推論を実現。
2. ヘテロジニアス実行のサポート：OpenVINO は、一度書けば、サポートされているIntel ハードウェア（CPU 、GPU 、FPGA、VPUなど）にデプロイできるAPIを提供する。
3. モデル・オプティマイザー：OpenVINO は、PyTorch などの一般的なディープラーニング・フレームワークのモデルをインポート、変換、最適化するモデル・オプティマイザーを提供する、 TensorFlowTensorFlow Lite、Keras、ONNX 、PaddlePaddle 、Caffe。
4. 使いやすさ：ツールキットには、ツールキットのさまざまな側面を教える80以上のチュートリアルノートブック （YOLOv8 最適化を含む）が付属しています。

OpenVINO 輸出構造

モデルをOpenVINO フォーマットにエクスポートすると、次のようなディレクトリが作成されます：

1. XMLファイル：ネットワークのトポロジーを記述する。
2. BINファイル：weights and biases バイナリデータを含む。
3. マッピングファイル：元のモデル出力テンソルのOpenVINO tensor へのマッピングを保持する。

これらのファイルを使用して、OpenVINO 推論エンジンで推論を実行することができる。

デプロイメントでOpenVINO エクスポートを使用する

OpenVINO ファイルを入手したら、OpenVINO Runtimeを使ってモデルを実行することができる。ランタイムは、サポートされているすべてのIntel ハードウェアにわたって推論を行うための統一されたAPIを提供する。また、Intel ハードウェア間のロードバランシングや非同期実行などの高度な機能も提供します。推論の実行に関する詳細は、『Inference withOpenVINO RuntimeGuide』を参照してください。

Runtimeでモデルを正しくセットアップして使用するには、XMLファイルとBINファイル、および入力サイズや正規化のためのスケールファクターなど、アプリケーション固有の設定が必要であることを忘れないでください。

デプロイメント・アプリケーションでは、通常、以下の手順を実行する：

1. を作成してOpenVINO を初期化する。 core = Core().
2. モデルをロードするには core.read_model() メソッドを使用する。
3. モデルをコンパイルするには core.compile_model() 関数である。
4. 入力（画像、テキスト、音声など）を準備する。
5. を使用して推論を実行する。 compiled_model(input_data).

より詳細な手順とコード・スニペットについては、OpenVINO ドキュメントまたはAPI チュートリアルを参照してください。

OpenVINO YOLOv8 ベンチマーク

YOLOv8 以下のベンチマークは、Ultralytics チームによって、速度と精度を測定する 4 つの異なるモデル形式で実行されました：PyTorch 、TorchScript 、ONNX 、OpenVINO 。ベンチマークは、Intel FlexおよびArc GPU、Intel Xeon CPUでFP32で実行された。 精度 (を持つ half=False 引数）。

Intel フレックスGPU

インテル® Data CenterGPU Flex シリーズは、インテリジェントなビジュアルクラウド向けに設計された多用途で堅牢なソリューションです。このGPU は、メディア・ストリーミング、クラウド・ゲーミング、AI ビジュアル・インファレンス、仮想デスクトップ・インフラストラクチャ・ワークロードなど、幅広いワークロードをサポートします。オープン・アーキテクチャとAV1エンコードのビルトイン・サポートが特徴で、高性能でクロスアーキテクチャのアプリケーションに標準ベースのソフトウェア・スタックを提供します。Flex SeriesGPU は密度と品質に最適化されており、高い信頼性、可用性、拡張性を提供する。

以下のベンチマークは、インテル® Data CenterGPU Flex 170上でFP32精度で実行されている。

この表は、5つの異なるモデル(YOLOv8n,YOLOv8s,YOLOv8m,YOLOv8l,YOLOv8x)と4つの異なるフォーマット(PyTorch,TorchScript,ONNX,OpenVINO)のベンチマーク結果であり、各組み合わせのステータス、サイズ、mAP50-95(B)メトリック、推論時間を示している。

Intel アークGPU

インテル® Arc™ は、Intel の専用市場（GPU ）への進出を象徴しています。Arc™シリーズは、AMDやNVIDIA のような大手メーカーGPU と競合するように設計されており、ラップトップとデスクトップの両方の市場に対応している。このシリーズには、ノートパソコンのような小型機器向けのモバイル・バージョンと、デスクトップ・コンピュータ向けの大型で強力なバージョンがあります。

Arc™シリーズは3つのカテゴリーに分かれている：Arc™ 3、Arc™ 5、Arc™ 7の3つのカテゴリーに分けられ、それぞれの数字が性能レベルを示している。各カテゴリーには複数のモデルがあり、GPU のモデル名にある「M」は、モバイル一体型のバリエーションを意味します。

初期のレビューでは、Arc™シリーズ、特に統合型A770MGPU の素晴らしいグラフィック性能が高く評価されています。Arc™ シリーズは地域によって入手可能なモデルが異なり、近日中に追加モデルがリリースされる予定です。インテル® Arc™ GPUは、ゲームからコンテンツ制作まで、さまざまなコンピューティング・ニーズに対応する高性能ソリューションを提供します。

以下のベンチマークは、インテル® Arc 770GPU で FP32 精度で実行されています。

Intel ジーオンCPU

インテル® Xeon®CPU は、複雑で要求の厳しいワークロード向けに設計された高性能なサーバーグレードのプロセッサーです。ハイエンドのクラウド・コンピューティングや仮想化から人工知能や機械学習アプリケーションまで、Xeon® CPUは今日のデータセンターに必要なパワー、信頼性、柔軟性を提供します。

特筆すべきは、Xeon® CPUが高い演算密度とスケーラビリティを実現し、中小企業から大企業まで理想的な環境を提供することです。インテル® Xeon® CPUを選択することで、企業は、費用対効果と運用効率を維持しながら、最も要求の厳しいコンピューティング・タスクを自信を持って処理し、イノベーションを促進することができます。

以下のベンチマークは、第4世代インテル® Xeon® ScalableCPU でFP32精度で実行されています。

Intel コアCPU

インテル® Core® シリーズは、Intel の高性能プロセッサー製品群である。ラインナップには、Core i3（エントリーレベル）、Core i5（ミッドレンジ）、Core i7（ハイエンド）、Core i9（エクストリームパフォーマンス）がある。各シリーズは、日常的なタスクから要求の厳しいプロフェッショナルなワークロードまで、さまざまなコンピューティングニーズと予算に対応しています。新しい世代になるごとに、パフォーマンス、エネルギー効率、機能が改善されています。

以下のベンチマークは、第13世代インテル® Core® i7-13700HCPU でFP32精度で実行されています。

Intel ウルトラ7 155H 流星湖CPU

インテル® Ultra™ 7 155H は、ゲーマーからコンテンツ・クリエーターまで、最も要求の厳しいユーザーに対応するよう設計された、ハイパフォーマンス・コンピューティングの新たなベンチマークです。Ultra™ 7 155Hは単なるCPU ；強力なGPU と先進のNPU（ニューラル・プロセッシング・ユニット）を1つのチップに統合し、多様なコンピューティング・ニーズに対する包括的なソリューションを提供します。

このハイブリッド・アーキテクチャにより、Ultra™ 7 155Hは、従来のCPU タスクとGPU-加速されたワークロードの両方で優れた性能を発揮することができます。一方、NPUはAI駆動プロセスを強化し、より高速で効率的な機械学習操作を可能にします。このため、Ultra™ 7 155Hは、高性能グラフィックス、複雑な計算、AI推論を必要とするアプリケーションにとって多目的な選択肢となります。

Ultra™ 7 シリーズには複数のモデルがあり、それぞれ性能レベルが異なります。初期のベンチマークでは、Ultra™ 7 155Hの卓越したパフォーマンスが強調されており、特にマルチタスク環境では、CPU 、GPU 、NPUの複合パワーが顕著な効率と速度につながっています。

Intel の最先端技術へのコミットメントの一環として、Ultra™ 7 155H は将来のコンピューティングのニーズを満たすように設計されており、今後さらに多くのモデルがリリースされる予定です。Ultra™ 7 155Hは、地域によって入手可能なモデルが異なりますが、1つのチップに3つの強力なプロセッシング・ユニットを統合し、コンピューティング・パフォーマンスの新たな基準を打ち立てたことが評価され続けています。

以下のベンチマークは、インテル® Ultra™ 7 155HでFP32およびINT8精度で実行されています。

ベンチマーク

統合インテル® Arc™GPUインテル® メテオ・レイクCPU統合インテル® AIブーストNPU

モデル	フォーマット	精密	ステータス	サイズ (MB)	メトリック/mAP50-95(B)	推論時間（ms/im）
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	35.95
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6117	8.32
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5791	9.88
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.72
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7136	13.37
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7086	9.96
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	202.05
YOLOv8m	OpenVINO	FP32	✅	99.1	0.7331	28.07
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7259	21.11
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	393.37
YOLOv8l	OpenVINO	FP32	✅	167.0	0.0	52.73
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7861	28.11
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	610.71
YOLOv8x	OpenVINO	FP32	✅	260.6	0.748	73.51
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8085	51.71

モデル	フォーマット	精密	ステータス	サイズ (MB)	メトリック/mAP50-95(B)	推論時間（ms/im）
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	34.69
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6092	39.06
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5968	18.37
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.9
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7136	82.6
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7083	29.51
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	202.43
YOLOv8m	OpenVINO	FP32	✅	99.1	0.728	181.27
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7285	51.25
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	385.87
YOLOv8l	OpenVINO	FP32	✅	167.0	0.7551	347.75
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7675	91.66
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	603.63
YOLOv8x	OpenVINO	FP32	✅	260.6	0.7479	516.39
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8119	142.42

モデル	フォーマット	精密	ステータス	サイズ (MB)	メトリック/mAP50-95(B)	推論時間（ms/im）
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	36.98
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6103	16.68
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5941	14.6
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.76
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7144	32.89
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7062	26.13
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	201.44
YOLOv8m	OpenVINO	FP32	✅	99.1	0.7284	54.4
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7268	30.76
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	385.46
YOLOv8l	OpenVINO	FP32	✅	167.0	0.7539	80.1
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7508	52.25
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	609.4
YOLOv8x	OpenVINO	FP32	✅	260.6	0.7637	104.79
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8077	64.96

結果を再現する

上記のUltralytics のベンチマークをすべてのエクスポートフォーマットで再現するには、以下のコードを実行してください：

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
results = model.benchmarks(data="coco8.yaml")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

結論

ベンチマーク結果は、YOLOv8 モデルをOpenVINO 形式にエクスポートすることの利点を明確に示している。様々なモデルやハードウェアプラットフォームにおいて、OpenVINO 形式は、同等の精度を維持しながら、推論速度の点で一貫して他の形式を上回っています。

インテル® データセンターGPU Flex シリーズでは、OpenVINO フォーマットは、オリジナルのPyTorch フォーマットに比べ、推論速度がほぼ 10 倍速くなりました。XeonCPU では、OpenVINO フォーマットはPyTorch フォーマットの 2 倍高速でした。モデルの精度は、異なるフォーマット間でほぼ同じでした。

ベンチマークは、ディープラーニングモデルを展開するツールとしてのOpenVINO の有効性を強調しています。モデルをOpenVINO 形式に変換することで、開発者は大幅な性能向上を達成することができ、これらのモデルを実世界のアプリケーションに展開することが容易になります。

OpenVINO の詳しい情報や使用方法については、 OpenVINO の公式ドキュメントを参照してください。

よくあるご質問

YOLOv8 モデルをOpenVINO フォーマットにエクスポートするには？

YOLOv8 モデルをOpenVINO フォーマットにエクスポートすると、CPU 速度が大幅に向上し、GPU とIntel ハードウェアでの NPU アクセラレーションが可能になります。エクスポートするには、以下に示すように、Python またはCLI のいずれかを使用できます：

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolov8n_openvino_model/'

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

詳細については、エクスポート・フォーマットのドキュメントを参照してください。

YOLOv8 モデルでOpenVINO を使用する利点は何ですか？

YOLOv8 モデルでIntel のOpenVINO ツールキットを使用すると、いくつかの利点がある：

1. パフォーマンス：CPU 推論で最大3倍のスピードアップを達成し、Intel GPUとNPUをアクセラレーションに活用。
2. モデル・オプティマイザー：PyTorch 、TensorFlow 、ONNX のような一般的なフレームワークからモデルを変換、最適化、実行します。
3. 使いやすさ：YOLOv8 を含む80以上のチュートリアルノートブックが用意されています。
4. ヘテロジニアス実行：統一された API を使用して、さまざまなIntel ハードウェア上にモデルを展開します。

詳細な性能比較については、ベンチマークセクションをご覧ください。

OpenVINO にエクスポートされたYOLOv8 モデルを使って推論を実行するには？

YOLOv8 モデルをOpenVINO 形式にエクスポートした後、Python またはCLI を使って推論を実行することができます：

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

詳細については、予測モードのドキュメントを参照してください。

OpenVINO エクスポートに他のモデルではなく、Ultralytics YOLOv8 を選ぶべき理由は何ですか？

Ultralytics YOLOv8 は、高精度で高速なリアルタイムの物体検出に最適化されている。具体的には、OpenVINO と組み合わせることで、YOLOv8 を提供します：

• Intel CPUで最大3倍のスピードアップ
• Intel GPUおよびNPUへのシームレスな展開
• 様々なエクスポートフォーマットで一貫した同等の精度

詳細なパフォーマンス分析については、さまざまなハードウェアでの詳細なYOLOv8 ベンチマークをご覧ください。

PyTorch 、ONNX 、OpenVINO のような異なるフォーマットでYOLOv8 モデルのベンチマークを取ることはできますか？

PyTorch,TorchScript,ONNX,OpenVINO を含む様々な形式のYOLOv8 モデルのベンチマークが可能です。以下のコード・スニペットを使用して、選択したデータセットでベンチマークを実行します：

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmarks(data="coco8.yaml")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

詳細なベンチマーク結果については、ベンチマークセクションおよびエクスポートフォーマットのドキュメントを参照してください。

📅作成：1年前 ✏️更新：1ヶ月前

コメント