Intel OpenVINO 輸出

このガイドでは、YOLOv8 のモデルを OpenVINOフォーマットへのエクスポートを取り上げます。 CPUのスピードアップと、YOLO 推論の高速化について説明する。Intel GPUおよびNPUハードウェア上での 推論の高速化について説明する。

OpenVINOOpen Visual Inference & Neural Network Optimization toolkitの略で、AI推論モデルの最適化と展開のための包括的なツールキットである。名前にVisualが含まれていますが、OpenVINO 、言語、音声、時系列など様々な追加タスクもサポートしています。

見るんだ： OpenVINO を使った推論のためにUltralytics YOLOv8 モデルをエクスポートして最適化する方法 .

使用例

YOLOv8n モデルをOpenVINO 形式にエクスポートし、エクスポートしたモデルで推論を実行する。

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolov8n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

論争

メリットOpenVINO

1. パフォーマンス：Intel CPU、統合GPU、ディスクリートGPU、FPGAのパワーを活用することで、OpenVINO 、高性能な推論を実現。
2. ヘテロジニアス実行のサポート：OpenVINO は、一度書けば、サポートされているIntel ハードウェア（CPU 、GPU 、FPGA、VPU など）にデプロイできる API を提供する。
3. Model Optimizer:OpenVINO は、PyTorch 、TensorFlow 、TensorFlow Lite、Keras、ONNX 、PaddlePaddle 、Caffe などの一般的なディープラーニングフレームワークからモデルをインポート、変換、最適化する Model Optimizer を提供します。
4. 使いやすさ：ツールキットには、ツールキットのさまざまな側面を教える80以上のチュートリアルノートブック （YOLOv8 最適化を含む）が付属しています。

OpenVINO 輸出構造

モデルをOpenVINO フォーマットにエクスポートすると、次のようなディレクトリが作成されます：

1. XMLファイル：ネットワークのトポロジーを記述する。
2. BINファイル：weights and biases バイナリデータを含む。
3. マッピングファイル：元のモデル出力テンソルのOpenVINO tensor へのマッピングを保持する。

これらのファイルを使用して、OpenVINO 推論エンジンで推論を実行することができる。

デプロイメントでOpenVINO エクスポートを使用する

OpenVINO ファイルを入手したら、OpenVINO Runtimeを使ってモデルを実行することができる。ランタイムは、サポートされているすべてのIntel ハードウェアにわたって推論を行うための統一されたAPIを提供する。また、Intel ハードウェア間のロードバランシングや非同期実行などの高度な機能も提供します。推論の実行に関する詳細は、『Inference withOpenVINO RuntimeGuide』を参照してください。

Runtimeでモデルを正しくセットアップして使用するには、XMLファイルとBINファイル、および入力サイズや正規化のためのスケールファクターなど、アプリケーション固有の設定が必要であることを忘れないでください。

デプロイメント・アプリケーションでは、通常、以下の手順を実行する：

1. を作成してOpenVINO を初期化する。 core = Core().
2. モデルをロードするには core.read_model() メソッドを使用する。
3. モデルをコンパイルするには core.compile_model() 関数である。
4. 入力（画像、テキスト、音声など）を準備する。
5. を使用して推論を実行する。 compiled_model(input_data).

より詳細な手順とコード・スニペットについては、OpenVINO ドキュメントまたはAPI チュートリアルを参照してください。

OpenVINO YOLOv8 ベンチマーク

YOLOv8 以下のベンチマークは、Ultralytics チームによって、速度と精度を測定する 4 つの異なるモデル形式で実行されました：PyTorch 、TorchScript 、ONNX 、OpenVINO 。ベンチマークは、Intel Flex GPUとArc GPU、およびIntel Xeon CPUでFP32精度で実行されました（FP32精度では half=False 引数）。

Intel フレックスGPU

インテル® Data CenterGPU Flex シリーズは、インテリジェントなビジュアルクラウド向けに設計された多用途で堅牢なソリューションです。このGPU は、メディア・ストリーミング、クラウド・ゲーミング、AI ビジュアル・インファレンス、仮想デスクトップ・インフラストラクチャ・ワークロードなど、幅広いワークロードをサポートします。オープン・アーキテクチャとAV1エンコードのビルトイン・サポートが特長で、高性能でクロスアーキテクチャのアプリケーションに標準ベースのソフトウェア・スタックを提供します。Flex SeriesGPU は密度と品質に最適化されており、高い信頼性、可用性、拡張性を提供する。

以下のベンチマークは、インテル® Data CenterGPU Flex 170上でFP32精度で実行されている。

この表は、5つの異なるモデル(YOLOv8n,YOLOv8s,YOLOv8m,YOLOv8l,YOLOv8x)と4つの異なるフォーマット(PyTorch,TorchScript,ONNX,OpenVINO)のベンチマーク結果であり、各組み合わせのステータス、サイズ、mAP50-95(B)メトリック、推論時間を示している。

Intel アークGPU

インテル® Arc™ は、Intel の専用市場（GPU ）への進出を象徴しています。Arc™シリーズは、AMDやNvidia のような大手メーカーGPU と競合するように設計されており、ラップトップとデスクトップの両方の市場に対応している。このシリーズには、ノートパソコンのような小型機器向けのモバイル・バージョンと、デスクトップ・コンピュータ向けの大型で強力なバージョンがあります。

Arc™シリーズは3つのカテゴリーに分かれている：Arc™ 3、Arc™ 5、Arc™ 7の3つのカテゴリーに分けられ、それぞれの数字が性能レベルを示している。各カテゴリーには複数のモデルがあり、GPU のモデル名にある「M」は、モバイル一体型のバリエーションを意味します。

初期のレビューでは、Arc™シリーズ、特に統合型A770MGPU の素晴らしいグラフィック性能が高く評価されています。Arc™ シリーズは地域によって入手可能なモデルが異なり、近日中に追加モデルがリリースされる予定です。インテル® Arc™ GPUは、ゲームからコンテンツ制作まで、さまざまなコンピューティング・ニーズに対応する高性能ソリューションを提供します。

以下のベンチマークは、インテル® Arc 770GPU で FP32 精度で実行されています。

Intel ジーオンCPU

インテル® Xeon®CPU は、複雑で要求の厳しいワークロード向けに設計された高性能なサーバーグレードのプロセッサーです。ハイエンドのクラウド・コンピューティングや仮想化から人工知能や機械学習アプリケーションまで、Xeon® CPUは今日のデータセンターに必要なパワー、信頼性、柔軟性を提供します。

特筆すべきは、Xeon® CPUが高い演算密度とスケーラビリティを実現し、中小企業から大企業まで理想的な環境を提供することです。インテル® Xeon® CPUを選択することで、企業は、費用対効果と運用効率を維持しながら、最も要求の厳しいコンピューティング・タスクを自信を持って処理し、イノベーションを促進することができます。

以下のベンチマークは、第4世代インテル® Xeon® ScalableCPU でFP32精度で実行されています。

Intel コアCPU

インテル® Core® シリーズは、Intel の高性能プロセッサー製品群である。ラインナップには、Core i3（エントリーレベル）、Core i5（ミッドレンジ）、Core i7（ハイエンド）、Core i9（エクストリームパフォーマンス）がある。各シリーズは、日常的なタスクから要求の厳しいプロフェッショナルなワークロードまで、さまざまなコンピューティングニーズと予算に対応しています。新しい世代になるごとに、パフォーマンス、エネルギー効率、機能が改善されています。

以下のベンチマークは、第13世代インテル® Core® i7-13700HCPU でFP32精度で実行されています。

Intel Ultra 7 155H Meteor Lake CPU

The Intel® Ultra™ 7 155H represents a new benchmark in high-performance computing, designed to cater to the most demanding users, from gamers to content creators. The Ultra™ 7 155H is not just a CPU; it integrates a powerful GPU and an advanced NPU (Neural Processing Unit) within a single chip, offering a comprehensive solution for diverse computing needs.

This hybrid architecture allows the Ultra™ 7 155H to excel in both traditional CPU tasks and GPU-accelerated workloads, while the NPU enhances AI-driven processes, enabling faster and more efficient machine learning operations. This makes the Ultra™ 7 155H a versatile choice for applications requiring high-performance graphics, complex computations, and AI inference.

The Ultra™ 7 series includes multiple models, each offering different levels of performance, with the 'H' designation indicating a high-power variant suitable for laptops and compact devices. Early benchmarks have highlighted the exceptional performance of the Ultra™ 7 155H, particularly in multitasking environments, where the combined power of the CPU, GPU, and NPU leads to remarkable efficiency and speed.

As part of Intel's commitment to cutting-edge technology, the Ultra™ 7 155H is designed to meet the needs of future computing, with more models expected to be released. The availability of the Ultra™ 7 155H varies by region, and it continues to receive praise for its integration of three powerful processing units in a single chip, setting new standards in computing performance.

Benchmarks below run on Intel® Ultra™ 7 155H at FP32 and INT8 precision.

ベンチマーク

Integrated Intel® Arc™ GPUIntel® Meteor Lake CPUIntegrated Intel® AI Boost NPU

モデル	フォーマット	精密	ステータス	サイズ (MB)	メトリック/mAP50-95(B)	推論時間（ms/im）
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	35.95
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6117	8.32
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5791	9.88
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.72
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7136	13.37
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7086	9.96
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	202.05
YOLOv8m	OpenVINO	FP32	✅	99.1	0.7331	28.07
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7259	21.11
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	393.37
YOLOv8l	OpenVINO	FP32	✅	167.0	0.0	52.73
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7861	28.11
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	610.71
YOLOv8x	OpenVINO	FP32	✅	260.6	0.748	73.51
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8085	51.71

モデル	フォーマット	精密	ステータス	サイズ (MB)	メトリック/mAP50-95(B)	推論時間（ms/im）
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	34.69
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6092	39.06
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5968	18.37
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.9
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7136	82.6
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7083	29.51
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	202.43
YOLOv8m	OpenVINO	FP32	✅	99.1	0.728	181.27
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7285	51.25
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	385.87
YOLOv8l	OpenVINO	FP32	✅	167.0	0.7551	347.75
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7675	91.66
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	603.63
YOLOv8x	OpenVINO	FP32	✅	260.6	0.7479	516.39
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8119	142.42

モデル	フォーマット	精密	ステータス	サイズ (MB)	メトリック/mAP50-95(B)	推論時間（ms/im）
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	36.98
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6103	16.68
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5941	14.6
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.76
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7144	32.89
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7062	26.13
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	201.44
YOLOv8m	OpenVINO	FP32	✅	99.1	0.7284	54.4
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7268	30.76
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	385.46
YOLOv8l	OpenVINO	FP32	✅	167.0	0.7539	80.1
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7508	52.25
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	609.4
YOLOv8x	OpenVINO	FP32	✅	260.6	0.7637	104.79
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8077	64.96

結果を再現する

上記のUltralytics のベンチマークをすべてのエクスポートフォーマットで再現するには、以下のコードを実行してください：

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
results = model.benchmarks(data="coco8.yaml")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

結論

ベンチマーク結果は、YOLOv8 モデルをOpenVINO 形式にエクスポートすることの利点を明確に示している。様々なモデルやハードウェアプラットフォームにおいて、OpenVINO フォーマットは、同等の精度を維持しながら、推論速度の点で一貫して他のフォーマットを上回っています。

インテル® データセンターGPU Flex シリーズでは、OpenVINO フォーマットは、オリジナルのPyTorch フォーマットに比べ、推論速度がほぼ 10 倍速くなりました。XeonCPU では、OpenVINO フォーマットはPyTorch フォーマットの 2 倍高速でした。モデルの精度は、異なるフォーマット間でほぼ同じでした。

ベンチマークは、ディープラーニングモデルを展開するツールとしてのOpenVINO の有効性を強調しています。モデルをOpenVINO 形式に変換することで、開発者は大幅な性能向上を達成することができ、これらのモデルを実世界のアプリケーションに展開することが容易になります。

OpenVINO の詳しい情報や使用方法については、 OpenVINO の公式ドキュメントを参照してください。

よくあるご質問

YOLOv8 モデルをOpenVINO フォーマットにエクスポートするには？

YOLOv8 モデルをOpenVINO フォーマットにエクスポートすると、CPU 速度が大幅に向上し、GPU とIntel ハードウェアでの NPU アクセラレーションが可能になります。エクスポートするには、以下に示すように、Python またはCLI のいずれかを使用できます：

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolov8n_openvino_model/'

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

詳細については、エクスポート・フォーマットのドキュメントを参照してください。

YOLOv8 モデルでOpenVINO を使用する利点は何ですか？

YOLOv8 モデルでIntel のOpenVINO ツールキットを使用すると、いくつかの利点がある：

1. パフォーマンス：CPU 推論で最大3倍のスピードアップを達成し、Intel GPUとNPUをアクセラレーションに活用。
2. モデル・オプティマイザー：PyTorch 、TensorFlow 、ONNX のような一般的なフレームワークからモデルを変換、最適化、実行します。
3. 使いやすさ：YOLOv8 を含む80以上のチュートリアルノートブックが用意されています。
4. ヘテロジニアス実行：統一された API を使用して、さまざまなIntel ハードウェア上にモデルを展開します。

詳細な性能比較については、ベンチマークセクションをご覧ください。

OpenVINO にエクスポートされたYOLOv8 モデルを使って推論を実行するには？

YOLOv8 モデルをOpenVINO フォーマットにエクスポートした後、Python またはCLI を使って推論を実行することができます：

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

詳細については、予測モードのドキュメントを参照してください。

OpenVINO エクスポートに、他のモデルではなくUltralytics YOLOv8 を選ぶべき理由は何ですか？

Ultralytics YOLOv8 は、高精度で高速なリアルタイムの物体検出に最適化されている。具体的には、OpenVINO と組み合わせることで、YOLOv8 を提供します：

• Intel CPUで最大3倍のスピードアップ
• Intel GPUおよびNPUへのシームレスな展開
• 様々なエクスポート・フォーマットで一貫した同等の精度

詳細なパフォーマンス分析については、さまざまなハードウェアでの詳細なYOLOv8 ベンチマークをご覧ください。

PyTorch 、ONNX 、OpenVINO のような異なるフォーマットでYOLOv8 モデルのベンチマークを取ることはできますか？

PyTorch,TorchScript,ONNX,OpenVINO を含む様々な形式のYOLOv8 モデルのベンチマークが可能です。以下のコード・スニペットを使用して、選択したデータセットでベンチマークを実行します：

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
results = model.benchmarks(data="coco8.yaml")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

詳細なベンチマーク結果については、ベンチマークセクションおよびエクスポートフォーマットのドキュメントを参照してください。

📅 Created 10 months ago ✏️ Updated 2 days ago

コメント