インテルOpenVINO エクスポート

このガイドでは、YOLOv8 モデルを OpenVINOフォーマットへのモデルのエクスポートについて説明する。このフォーマットでは、CPUが最大3倍高速化されるだけでなく、IntelGPUや NPUハードウェア上でYOLO 推論が高速化される。

OpenVINOOpen Visual Inference & Neural Network Optimization toolkitの略で、AI推論モデルの最適化と展開のための包括的なツールキットである。名前にVisualが含まれていますが、OpenVINO 、言語、音声、時系列など様々な追加タスクもサポートしています。

見るんだ： OpenVINO を使った推論のためにUltralytics YOLOv8 モデルをエクスポートして最適化する方法 .

使用例

YOLOv8n モデルをOpenVINO 形式にエクスポートし、エクスポートしたモデルで推論を実行する。

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Export the model
model.export(format='openvino')  # creates 'yolov8n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO('yolov8n_openvino_model/')

# Run inference
results = ov_model('https://ultralytics.com/images/bus.jpg')

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

論争

メリットOpenVINO

1. パフォーマンス：OpenVINO は、インテルCPU、統合GPU、ディスクリートGPU、FPGAのパワーを活用することで、高性能な推論を実現します。
2. ヘテロジニアス実行のサポート:OpenVINO は、一度書けば、サポートされているあらゆるインテル・ハードウェア（CPU、GPU、FPGA、VPUなど）にデプロイできるAPIを提供します。
3. Model Optimizer:OpenVINO は、PyTorch 、TensorFlow 、TensorFlow Lite、Keras、ONNX 、PaddlePaddle 、Caffe などの一般的なディープラーニングフレームワークからモデルをインポート、変換、最適化する Model Optimizer を提供します。
4. 使いやすさ：ツールキットには、ツールキットのさまざまな側面を教える80以上のチュートリアルノートブック （YOLOv8 最適化を含む）が付属しています。

OpenVINO 輸出構造

モデルをOpenVINO フォーマットにエクスポートすると、次のようなディレクトリが作成されます：

1. XMLファイル：ネットワークのトポロジーを記述する。
2. BINファイル：weights and biases バイナリデータを含む。
3. マッピングファイル：元のモデル出力テンソルのOpenVINO tensor へのマッピングを保持する。

これらのファイルを使用して、OpenVINO 推論エンジンで推論を実行することができる。

デプロイメントでOpenVINO エクスポートを使用する

OpenVINO ファイルを入手したら、OpenVINO Runtime を使用してモデルを実行できます。ランタイムは、サポートされているすべてのインテル・ハードウェアで推論を行うための統一された API を提供します。また、インテル® ハー ドウェア間のロードバランシングや非同期実行などの高度な機能も提供します。推論の実行に関する詳細は、『Inference withOpenVINO Runtime Guide ( ランタイム・ガイド)』を参照してください。

Runtimeでモデルを正しくセットアップして使用するには、XMLファイルとBINファイル、および入力サイズや正規化のためのスケールファクターなど、アプリケーション固有の設定が必要であることを忘れないでください。

デプロイメント・アプリケーションでは、通常、以下の手順を実行する：

1. を作成してOpenVINO を初期化する。 core = Core().
2. モデルをロードするには core.read_model() メソッドを使用する。
3. モデルをコンパイルするには core.compile_model() 関数である。
4. 入力（画像、テキスト、音声など）を準備する。
5. を使用して推論を実行する。 compiled_model(input_data).

より詳細な手順とコード・スニペットについては、OpenVINO ドキュメントまたはAPI チュートリアルを参照してください。

OpenVINO YOLOv8 ベンチマーク

YOLOv8 PyTorch 、 、 、 の4つの異なるモデルフォーマットで、 チームによって実行されました。ベンチマークはIntel Flex GPUとArc GPU、およびIntel Xeon CPUでFP32精度で実行された（FP32精度ではTorchScript ONNX OpenVINO Ultralytics half=False 引数）。

インテル・フレックスGPU

インテル® データセンター GPU Flex シリーズは、インテリジェントなビジュアルクラウド向けに設計された汎用性の高い堅牢なソリューションです。このGPUは、メディア・ストリーミング、クラウド・ゲーミング、AIビジュアル推論、仮想デスクトップ・インフラストラクチャーのワークロードなど、幅広いワークロードをサポートします。このGPUは、そのオープン・アーキテクチャとAV1エンコードのビルトイン・サポートで際立っており、高性能でクロスアーキテクチャのアプリケーションに標準ベースのソフトウェア・スタックを提供します。FlexシリーズGPUは密度と品質に最適化されており、高い信頼性、可用性、拡張性を提供します。

以下のベンチマークは、インテル® データセンター GPU Flex 170 で FP32 精度で実行されています。

この表は、5つの異なるモデル(YOLOv8n,YOLOv8s,YOLOv8m,YOLOv8l,YOLOv8x)と4つの異なるフォーマット(PyTorch,TorchScript,ONNX,OpenVINO)のベンチマーク結果であり、各組み合わせのステータス、サイズ、mAP50-95(B)メトリック、推論時間を示している。

インテル・アークGPU

インテル® Arc™は、インテルが専用GPU市場に参入したことを象徴しています。Arc™シリーズは、AMDやNvidiaのような大手GPUメーカーと競合するように設計されており、ノートパソコン市場とデスクトップパソコン市場の両方に対応しています。このシリーズには、ノートパソコンのようなコンパクトなデバイス向けのモバイル・バージョンと、デスクトップ・コンピューター向けの大型でより強力なバージョンがあります。

Arc™シリーズは3つのカテゴリーに分かれている：Arc™ 3、Arc™ 5、Arc™ 7の3つのカテゴリーに分かれており、それぞれの数字は性能レベルを示しています。各カテゴリーには複数のモデルがあり、GPUモデル名の「M」はモバイル、統合型バリエーションを意味します。

初期のレビューでは、Arc™シリーズ、特に内蔵A770M GPUの素晴らしいグラフィック性能が高く評価されています。Arc™シリーズの発売は地域によって異なり、近日中に追加モデルが発売される予定です。インテル® Arc™ GPUは、ゲームからコンテンツ制作まで、さまざまなコンピューティング・ニーズに対応する高性能ソリューションを提供します。

以下のベンチマークは、インテル® Arc 770 GPUでFP32精度で実行されています。

インテルXeon CPU

インテル® Xeon® CPUは、複雑で要求の厳しいワークロード向けに設計された高性能なサーバーグレードのプロセッサーです。ハイエンドのクラウドコンピューティングや仮想化から人工知能や機械学習アプリケーションまで、Xeon® CPUは今日のデータセンターに必要なパワー、信頼性、柔軟性を提供します。

特筆すべきは、Xeon® CPUが高い演算密度とスケーラビリティを実現し、中小企業から大企業まで理想的な環境を提供することです。インテル® Xeon® CPUを選択することで、企業は、費用対効果と運用効率を維持しながら、最も要求の厳しいコンピューティング・タスクを自信を持って処理し、イノベーションを促進することができます。

以下のベンチマークは、第4世代インテル® Xeon® Scalable CPUでFP32精度で実行されています。

インテル・コアCPU

インテル® Core® シリーズは、インテルによる高性能プロセッサーのシリーズである。ラインナップには、Core i3（エントリーレベル）、Core i5（ミッドレンジ）、Core i7（ハイエンド）、Core i9（エクストリームパフォーマンス）があります。各シリーズは、日常的なタスクから要求の厳しいプロフェッショナルなワークロードまで、さまざまなコンピューティング・ニーズと予算に対応しています。新しい世代になるごとに、パフォーマンス、エネルギー効率、機能が改善されています。

以下のベンチマークは、第13世代インテル® Core® i7-13700H CPUを使用し、FP32精度で実行されています。

結果を再現する

上記のUltralytics のベンチマークをすべてのエクスポートフォーマットで再現するには、以下のコードを実行してください：

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
results= model.benchmarks(data='coco8.yaml')

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

結論

ベンチマーク結果は、YOLOv8 モデルをOpenVINO 形式にエクスポートすることの利点を明確に示している。様々なモデルやハードウェアプラットフォームにおいて、OpenVINO フォーマットは、同等の精度を維持しながら、推論速度の点で一貫して他のフォーマットを上回っています。

インテル® Data Center GPU Flexシリーズでは、OpenVINO フォーマットは、オリジナルのPyTorch フォーマットに比べて推論速度が約10倍速くなりました。Xeon CPUでは、OpenVINO フォーマットはPyTorch フォーマットの2倍の速度でした。モデルの精度は、異なるフォーマット間でほぼ同じでした。

ベンチマークは、ディープラーニングモデルを展開するツールとしてのOpenVINO の有効性を強調しています。モデルをOpenVINO 形式に変換することで、開発者は大幅な性能向上を達成することができ、これらのモデルを実世界のアプリケーションに展開することが容易になります。

OpenVINO の詳しい情報や使用方法については、 OpenVINO の公式ドキュメントを参照してください。

コメント