はじめる

YOLO向けOpenVINO推論の最適化

Intel OpenVINO toolkit ecosystem overview

はじめに#

Ultralytics YOLOモデルなどの物体検出モデルをはじめとするディープラーニングモデルをデプロイする際は、通常、レイテンシ(単一リクエストへの高速な応答)またはスループット(一度に多くのリクエストを処理する能力)のいずれかを最適化します。このガイドでは、一般消費者向けアプリケーションから大規模デプロイまで、それぞれの目的に応じてIntelのOpenVINOツールキットを使用する方法を説明します。

レイテンシの最適化#

単一のモデルに単一の入力を与え、即時の応答が求められるアプリケーションでは、レイテンシの最適化が重要です。これはコンシューマー向けのシナリオでよく見られます。目標は、入力から推論結果が得られるまでの遅延を最小限に抑えることです。ただし、同時に推論を実行したり、複数のモデルを管理したりする場合は特に、低レイテンシの実現には慎重な検討が必要です。

レイテンシ最適化の主な戦略#

  • デバイスあたりの推論を1回に制限する: 低レイテンシを実現する最も簡単な方法は、デバイスごとに一度に実行する推論を1つに制限することです。同時実行数を増やすと、レイテンシが増大することがよくあります。
  • サブデバイスを活用する: マルチソケットCPUやマルチタイルGPUなどのデバイスでは、内部のサブデバイスを活用することで、レイテンシの増加を最小限に抑えながら複数のリクエストを実行できます。
  • OpenVINOのパフォーマンスヒント: モデルのコンパイル時に、ov::LATENCYをov::performance_modeプロパティに指定すると、パフォーマンス調整が簡素化され、デバイスに依存せず将来にも対応しやすい方法で最適化できます。

初回推論のレイテンシを管理する#

  • モデルキャッシュ: モデルの読み込みやコンパイルにかかる時間がレイテンシに影響するのを抑えるには、可能な場合にモデルキャッシュを使用してください。キャッシュを利用できない場合、一般にCPUが最も速くモデルを読み込めます。
  • モデルのマッピングと読み込み: 読み込み時間を短縮するため、OpenVINOはモデルの読み込みをマッピングに置き換えました。ただし、モデルがリムーバブルドライブまたはネットワークドライブ上にある場合は、ov::enable_mmap(false)を使用して読み込みに戻すことを検討してください。
  • AUTOデバイス選択: このモードではCPUで推論を開始し、アクセラレーターの準備が整うと切り替えるため、初回推論のレイテンシを低減できます。

スループットの最適化#

スループットの最適化は、多数の推論リクエストを同時に処理するシナリオで重要です。個々のリクエストのパフォーマンスを大きく損なわずに、リソース使用率を最大化できます。

スループットを最適化する方法#

  1. OpenVINOのパフォーマンスヒント: パフォーマンスヒントを使用して、デバイス間のスループットを向上させる、抽象度の高い将来にも対応しやすい方法です。

    import openvino as ov
    import openvino.properties.hint as hints
    
    core = ov.Core()
    model = core.read_model("yolo26n_openvino_model/yolo26n.xml")
    config = {hints.performance_mode: hints.PerformanceMode.THROUGHPUT}
    compiled_model = core.compile_model(model, "GPU", config)
  2. 明示的なバッチ処理とストリーム: 明示的なバッチ処理とストリームを利用して、より詳細にパフォーマンスを調整する方法です。

スループット重視のアプリケーションを設計する#

スループットを最大化するには、アプリケーションで次の点を実施してください。

  • 入力を並列に処理し、デバイスの能力を最大限に活用します。
  • データフローを同時実行可能な推論リクエストに分割し、並列実行するようスケジュールします。
  • コールバック付きのAsync APIを使用して、効率性を維持し、デバイスの処理停止を防ぎます。

マルチデバイス実行#

OpenVINOのマルチデバイスモードでは、アプリケーション側でデバイスを管理しなくても、デバイス間で推論リクエストを自動的に分散できるため、スループットの拡張が簡単になります。

実環境でのパフォーマンス向上#

Ultralytics YOLOモデルでOpenVINOの最適化を実装すると、大幅なパフォーマンス向上が得られます。ベンチマークで示されているように、INT8 OpenVINOモデルはIntel Core Ultra CPU上でPyTorchより2.9~6.0倍高速に動作し、同じプロセッサの内蔵GPUではFP32モデルがCPU上のPyTorchより3.6~29.1倍高速に動作しました。Intel Core Ultra Series 3のブログ記事では、これらのプロセッサのうち最新のモデルを取り上げています。

たとえば、Intel Core Ultra X7 358HのCPUでは、INT8 YOLO26nモデルは画像あたり9.99 msで動作しました。PyTorchは29.28 msでした。COCO128でのmAP50-95は0.4720で、PyTorchの0.4765に対して、精度の低下はわずかでした。

実践的な実装#

Ultralytics YOLOモデルをエクスポートしてOpenVINO向けに最適化するには、エクスポート機能を使用します。

from ultralytics import YOLO

# モデルを読み込む
model = YOLO("yolo26n.pt")

# モデルをOpenVINO形式にエクスポート
model.export(format="openvino", quantize=16)  # FP16精度でエクスポート

エクスポート後、最適化したモデルで推論を実行できます。

# OpenVINOモデルを読み込む
ov_model = YOLO("yolo26n_openvino_model/")

# 推論を実行する(UltralyticsはLATENCYパフォーマンスヒントを使用してOpenVINOモデルをコンパイルします)
results = ov_model("https://ultralytics.com/images/bus.jpg", verbose=True)

結論#

OpenVINOを使用してUltralytics YOLOモデルのレイテンシーやスループットを最適化すると、アプリケーションのパフォーマンスを大幅に向上させることができます。レイテンシーとスループットのどちらを最適化するかは、アプリケーション固有のニーズとデプロイ環境の特性によって異なります。

リアルタイム応答を最適化する場合も、大規模処理のスループットを最大化する場合も、まずアプリケーションの要件を確認し、適切なパフォーマンスヒントを選択して、対象ハードウェアでベンチマークを実施してください。

よくある質問#

  • Ultralytics YOLOモデルの低レイテンシを実現するには、次のような主な戦略があります。

    1. デバイスあたりの推論を1回に制限する: 遅延を最小限に抑えるため、デバイスごとに一度に実行する推論を1つに制限します。
    2. サブデバイスの活用: マルチソケットCPUやマルチタイルGPUなど、レイテンシの増加を最小限に抑えながら複数のリクエストを処理できるデバイスを使用します。
    3. OpenVINOのパフォーマンスヒント: モデルのコンパイル時にOpenVINOのov::LATENCYを使用すると、デバイスに依存しない簡単なチューニングが可能です。

    レイテンシを最適化するための実践的なヒントについては、ガイドのレイテンシ最適化のセクションをご覧ください。

  • OpenVINOは、パフォーマンスを損なうことなくデバイスのリソース使用率を最大化し、Ultralytics YOLOモデルのスループットを向上させます。主なメリットは次のとおりです。

    • パフォーマンスヒント: デバイス間で簡単に適用できる、抽象度の高いパフォーマンス調整です。
    • 明示的なバッチ処理とストリーム: 高度なパフォーマンス調整を細かく行えます。
    • マルチデバイス実行: 推論負荷を自動的に分散し、アプリケーション側での管理を簡素化します。

    設定例:

    import openvino as ov
    import openvino.properties.hint as hints
    
    core = ov.Core()
    model = core.read_model("yolo26n_openvino_model/yolo26n.xml")
    config = {hints.performance_mode: hints.PerformanceMode.THROUGHPUT}
    compiled_model = core.compile_model(model, "GPU", config)

    スループット最適化の詳細については、詳細ガイドのスループット最適化のセクションをご覧ください。

  • 初回推論のレイテンシを削減するには、次の方法を検討してください。

    1. モデルキャッシュ: モデルの読み込みとコンパイルにかかる時間を短縮するため、モデルキャッシュを使用します。
    2. モデルのマッピングと読み込み: デフォルトではマッピング(ov::enable_mmap(true))を使用しますが、モデルがリムーバブルドライブまたはネットワークドライブ上にある場合は、読み込み(ov::enable_mmap(false))に切り替えます。
    3. AUTOデバイス選択: AUTOモードを使用すると、CPUで推論を開始し、アクセラレーターの準備が整った時点で切り替えられます。

    初回推論のレイテンシを管理するための詳細な戦略については、初回推論のレイテンシ管理のセクションをご覧ください。

  • レイテンシとスループットの最適化を両立するには、アプリケーションのニーズを理解する必要があります。

    • レイテンシの最適化: 即時応答が必要なリアルタイムアプリケーション(例: コンシューマー向けアプリ)に適しています。
    • スループットの最適化: 多数の推論を同時に実行し、リソース使用率を最大化するシナリオ(例: 大規模なデプロイ)に最適です。

    OpenVINOの抽象度の高いパフォーマンスヒントとマルチデバイスモードを活用すると、適切なバランスを実現できます。具体的な要件に基づいて、適切なOpenVINOのパフォーマンスヒントを選択してください。

  • はい、Ultralytics YOLOモデルはさまざまなランタイムにエクスポートできます。選択肢は次のとおりです。

    詳しくは、Ultralytics統合ページをご覧ください。

コメント2

質問したり、結果を共有したり、ほかの人をサポートしたりできます。

  1. KvsoniGitHub

    Is it possible to use the in built classes and functions of ultralytics to do pre-processing and post-processing and using openVINO for the inference part?

    1. Paula DerrengerUltralytics(編集済み)

      @Kvsoni hi there!

      Yes, that's possible, and the simplest way is to let Ultralytics do it all: export the model to OpenVINO and load the exported folder with YOLO. Ultralytics then handles the pre-processing (resizing, normalization), runs inference with OpenVINO, and does the post-processing (decoding the output into boxes):

      from ultralytics import YOLO
      
      model = YOLO("yolo26n.pt")
      model.export(format="openvino")  # creates 'yolo26n_openvino_model/'
      
      ov_model = YOLO("yolo26n_openvino_model/")
      results = ov_model("path/to/image.jpg")
      results[0].show()

      If you want to run the OpenVINO runtime yourself, note that YOLO model objects do not expose preprocess() or postprocess(); those steps live in the predictor classes (e.g. ultralytics.models.yolo.detect.DetectionPredictor).

      For more detailed guidance on optimizing your model with OpenVINO, including strategies for latency and throughput, please refer to our guide: Optimizing OpenVINO Inference for Ultralytics YOLO Models.

      Feel free to reach out if you have any more questions or need further assistance! 😊