YOLO11モデルのTensorRTエクスポート

高性能環境にコンピュータビジョンモデルをデプロイするには、速度と効率を最大化する形式が必要になる場合があります。これは、NVIDIA GPUにモデルをデプロイする場合に特に当てはまります。

TensorRTエクスポート形式を使用すると、NVIDIAハードウェア上での迅速かつ効率的な推論のために、Ultralytics YOLO11モデルを強化できます。このガイドでは、変換プロセスを簡単に実行するための手順を説明し、深層学習プロジェクトでNVIDIAの高度なテクノロジーを最大限に活用できるようにします。

TensorRT

TensorRTは、NVIDIAが開発した、高速な深層学習推論のために設計された高度なソフトウェア開発キット（SDK）です。物体検出のようなリアルタイムアプリケーションに最適です。

このツールキットは、NVIDIA GPUの深層学習モデルを最適化し、より高速で効率的なオペレーションを実現します。TensorRTモデルは、レイヤーの融合、精度キャリブレーション（INT8およびFP16）、動的テンソルメモリ管理、カーネルの自動チューニングなどの手法を含むTensorRT最適化を受けます。深層学習モデルをTensorRT形式に変換することで、開発者はNVIDIA GPUの可能性を最大限に引き出すことができます。

TensorRTは、TensorFlow、PyTorch、ONNXなど、さまざまなモデル形式との互換性があることで知られており、開発者はさまざまなフレームワークからのモデルを統合および最適化するための柔軟なソリューションを利用できます。この多様性により、多様なハードウェアおよびソフトウェア環境全体で効率的なモデルのデプロイメントが可能になります。

TensorRTモデルの主な特徴

TensorRTモデルは、高速深層学習推論における効率と有効性に貢献する、次のような主要な機能を提供します。

• 精度キャリブレーション: TensorRTは精度キャリブレーションをサポートしており、特定の精度要件に合わせてモデルを微調整できます。これには、INT8やFP16のような低精度形式のサポートが含まれており、許容可能な精度レベルを維持しながら、推論速度をさらに向上させることができます。

• レイヤー融合: TensorRTの最適化プロセスには、レイヤー融合が含まれており、ニューラルネットワークの複数のレイヤーが単一の操作に結合されます。これにより、メモリへのアクセスと計算を最小限に抑えることで、計算のオーバーヘッドが削減され、推論速度が向上します。

• 動的Tensorメモリ管理: TensorRTは、推論中のtensorメモリの使用量を効率的に管理し、メモリオーバーヘッドを削減し、メモリアロケーションを最適化します。これにより、GPUメモリの使用効率が向上します。

• 自動カーネルチューニング: TensorRTは、自動カーネルチューニングを適用して、モデルの各レイヤーに最適化されたGPUカーネルを選択します。この適応的なアプローチにより、モデルはGPUの計算能力を最大限に活用できます。

TensorRTでのデプロイメントオプション

YOLO11モデルをTensorRT形式にエクスポートするコードを見る前に、TensorRTモデルが通常どこで使用されるかを理解しましょう。

TensorRTはいくつかのデプロイメントオプションを提供しており、各オプションは統合の容易さ、パフォーマンスの最適化、柔軟性のバランスが異なっています。

• TensorFlow内でのデプロイ: このメソッドは、TensorRTをTensorFlowに統合し、最適化されたモデルを使い慣れたTensorFlow環境で実行できるようにします。TF-TRTはサポートされているレイヤーとサポートされていないレイヤーの混在を効率的に処理できるため、このようなモデルに役立ちます。

• スタンドアロンTensorRT Runtime API: きめ細かい制御を提供し、パフォーマンスが重要なアプリケーションに最適です。より複雑ですが、サポートされていないオペレーターのカスタム実装が可能です。

• NVIDIA Triton Inference Server: さまざまなフレームワークのモデルをサポートするオプションです。特にクラウドまたはエッジ推論に適しており、同時モデル実行やモデル分析などの機能を提供します。

YOLO11モデルをTensorRTへエクスポート

YOLO11モデルをTensorRT形式に変換することで、実行効率を向上させ、パフォーマンスを最適化できます。

インストール

必要なパッケージをインストールするには、以下を実行します:

# Install the required package for YOLO11
pip install ultralytics

インストールプロセスに関する詳細な手順とベストプラクティスについては、YOLO11インストールガイドを確認してください。YOLO11に必要なパッケージをインストールする際に問題が発生した場合は、一般的な問題ガイドで解決策とヒントを参照してください。

使用法

使用方法の説明に入る前に、Ultralyticsが提供するYOLO11モデルの範囲を必ず確認してください。これは、プロジェクトの要件に最適なモデルを選択するのに役立ちます。

from ultralytics import YOLO

# Load the YOLO11 model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT format
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
tensorrt_model = YOLO("yolo11n.engine")

# Run inference
results = tensorrt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine # creates 'yolo11n.engine''

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

エクスポート引数

エクスポートプロセスの詳細については、エクスポートに関するUltralyticsドキュメントページをご覧ください。

INT8 量子化による TensorRT のエクスポート

TensorRT を使用して Ultralytics YOLO モデルを INT8 精度でエクスポートすると、トレーニング後の量子化（PTQ）が実行されます。TensorRT は PTQ のキャリブレーションを使用します。これは、YOLO モデルが代表的な入力データで推論を処理するときに、各アクティベーションテンソル内のアクティベーションの分布を測定し、その分布を使用して各テンソルのスケール値を推定します。量子化の候補となる各アクティベーションテンソルには、キャリブレーションプロセスによって推測される関連付けられたスケールがあります。

暗黙的に量子化されたネットワークを処理する場合、TensorRTはレイヤーの実行時間を最適化するために、INT8を機会的に使用します。レイヤーがINT8でより高速に実行され、そのデータ入力および出力に量子化スケールが割り当てられている場合、INT8精度を持つカーネルがそのレイヤーに割り当てられます。それ以外の場合、TensorRTは、そのレイヤーの実行時間がより速くなるFP32またはFP16のいずれかの精度をカーネルに選択します。

INT8エクスポートの設定

使用時に指定された引数 エクスポート Ultralytics YOLOモデルの場合 大幅に エクスポートされたモデルのパフォーマンスに影響を与えます。デフォルトの引数と同様に、利用可能なデバイスリソースに基づいて選択する必要があります。 する必要があります ほとんどの場合に有効です Ampere（またはそれ以降）のNVIDIAディスクリートGPU。使用されるキャリブレーションアルゴリズムは "MINMAX_CALIBRATION" そして、利用可能なオプションに関する詳細を読むことができます。 TensorRT Developer Guideに記載されています。Ultralyticsのテストでは、以下が判明しました。 "MINMAX_CALIBRATION" が最良の選択であり、エクスポートはこのアルゴリズムを使用するように修正されています。

• workspace : モデルの重みを変換する際に、デバイスのメモリー割り当てのサイズ（GiB単位）を制御します。

  • 調整: workspace 値は、キャリブレーションのニーズとリソースの利用可能性に応じて調整してください。 workspace キャリブレーション時間が長くなる可能性がありますが、TensorRTがより広範囲な最適化戦術を検討できるようになり、モデルのパフォーマンスが向上する可能性があります。 精度。逆に、より小さい workspace キャリブレーション時間を短縮できますが、最適化戦略が制限され、量子化されたモデルの品質に影響を与える可能性があります。

  • デフォルトは workspace=Noneこれにより、TensorRTが自動的にメモリを割り当てることができます。手動で構成する場合、キャリブレーションがクラッシュした場合（警告なしに終了）、この値を大きくする必要がある場合があります。

  • TensorRTはレポートします UNSUPPORTED_STATE エクスポート中に、値が workspace はデバイスで利用可能なメモリよりも大きいため、の値は workspace 下げるか、に設定する必要があります None.

  • もし workspace が最大値に設定され、キャリブレーションが失敗またはクラッシュする場合は、以下を使用することを検討してください。 None 自動割り当ての場合、または以下の値を減らすことで対応します。 imgsz および batch メモリ要件を削減します。

  • INT8のキャリブレーションはデバイスごとに固有であることを覚えておいてください。キャリブレーションのために「ハイエンド」GPUを借りると、別のデバイスで推論を実行した場合にパフォーマンスが低下する可能性があります。

• batch ：推論に使用される最大バッチサイズ。推論中に、より小さいバッチを使用できますが、指定されたサイズを超えるバッチは受け入れられません。

NVIDIAによる実験の結果、INT8量子化キャリブレーションでは、モデルのデータを代表する500枚以上のキャリブレーション画像を使用することを推奨しています。これはガイドラインであり、 難しい 要件、そして データセットで良好な結果を得るために何が必要かを実験する必要があります。 TensorRTでINT8キャリブレーションを行うにはキャリブレーションデータが必要なため、必ず data 引数は、のとき int8=True TensorRTを使用する場合 data="my_dataset.yaml"、の画像を使用します。 検証 キャリブレーションに使用します。値が渡されない場合 data INT8量子化によるTensorRTへのエクスポートでは、デフォルトでは次のいずれかが使用されます。 モデルタスクに基づいた「small」なサンプルデータセット エラーをスローする代わりに。

from ultralytics import YOLO

model = YOLO("yolov8n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    int8=True,
    data="coco.yaml",  # (4)!
)

# Load the exported TensorRT INT8 model
model = YOLO("yolov8n.engine", task="detect")

# Run inference
result = model.predict("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format with INT8 quantization
yolo export model=yolo11n.pt format=engine batch=8 workspace=4 int8=True data=coco.yaml # creates 'yolov8n.engine''

# Run inference with the exported TensorRT quantized model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

TensorRT INT8 で YOLO を使用する利点

• モデルサイズの削減: FP32からINT8への量子化により、モデルサイズを4倍削減でき（ディスク上またはメモリ内）、ダウンロード時間の短縮につながります。ストレージ要件が低くなり、モデル展開時のメモリフットプリントが削減されます。

• 低消費電力: INT8でエクスポートされたYOLOモデルの精度を下げた演算は、特にバッテリー駆動デバイスの場合、FP32モデルと比較して消費電力を抑えることができます。

• 推論速度の向上: TensorRTは、ターゲットハードウェア向けにモデルを最適化するため、GPU、組み込みデバイス、およびアクセラレータでの推論速度が向上する可能性があります。

TensorRT INT8でYOLOを使用する場合の欠点

• 評価指標の低下: より低い精度を使用するということは mAP, Precision, Recall または任意の モデルのパフォーマンスを評価するために使用されるその他のメトリック はやや悪くなる可能性があります。以下を参照してください。 パフォーマンス結果のセクション の違いを比較するため。 mAP50 および mAP50-95 さまざまなデバイスの小さなサンプルでINT8を使用してエクスポートする場合。

• 開発時間の増加: データセットとデバイスに対するINT8キャリブレーションの「最適な」設定を見つけるには、かなりの量のテストが必要になる場合があります。

• ハードウェア依存性: キャリブレーションとパフォーマンスの向上はハードウェアに大きく依存する可能性があり、モデルの重みは移植性が低くなります。

Ultralytics YOLO TensorRTエクスポートのパフォーマンス

NVIDIA A100

コンシューマーGPU

組み込みデバイス

評価方法

これらのモデルのエクスポート方法とテスト方法については、以下のセクションを展開して情報を参照してください。

from ultralytics import YOLO

model = YOLO("yolov8n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, half=True)

# TensorRT INT8 with calibration `data` (i.e. COCO, ImageNet, or DOTAv1 for appropriate model task)
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, int8=True, data="coco8.yaml"
)

import cv2

from ultralytics import YOLO

model = YOLO("yolov8n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 of the same image
        verbose=False,
        device="cuda",
    )

from ultralytics import YOLO

model = YOLO("yolov8n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet, or DOTAv1 for appropriate model task
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

エクスポートされたYOLO11 TensorRTモデルのデプロイ

Ultralytics YOLO11 モデルを TensorRT 形式に正常にエクスポートしたので、デプロイする準備ができました。さまざまな設定で TensorRT モデルをデプロイする方法の詳細な手順については、以下のリソースをご覧ください。

• Tritonサーバーを使用したUltralyticsのデプロイ: NVIDIAのTriton Inference（旧TensorRT Inference）サーバーをUltralytics YOLOモデルで使用する方法に関するガイドです。

• NVIDIA TensorRTを使用したディープニューラルネットワークのデプロイ: この記事では、NVIDIA TensorRTを使用して、GPUベースのデプロイメントプラットフォームにディープニューラルネットワークを効率的にデプロイする方法について解説します。

• NVIDIAベースPC向けのエンドツーエンドAI：NVIDIA TensorRTデプロイメント: このブログ記事では、NVIDIAベースのPCでAIモデルを最適化およびデプロイするためのNVIDIA TensorRTの使用について解説します。

• NVIDIA TensorRTのGitHubリポジトリ:: これは、NVIDIA TensorRTのソースコードとドキュメントを含む公式GitHubリポジトリです。

概要

このガイドでは、Ultralytics YOLO11モデルをNVIDIAのTensorRTモデル形式に変換することに焦点を当てました。この変換ステップは、YOLO11モデルの効率と速度を向上させ、多様な展開環境でより効果的かつ適切にするために重要です。

使用方法の詳細については、TensorRTの公式ドキュメントをご覧ください。

Ultralytics YOLO11 の追加の統合に興味がある場合は、統合ガイドページに、有益なリソースと洞察が豊富に掲載されています。

よくある質問

YOLO11モデルをTensorRT形式に変換するにはどうすればよいですか？

最適化されたNVIDIA GPU推論のために、Ultralytics YOLO11モデルをTensorRT形式に変換するには、次の手順に従ってください。

1. 必要なパッケージをインストールする:

   pip install ultralytics
   

2. YOLO11モデルをエクスポート:

   from ultralytics import YOLO
   
   model = YOLO("yolo11n.pt")
   model.export(format="engine")  # creates 'yolo11n.engine'
   
   # Run inference
   model = YOLO("yolo11n.engine")
   results = model("https://ultralytics.com/images/bus.jpg")
   

詳細については、YOLO11のインストールガイドとエクスポートに関するドキュメントをご覧ください。

YOLO11 モデルに TensorRT を使用する利点は何ですか？

YOLO11モデルを最適化するためにTensorRTを使用すると、いくつかの利点があります。

• より高速な推論速度: TensorRTは、モデルレイヤーを最適化し、精度キャリブレーション（INT8およびFP16）を使用して、精度を大幅に犠牲にすることなく推論を高速化します。
• メモリ効率：TensorRTはテンソルメモリを動的に管理し、オーバーヘッドを削減し、GPUメモリの使用率を向上させます。
• レイヤー融合: 複数のレイヤーを単一の操作に結合し、計算の複雑さを軽減します。
• カーネル自動チューニング：各モデルレイヤーに対して最適化されたGPUカーネルを自動的に選択し、最大のパフォーマンスを保証します。

詳細については、NVIDIA の公式 TensorRT ドキュメント と、詳細な TensorRT の概要 をご覧ください。

YOLO11モデルでTensorRTを使用してINT8量子化を使用できますか？

はい、INT8量子化を使用してTensorRTでYOLO11モデルをエクスポートできます。このプロセスには、トレーニング後の量子化（PTQ）とキャリブレーションが含まれます。

1. INT8でエクスポート:

   from ultralytics import YOLO
   
   model = YOLO("yolov8n.pt")
   model.export(format="engine", batch=8, workspace=4, int8=True, data="coco.yaml")
   

2. 推論の実行:

   from ultralytics import YOLO
   
   model = YOLO("yolov8n.engine", task="detect")
   result = model.predict("https://ultralytics.com/images/bus.jpg")
   

詳細については、INT8量子化によるTensorRTのエクスポートに関するセクションを参照してください。

NVIDIA Triton Inference ServerにYOLO11 TensorRTモデルをデプロイするにはどうすればよいですか？

NVIDIA Triton Inference ServerにYOLO11 TensorRTモデルをデプロイするには、以下のリソースを使用します。

• Tritonサーバーを使用したUltralytics YOLOv8のデプロイ: Triton Inference Serverのセットアップと使用に関するステップごとのガイダンスです。
• NVIDIA Triton Inference Serverドキュメント: 詳細なデプロイメントオプションと構成に関するNVIDIAの公式ドキュメントです。

これらのガイドは、さまざまな環境への YOLOv8 モデルの効率的な統合に役立ちます。

TensorRTにエクスポートされたYOLOv8モデルで観察されるパフォーマンスの改善点は何ですか？

TensorRTによるパフォーマンスの向上は、使用するハードウェアによって異なります。一般的なベンチマークを以下に示します。

• NVIDIA A100:

  • FP32 推論: ~0.52 ms / 画像
  • FP16 推論: ~0.34 ms / 画像
  • INT8 推論: ~0.28 ms / 画像
  • INT8精度ではmAPがわずかに低下しますが、速度は大幅に向上します。

• コンシューマーGPU（例：RTX 3080）：

  • FP32 推論: ~1.06 ms / 画像
  • FP16 推論: ~0.62 ms / 画像
  • INT8 推論: ~0.52 ms / 画像

異なるハードウェア構成での詳細なパフォーマンスベンチマークは、パフォーマンスセクションをご覧ください。

TensorRTのパフォーマンスに関するより包括的な洞察については、Ultralyticsドキュメントおよび当社のパフォーマンス分析レポートを参照してください。

📅 1年前に作成 ✏️ 2か月前に更新

コメント