TensorRT Export for YOLO11 Models

高性能環境でコンピュータビジョンモデルを展開するには、スピードと効率を最大化するフォーマットが必要になることがあります。これは、NVIDIA GPU上でモデルを展開する場合に特に当てはまります。

By using the TensorRT export format, you can enhance your Ultralytics YOLO11 models for swift and efficient inference on NVIDIA hardware. This guide will give you easy-to-follow steps for the conversion process and help you make the most of NVIDIA's advanced technology in your deep learning projects.

TensorRT

TensorRTNVIDIA によって開発された、高速ディープラーニング推論用に設計された高度なソフトウェア開発キット（SDK）です。物体検出のようなリアルタイムアプリケーションに適している。

このツールキットは、ディープラーニングモデルをNVIDIA GPU 向けに最適化し、より高速で効率的なオペレーションを実現します。TensorRT モデルはTensorRT 最適化を受けますが、これにはレイヤー融合、精度キャリブレーション（INT8 および FP16）、動的tensor メモリ管理、カーネル自動チューニングなどの技術が含まれます。ディープラーニングモデルをTensorRT 形式に変換することで、開発者はNVIDIA GPUの潜在能力を十分に発揮することができます。

TensorRT は、TensorFlow 、 PyTorchおよびONNX を含む様々なモデル形式との互換性で知られ、開発者に異なるフレームワークのモデルを統合し最適化するための柔軟なソリューションを提供します。この汎用性により、多様なハードウェアおよびソフトウェア環境での効率的なモデル展開が可能になります。

TensorRT モデルの主な特徴

TensorRT モデルは、高速ディープラーニング推論における効率性と有効性に貢献する、さまざまな主要機能を提供する：

• 精密キャリブレーション:TensorRT は精密キャリブレーションをサポートしており、特定の精度要件に合わせてモデルを微調整することができます。これにはINT8やFP16のような低精度フォーマットのサポートも含まれ、許容可能な精度レベルを維持しながら推論速度をさらに向上させることができます。

• レイヤー融合：TensorRT 最適化プロセスには、ニューラルネットワークの複数のレイヤーを1つの演算に統合するレイヤー融合が含まれます。これにより計算オーバーヘッドが削減され、メモリアクセスと計算が最小化されるため推論速度が向上します。

• 動的なTensor メモリ管理：TensorRT 推論中のtensor メモリ使用量を効率的に管理し、メモリのオーバーヘッドを減らし、メモリ割り当てを最適化する。その結果、より効率的なGPU メモリ利用が可能になる。

• Automatic Kernel Tuning: TensorRT applies automatic kernel tuning to select the most optimized GPU kernel for each layer of the model. This adaptive approach ensures that the model takes full advantage of the GPUs computational power.

配備オプションTensorRT

Before we look at the code for exporting YOLO11 models to the TensorRT format, let's understand where TensorRT models are normally used.

TensorRT にはいくつかの導入オプションがあり、各オプションで統合のしやすさ、パフォーマンスの最適化、柔軟性のバランスが異なっている：

• TensorFlow 内に配置する: この方法はTensorRT をTensorFlow に統合し、最適化されたモデルを使い慣れたTensorFlow 環境で実行できるようにします。TF-TRTはこれらを効率的に処理できるため、サポートされているレイヤーとサポートされていないレイヤーが混在するモデルに便利です。

• スタンドアロンTensorRT ランタイムAPI：きめ細かい制御が可能で、パフォーマンスを重視するアプリケーションに最適。より複雑ですが、サポートされていない演算子のカスタム実装が可能です。

• NVIDIA Triton 推論サーバー：様々なフレームワークのモデルをサポートするオプション。特にクラウドやエッジ推論に適しており、モデルの同時実行やモデル分析などの機能を提供する。

Exporting YOLO11 Models to TensorRT

You can improve execution efficiency and optimize performance by converting YOLO11 models to TensorRT format.

インストール

必要なパッケージをインストールするには、以下を実行する：

# Install the required package for YOLO11
pip install ultralytics

インストールプロセスに関する詳しい説明とベストプラクティスについては、YOLO11 インストールガイドをご覧ください。YOLO11 に必要なパッケージをインストールする際に、何らかの問題が発生した場合は、解決策やヒントについて、よくある問題ガイドを参照してください。

使用方法

使い方の説明に入る前に、 Ultralytics が提供するYOLO11 モデルのラインナップをご確認ください。これは、あなたのプロジェクトの要件に最も適したモデルを選択するのに役立ちます。

from ultralytics import YOLO

# Load the YOLO11 model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT format
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
tensorrt_model = YOLO("yolo11n.engine")

# Run inference
results = tensorrt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine  # creates 'yolo11n.engine''

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

エクスポートプロセスの詳細については、Ultralytics ドキュメントのエクスポートに関するページをご覧ください。

INT8 量子化によるTensorRT のエクスポート

INT8精度の TensorRT を使用してUltralytics YOLO モデルをエクスポートすると、ポストトレーニング量子化（PTQ）が実行されます。TensorRT はPTQのためにキャリブレーションを使用します。これは、YOLO モデルが代表的な入力データに対して推論を処理する際に、各アクティベーションtensor 内のアクティベーションの分布を測定し、その分布を使用して各tensor のスケール値を推定します。量子化の候補となる各活性化tensor は、キャリブレーションプロセスによって推測される関連スケールを持つ。

暗黙的に量子化されたネットワークを処理するとき、TensorRT はレイヤーの実行時間を最適化するためにINT8を臨機応変に使用する。あるレイヤがINT8で高速に動作し、そのデータ入出力に量子化スケールが割り当てられている場合、INT8精度のカーネルがそのレイヤに割り当てられる。そうでない場合、TensorRT 、そのレイヤの実行時間が速くなる方に基づいて、カーネルにFP32またはFP16のいずれかの精度を選択する。

INT8エクスポートの設定

を使用する際に提供される引数です。 輸出 Ultralytics YOLO モデルの場合 大いに はエクスポートされたモデルのパフォーマンスに影響します。また、利用可能なデバイスリソースに基づいて選択する必要がありますが、デフォルトの引数 べきである ほとんどの場合 Ampere (または新しい)NVIDIA ディスクリートGPU.使用される校正アルゴリズムは "ENTROPY_CALIBRATION_2" オプションの詳細については、こちらをご覧ください。 TensorRT 開発者ガイドUltralytics テストによると "ENTROPY_CALIBRATION_2" が最良の選択であり、輸出はこのアルゴリズムを使うことが確定している。

• workspace :モデルの重みを変換する際のデバイスメモリの割り当てサイズ（GiB単位）を制御します。

  • を調整する。 workspace 校正のニーズとリソースの利用可能性に応じて、値を設定してください。より大きな workspace キャリブレーションにかかる時間は長くなるかもしれないが、TensorRT 、より幅広い最適化戦術を検討することができるようになり、モデルのパフォーマンスを向上させる可能性がある。 精度.逆に workspace は較正時間を短縮できるが、最適化戦略が制限され、量子化モデルの品質に影響を与える可能性がある。

  • デフォルトは workspace=NoneTensorRT 手動で設定する場合、キャリブレーションがクラッシュ（警告なしに終了）する場合は、この値を増やす必要があるかもしれません。

  • TensorRT 報告する UNSUPPORTED_STATE の値が workspace の値は、デバイスが利用可能なメモリよりも大きい。 workspace に設定する必要がある。 None.

  • もし workspace が最大値に設定され、較正が失敗/クラッシュする場合は、以下の使用を検討してください。 None の値を小さくすることで、自動アロケーションが可能になる。 imgsz そして batch を使用することで、必要なメモリを削減することができる。

  • INT8のキャリブレーションは各デバイスに固有であることを忘れないでください。キャリブレーションのために "ハイエンド"GPU を借用すると、推論を他のデバイスで実行したときにパフォーマンスが低下する可能性があります。

• batch :推論に使用される最大バッチサイズ。推論中はより小さなバッチを使用することができるが、推論は指定されたバッチより大きなバッチは受け付けない。

NVIDIA の実験によると、INT8量子化キャリブレーションでは、モデルのデータを代表するキャリブレーション画像を少なくとも500枚使用することを推奨しています。これはガイドラインであり ハード と あなたのデータセットで何が必要かを試してみる必要がある。 TensorRT 、INT8の較正には較正データが必要ですので、必ず data 引数 int8=True TensorRT 、使用する。 data="my_dataset.yaml"の画像を使用する。 バリデーション で校正する。に値が渡されない場合 data INT8量子化でTensorRT 。 モデルタスクに基づく "小さな "サンプルデータセット エラーをスローしない。

from ultralytics import YOLO

model = YOLO("yolov8n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    int8=True,
    data="coco.yaml",  # (4)!
)

# Load the exported TensorRT INT8 model
model = YOLO("yolov8n.engine", task="detect")

# Run inference
result = model.predict("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format with INT8 quantization
yolo export model=yolo11n.pt format=engine batch=8 workspace=4 int8=True data=coco.yaml  # creates 'yolov8n.engine''

# Run inference with the exported TensorRT quantized model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

TensorRT INT8 でYOLO を使用する利点

• モデルサイズの縮小：FP32からINT8への量子化により、（ディスク上またはメモリ上の）モデルサイズが4分の1になり、ダウンロード時間が短縮されます。

• 消費電力の低減：INT8でエクスポートされたYOLO モデルの精度を下げた演算は、FP32モデルに比べて消費電力を抑えることができ、特にバッテリー駆動のデバイスに適しています。

• 推論速度の向上： TensorRT は、ターゲットとなるハードウェアに合わせてモデルを最適化するため、GPU、組み込みデバイス、アクセラレータでの推論速度が向上する可能性があります。

TensorRT INT8でYOLO 。

• 評価指標の低下： より低い精度を使用すると mAP, Precision, Recall または モデルの性能を評価するために使用されるその他の指標 は多少悪くなる可能性が高い。詳細は パフォーマンス結果セクション の違いを比較する。 mAP50 そして mAP50-95 様々なデバイスの小さなサンプルでINT8でエクスポートした場合。

• 開発時間の増加：データセットとデバイスに応じたINT8較正の「最適」設定を見つけるには、かなりの量のテストが必要です。

• ハードウェア依存性：キャリブレーションや性能向上はハードウェアに大きく依存する可能性があり、モデルの重み付けは移植性が低い。

Ultralytics YOLO TensorRT 輸出実績

NVIDIA A100

コンシューマー向けGPU

組み込み機器

評価方法

これらのモデルがどのようにエクスポートされ、テストされたかについては、以下のセクションを参照してください。

from ultralytics import YOLO

model = YOLO("yolov8n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, half=True)

# TensorRT INT8 with calibration `data` (i.e. COCO, ImageNet, or DOTAv1 for appropriate model task)
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, int8=True, data="coco8.yaml"
)

import cv2

from ultralytics import YOLO

model = YOLO("yolov8n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 of the same image
        verbose=False,
        device="cuda",
    )

from ultralytics import YOLO

model = YOLO("yolov8n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet, or DOTAv1 for appropriate model task
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

Deploying Exported YOLO11 TensorRT Models

Having successfully exported your Ultralytics YOLO11 models to TensorRT format, you're now ready to deploy them. For in-depth instructions on deploying your TensorRT models in various settings, take a look at the following resources:

• Triton サーバーでUltralytics を展開する:NVIDIA のTriton Inference (旧TensorRT Inference) Server を、特にUltralytics YOLO モデルで使用する方法についてのガイドです。

• ディープ・ニューラル・ネットワークの展開NVIDIA TensorRT:この記事では、NVIDIA TensorRT を使って、GPU- ベースのデプロイメント・プラットフォームにディープ・ニューラル・ネットワークを効率的にデプロイする方法を説明する。

• NVIDIA ベースPCのためのエンド・ツー・エンドAI：NVIDIA TensorRT 展開:このブログ記事では、NVIDIA TensorRT を使用して、NVIDIA- ベースのPC上でAIモデルを最適化して展開する方法について説明します。

• GitHub Repository forNVIDIA TensorRT ：:NVIDIA TensorRT のソースコードとドキュメントを含む公式 GitHub リポジトリです。

概要

In this guide, we focused on converting Ultralytics YOLO11 models to NVIDIA's TensorRT model format. This conversion step is crucial for improving the efficiency and speed of YOLO11 models, making them more effective and suitable for diverse deployment environments.

使い方の詳細については、TensorRT の公式ドキュメントをご覧ください。

If you're curious about additional Ultralytics YOLO11 integrations, our integration guide page provides an extensive selection of informative resources and insights.

よくあるご質問

How do I convert YOLO11 models to TensorRT format?

To convert your Ultralytics YOLO11 models to TensorRT format for optimized NVIDIA GPU inference, follow these steps:

1. 必要なパッケージをインストールする：

   pip install ultralytics
   

2. Export your YOLO11 model:

   from ultralytics import YOLO
   
   model = YOLO("yolo11n.pt")
   model.export(format="engine")  # creates 'yolov8n.engine'
   
   # Run inference
   model = YOLO("yolo11n.engine")
   results = model("https://ultralytics.com/images/bus.jpg")
   

For more details, visit the YOLO11 Installation guide and the export documentation.

What are the benefits of using TensorRT for YOLO11 models?

Using TensorRT to optimize YOLO11 models offers several benefits:

• 推論速度の高速化：TensorRT はモデルレイヤーを最適化し、高精度キャリブレーション（INT8とFP16）を使用することで、精度を大幅に犠牲にすることなく推論速度を高速化します。
• メモリ効率：TensorRT はtensor のメモリを動的に管理し、オーバーヘッドを削減し、GPU のメモリ使用率を向上させる。
• レイヤー融合：複数のレイヤーを1つの演算に統合し、計算の複雑さを軽減する。
• カーネルの自動チューニング：各モデルレイヤーに最適化されたGPU カーネルを自動的に選択し、最高のパフォーマンスを保証します。

詳しくは、TensorRT の詳細機能をご覧ください。また、TensorRT の概要セクションもご覧ください。

Can I use INT8 quantization with TensorRT for YOLO11 models?

Yes, you can export YOLO11 models using TensorRT with INT8 quantization. This process involves post-training quantization (PTQ) and calibration:

1. INT8でエクスポート：

   from ultralytics import YOLO
   
   model = YOLO("yolov8n.pt")
   model.export(format="engine", batch=8, workspace=4, int8=True, data="coco.yaml")
   

2. 推論を実行する：

   from ultralytics import YOLO
   
   model = YOLO("yolov8n.engine", task="detect")
   result = model.predict("https://ultralytics.com/images/bus.jpg")
   

詳細については、INT8量子化でTensorRT 。

How do I deploy YOLO11 TensorRT models on an NVIDIA Triton Inference Server?

Deploying YOLO11 TensorRT models on an NVIDIA Triton Inference Server can be done using the following resources:

• Triton サーバでUltralytics YOLOv8 を展開する。:Triton Inference Server のセットアップと使用に関するステップバイステップのガイダンス。
• NVIDIA Triton 推論サーバ・ドキュメント:NVIDIA の公式ドキュメントで、詳細な導入オプションと設定をご覧いただけます。

これらのガイドは、様々な配備環境においてYOLOv8 モデルを効率的に統合するのに役立ちます。

TensorRT にエクスポートされたYOLOv8 モデルで確認されたパフォーマンスの向上とは？

TensorRT によるパフォーマンスの向上は、使用するハードウェアによって異なります。以下は代表的なベンチマークです：

• NVIDIA A100:

  • FP32推論：~0.52ミリ秒/画像
  • FP16推論：~0.34ミリ秒/画像
  • INT8推論：~0.28ミリ秒/画像
  • INT8精度ではmAPがわずかに減少しているが、スピードは大幅に向上している。

• コンシューマー向けGPU（例：RTX 3080）：

  • FP32推論：~1.06ミリ秒/画像
  • FP16推論：~0.62ミリ秒/画像
  • INT8推論：~0.52ミリ秒/画像

さまざまなハードウェア構成の詳細な性能ベンチマークは、性能のセクションで見ることができる。

TensorRT のパフォーマンスに関するより包括的な洞察については、Ultralytics のドキュメントおよびパフォーマンス分析レポートを参照してください。

📅作成 11ヶ月前 ✏️更新 10日前

コメント