TensorRT YOLOv8 モデルのエクスポート

高性能環境でコンピュータビジョンモデルを展開するには、スピードと効率を最大化するフォーマットが必要になることがあります。これは、NVIDIA GPU上でモデルを展開する場合に特に当てはまります。

TensorRT エクスポート・フォーマットを使用することで Ultralytics YOLOv8NVIDIA モデルを強化することができます。このガイドでは、変換プロセスの手順をわかりやすく説明し、ディープラーニング・プロジェクトでNVIDIA の高度なテクノロジーを最大限に活用できるようにします。

TensorRT

TensorRTNVIDIA 、高速ディープラーニング推論用に設計された先進的なソフトウェア開発キット（SDK）である。物体検出のようなリアルタイムアプリケーションに適している。

このツールキットは、ディープラーニングモデルをNVIDIA GPU 向けに最適化し、より高速で効率的なオペレーションを実現します。TensorRT モデルはTensorRT 最適化を受けますが、これにはレイヤー融合、精度キャリブレーション（INT8 および FP16）、動的tensor メモリ管理、カーネル自動チューニングなどの技術が含まれます。ディープラーニングモデルをTensorRT 形式に変換することで、開発者はNVIDIA GPUの潜在能力を十分に発揮することができます。

TensorRT は、TensorFlow 、PyTorch 、ONNX を含む様々なモデルフォーマットとの互換性で知られており、開発者に異なるフレームワークのモデルを統合し最適化するための柔軟なソリューションを提供します。この汎用性により、多様なハードウェアおよびソフトウェア環境での効率的なモデル展開が可能になります。

TensorRT モデルの主な特徴

TensorRT モデルは、高速ディープラーニング推論における効率性と有効性に貢献する、さまざまな主要機能を提供する：

• 精密キャリブレーション:TensorRT は精密キャリブレーションをサポートしており、特定の精度要件に合わせてモデルを微調整することができます。これにはINT8やFP16のような低精度フォーマットのサポートも含まれ、許容可能な精度レベルを維持しながら推論速度をさらに向上させることができます。

• レイヤー融合：TensorRT 最適化プロセスには、ニューラルネットワークの複数のレイヤーを1つの演算に統合するレイヤー融合が含まれます。これにより計算オーバーヘッドが削減され、メモリアクセスと計算が最小化されるため推論速度が向上します。

• 動的なTensor メモリ管理：TensorRT 推論中のtensor メモリ使用量を効率的に管理し、メモリのオーバーヘッドを減らし、メモリ割り当てを最適化する。その結果、より効率的なGPU メモリ利用が可能になる。

• 自動カーネル・チューニング：TensorRT は、モデルの各層に最も最適化されたGPU カーネルを選択する自動カーネル・チューニングを適用する。この適応的アプローチは、モデルがGPU の計算能力をフルに活用することを保証する。

配備オプションTensorRT

エクスポートのコードを見る前に YOLOv8 models を TensorRT フォーマット、どこにあるかを理解しましょう TensorRT 通常、モデルが使用されます。

TensorRT にはいくつかの導入オプションがあり、各オプションで統合のしやすさ、パフォーマンスの最適化、柔軟性のバランスが異なっている：

• TensorFlow 内に配置する: この方法はTensorRT をTensorFlow に統合し、最適化されたモデルを使い慣れたTensorFlow 環境で実行できるようにします。TF-TRTはこれらを効率的に処理できるため、サポートされているレイヤーとサポートされていないレイヤーが混在するモデルに便利です。

• スタンドアロンTensorRT ランタイムAPI：きめ細かい制御が可能で、パフォーマンスを重視するアプリケーションに最適。より複雑ですが、サポートされていない演算子のカスタム実装が可能です。

• NVIDIA Triton 推論サーバー：様々なフレームワークのモデルをサポートするオプション。特にクラウドやエッジ推論に適しており、モデルの同時実行やモデル分析などの機能を提供する。

YOLOv8 モデルのエクスポートTensorRT

YOLOv8 モデルをTensorRT フォーマットに変換することで、実行効率を向上させ、パフォーマンスを最適化することができます。

インストール

必要なパッケージをインストールするには、以下を実行する：

# Install the required package for YOLOv8
pip install ultralytics

インストールプロセスに関する詳細な説明とベストプラクティスについては、YOLOv8 インストールガイドをご覧ください。YOLOv8 に必要なパッケージをインストールする際に、何らかの問題が発生した場合は、解決策やヒントについて、よくある問題ガイドを参照してください。

使用方法

使い方の説明に入る前に、 Ultralytics が提供するYOLOv8 モデルのラインナップをご確認ください。これは、あなたのプロジェクトの要件に最も適したモデルを選択するのに役立ちます。

from ultralytics import YOLO

# Load the YOLOv8 model
model = YOLO("yolov8n.pt")

# Export the model to TensorRT format
model.export(format="engine")  # creates 'yolov8n.engine'

# Load the exported TensorRT model
tensorrt_model = YOLO("yolov8n.engine")

# Run inference
results = tensorrt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLOv8n PyTorch model to TensorRT format
yolo export model=yolov8n.pt format=engine  # creates 'yolov8n.engine''

# Run inference with the exported model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

エクスポートプロセスの詳細については、Ultralytics ドキュメントのエクスポートに関するページをご覧ください。

INT8 量子化によるTensorRT のエクスポート

INT8 精度のTensorRT を使用してUltralytics YOLO モデルをエクスポートすると、ポストトレーニング量子化（PTQ）が実行されます。TensorRT はPTQのためにキャリブレーションを使用します。これは、YOLO モデルが代表的な入力データに対して推論を処理する際に、各アクティベーションtensor 内のアクティベーションの分布を測定し、その分布を使用して各tensor のスケール値を推定します。量子化の候補となる各活性化tensor は、キャリブレーションプロセスによって推測される関連スケールを持つ。

暗黙的に量子化されたネットワークを処理するとき、TensorRT はレイヤーの実行時間を最適化するためにINT8を臨機応変に使用する。あるレイヤがINT8で高速に動作し、そのデータ入出力に量子化スケールが割り当てられている場合、INT8精度のカーネルがそのレイヤに割り当てられる。そうでない場合、TensorRT 、そのレイヤの実行時間が速くなる方に基づいて、カーネルにFP32またはFP16のいずれかの精度を選択する。

INT8エクスポートの設定

を使用する際に提供される引数です。 輸出 Ultralytics YOLO モデルの場合 大いに はエクスポートされたモデルのパフォーマンスに影響します。また、利用可能なデバイスリソースに基づいて選択する必要がありますが、デフォルトの引数 べきである ほとんどの場合 Ampere (または新しい)NVIDIA ディスクリートGPU.使用される校正アルゴリズムは "ENTROPY_CALIBRATION_2" オプションの詳細については、こちらをご覧ください。 TensorRT 開発者ガイドUltralytics テストによると "ENTROPY_CALIBRATION_2" が最良の選択であり、輸出はこのアルゴリズムを使うことが確定している。

• workspace :モデルの重みを変換する際のデバイスメモリの割り当てサイズ（GiB単位）を制御します。

  • を調整する。 workspace 校正のニーズとリソースの利用可能性に応じて、値を設定してください。より大きな workspace 較正時間が長くなる可能性がありますが、その分、TensorRT 、最適化の戦術を幅広く検討できるようになり、モデルの性能と精度が向上する可能性があります。逆に workspace は較正時間を短縮できるが、最適化戦略が制限され、量子化モデルの品質に影響を与える可能性がある。

  • デフォルトは workspace=4 (GiB）、キャリブレーションがクラッシュする（警告なしに終了する）場合は、この値を増やす必要があるかもしれません。

  • TensorRT 報告する UNSUPPORTED_STATE の値が workspace の値は、デバイスが利用可能なメモリよりも大きい。 workspace を下げるべきである。

  • もし workspace が最大値に設定され、較正が失敗/クラッシュする場合は、以下の値を下げることを検討してください。 imgsz そして batch を使用することで、必要なメモリを削減することができる。

  • INT8のキャリブレーションは各デバイスに固有であることを忘れないでください。キャリブレーションのために "ハイエンド"GPU を借用すると、推論を他のデバイスで実行したときにパフォーマンスが低下する可能性があります。

• batch :推論に使用される最大バッチサイズ。推論中、より小さいバッチを使用することもできるが、推論は指定されたバッチより大きいバッチは受け付けない。

NVIDIA の実験によると、INT8量子化キャリブレーションでは、モデルのデータを代表するキャリブレーション画像を少なくとも500枚使用することを推奨しています。これはガイドラインであり ハード と あなたのデータセットで何が必要かを試してみる必要がある。 TensorRT 、INT8の較正には較正データが必要ですので、必ず data 引数 int8=True TensorRT 、使用する。 data="my_dataset.yaml"の画像を使用する。 バリデーション で校正する。に値が渡されない場合 data INT8量子化でTensorRT 。 モデルタスクに基づく "小さな "サンプルデータセット エラーをスローしない。

from ultralytics import YOLO

model = YOLO("yolov8n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    int8=True,
    data="coco.yaml",  # (4)!
)

# Load the exported TensorRT INT8 model
model = YOLO("yolov8n.engine", task="detect")

# Run inference
result = model.predict("https://ultralytics.com/images/bus.jpg")

# Export a YOLOv8n PyTorch model to TensorRT format with INT8 quantization
yolo export model=yolov8n.pt format=engine batch=8 workspace=4 int8=True data=coco.yaml  # creates 'yolov8n.engine''

# Run inference with the exported TensorRT quantized model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

TensorRT INT8 でYOLO を使用する利点

• モデルサイズの縮小：FP32からINT8への量子化により、（ディスク上またはメモリ上の）モデルサイズが4分の1になり、ダウンロード時間が短縮されます。

• 消費電力の低減：INT8でエクスポートされたYOLO モデルの精度を下げた演算は、FP32モデルに比べて消費電力を抑えることができ、特にバッテリー駆動のデバイスに適しています。

• 推論速度の向上： TensorRT は、ターゲットとなるハードウェアに合わせてモデルを最適化するため、GPU、組み込みデバイス、アクセラレータでの推論速度が向上する可能性があります。

TensorRT INT8でYOLO 。

• 評価指標の低下： より低い精度を使用すると mAP, Precision, Recall または モデルの性能を評価するために使用されるその他の指標 は多少悪くなる可能性が高い。以下の記事を参照されたい。 パフォーマンス結果セクション の違いを比較する。 mAP50 そして mAP50-95 様々なデバイスの小さなサンプルでINT8でエクスポートした場合。

• 開発時間の増加：データセットとデバイスに応じたINT8較正の「最適」設定を見つけるには、かなりの量のテストが必要です。

• ハードウェア依存性：キャリブレーションや性能向上はハードウェアに大きく依存する可能性があり、モデルの重み付けは移植性が低い。

Ultralytics YOLO TensorRT 輸出実績

NVIDIA A100

コンシューマー向けGPU

組み込み機器

評価方法

これらのモデルがどのようにエクスポートされ、テストされたかについては、以下のセクションを参照してください。

from ultralytics import YOLO

model = YOLO("yolov8n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, half=True)

# TensorRT INT8 with calibration `data` (i.e. COCO, ImageNet, or DOTAv1 for appropriate model task)
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, int8=True, data="coco8.yaml"
)

import cv2

from ultralytics import YOLO

model = YOLO("yolov8n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 of the same image
        verbose=False,
        device="cuda",
    )

from ultralytics import YOLO

model = YOLO("yolov8n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet, or DOTAv1 for appropriate model task
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

エクスポートされたYOLOv8 TensorRT モデルの展開

Ultralytics YOLOv8 モデルをTensorRT フォーマットにエクスポートすることに成功しました。様々な設定でのTensorRT モデルのデプロイに関する詳しい説明は、以下のリソースをご覧ください：

• Triton サーバーでUltralytics を展開する:NVIDIA のTriton Inference (旧TensorRT Inference) Server を、特にUltralytics YOLO モデルで使用する方法についてのガイドです。

• ディープ・ニューラル・ネットワークの展開NVIDIA TensorRT:この記事では、NVIDIA TensorRT を使って、GPU- ベースのデプロイメント・プラットフォームにディープ・ニューラル・ネットワークを効率的にデプロイする方法を説明する。

• NVIDIA ベースPCのためのエンド・ツー・エンドAI：NVIDIA TensorRT 展開:このブログ記事では、NVIDIA-based PC上でのAIモデルの最適化とデプロイのためのNVIDIA TensorRT の使用について説明します。

• GitHub Repository forNVIDIA TensorRT ：:NVIDIA TensorRT のソースコードとドキュメントを含む公式 GitHub リポジトリです。

概要

このガイドでは、Ultralytics YOLOv8 のモデルを、NVIDIA'TensorRT のモデルフォーマットに変換することに焦点を当てた。この変換ステップは、YOLOv8 モデルの効率と速度を向上させ、より効果的で多様な展開環境に適したものにするために非常に重要です。

使い方の詳細については、TensorRT 公式ドキュメントをご覧ください。

その他のUltralytics YOLOv8 の統合についてご興味がおありでしたら、統合ガイドのページで、有益なリソースや洞察を幅広くご紹介しています。

よくあるご質問

YOLOv8 モデルをTensorRT フォーマットに変換する方法は？

Ultralytics YOLOv8 のモデルをTensorRT 形式に変換し、最適化されたNVIDIA GPU 推論を行うには、以下の手順に従う：

1. 必要なパッケージをインストールする：

   pip install ultralytics
   

2. YOLOv8 モデルをエクスポートします：

   from ultralytics import YOLO
   
   model = YOLO("yolov8n.pt")
   model.export(format="engine")  # creates 'yolov8n.engine'
   
   # Run inference
   model = YOLO("yolov8n.engine")
   results = model("https://ultralytics.com/images/bus.jpg")
   

詳細については、YOLOv8 インストールガイドおよびエクスポートドキュメントをご覧ください。

YOLOv8 モデルにTensorRT を使用する利点は何ですか？

YOLOv8 モデルを最適化するためにTensorRT を使用すると、いくつかの利点がある：

• 推論速度の高速化：TensorRT はモデルレイヤーを最適化し、高精度キャリブレーション（INT8とFP16）を使用することで、精度を大幅に犠牲にすることなく推論速度を高速化します。
• メモリ効率：TensorRT はtensor のメモリを動的に管理し、オーバーヘッドを削減し、GPU のメモリ使用率を向上させる。
• レイヤー融合：複数のレイヤーを1つの演算に統合し、計算の複雑さを軽減する。
• カーネルの自動チューニング：各モデルレイヤーに最適化されたGPU カーネルを自動的に選択し、最高のパフォーマンスを保証します。

詳しくは、TensorRT の詳細機能をご覧ください。また、TensorRT の概要セクションもご覧ください。

TensorRT 、YOLOv8 モデルで INT8 量子化を使用できますか？

はい、TensorRT 、INT8量子化を使ってYOLOv8 モデルをエクスポートすることができます。このプロセスには、学習後の量子化（PTQ）とキャリブレーションが含まれます：

1. INT8でエクスポート：

   from ultralytics import YOLO
   
   model = YOLO("yolov8n.pt")
   model.export(format="engine", batch=8, workspace=4, int8=True, data="coco.yaml")
   

2. 推論を実行する：

   from ultralytics import YOLO
   
   model = YOLO("yolov8n.engine", task="detect")
   result = model.predict("https://ultralytics.com/images/bus.jpg")
   

詳細については、INT8量子化でTensorRT 。

YOLOv8 TensorRT モデルをNVIDIA Triton 推論サーバーにデプロイするには？

YOLOv8 TensorRT モデルをNVIDIA Triton Inference Server にデプロイするには、以下のリソースを使用する：

• Triton サーバでUltralytics YOLOv8 を展開する。:Triton Inference Server のセットアップと使用に関するステップバイステップのガイダンス。
• NVIDIA Triton 推論サーバ・ドキュメント:NVIDIA の公式ドキュメントで、詳細な導入オプションと設定をご覧いただけます。

これらのガイドは、YOLOv8 モデルをさまざまな配備環境で効率的に統合するのに役立つ。

TensorRT にエクスポートされたYOLOv8 モデルで確認されたパフォーマンスの向上とは？

TensorRT によるパフォーマンスの向上は、使用するハードウェアによって異なります。以下は代表的なベンチマークです：

• NVIDIA A100:

  • FP32推論：~0.52ミリ秒/画像
  • FP16推論：~0.34ミリ秒/画像
  • INT8推論：~0.28ミリ秒/画像
  • INT8精度ではmAPがわずかに減少しているが、スピードは大幅に向上している。

• コンシューマー向けGPU（例：RTX 3080）：

  • FP32推論：~1.06ミリ秒/画像
  • FP16推論：~0.62ミリ秒/画像
  • INT8推論：~0.52ミリ秒/画像

さまざまなハードウェア構成の詳細な性能ベンチマークは、性能のセクションで見ることができる。

TensorRT のパフォーマンスに関するより包括的な洞察については、Ultralytics のドキュメントおよびパフォーマンス分析レポートを参照してください。

コメント