TensorRT YOLOv8 モデルのエクスポート

高性能環境でコンピュータビジョンモデルを展開するには、スピードと効率を最大化するフォーマットが必要になることがあります。これは、NVIDIA GPU上でモデルを展開する場合に特に当てはまります。

TensorRT エクスポート・フォーマットを使用することで Ultralytics YOLOv8モデルを強化することができます。このガイドでは、変換プロセスの手順をわかりやすく説明し、ディープラーニング・プロジェクトでNVIDIAの先進技術を最大限に活用できるようにします。

TensorRT

TensorRTNVIDIAによって開発されたこのSDKは、高速ディープラーニング推論用に設計された先進的なソフトウェア開発キット（SDK）である。物体検出のようなリアルタイムアプリケーションに適している。

このツールキットは、NVIDIA GPU 向けにディープラーニングモデルを最適化し、より高速で効率的なオペレーションを実現します。TensorRT モデルは、レイヤー融合、精度キャリブレーション（INT8 および FP16）、動的tensor メモリ管理、およびカーネル自動チューニングなどの技術を含むTensorRT 最適化を受けます。ディープラーニングモデルをTensorRT 形式に変換することで、開発者は NVIDIA GPU の潜在能力を十分に発揮することができます。

TensorRT は、TensorFlow 、PyTorch 、ONNX を含む様々なモデルフォーマットとの互換性で知られており、開発者に異なるフレームワークのモデルを統合し最適化するための柔軟なソリューションを提供します。この汎用性により、多様なハードウェアおよびソフトウェア環境での効率的なモデル展開が可能になります。

TensorRT モデルの主な特徴

TensorRT モデルは、高速ディープラーニング推論における効率性と有効性に貢献する、さまざまな主要機能を提供する：

• 精密キャリブレーション:TensorRT は精密キャリブレーションをサポートしており、特定の精度要件に合わせてモデルを微調整することができます。これにはINT8やFP16のような低精度フォーマットのサポートも含まれ、許容可能な精度レベルを維持しながら推論速度をさらに向上させることができます。

• レイヤー融合：TensorRT 最適化プロセスには、ニューラルネットワークの複数のレイヤーを1つの演算に統合するレイヤー融合が含まれます。これにより計算オーバーヘッドが削減され、メモリアクセスと計算が最小化されるため推論速度が向上します。

• DynamicTensor Memory Management:TensorRT は、推論中のtensor メモリ使用量を効率的に管理し、メモリ・オーバーヘッドを削減し、メモリ割り当てを最適化します。その結果、GPU メモリの利用効率が向上します。

• 自動カーネル・チューニング:TensorRT 自動カーネル・チューニングを適用し、モデルの各レイヤーに最適化されたGPUカーネルを選択します。この適応的なアプローチにより、モデルがGPUの計算能力をフルに活用できるようになります。

配備オプションTensorRT

YOLOv8 モデルをTensorRT フォーマットにエクスポートするコードを見る前に、TensorRT モデルが通常どこで使われるのかを理解しよう。

TensorRT にはいくつかの導入オプションがあり、各オプションで統合のしやすさ、パフォーマンスの最適化、柔軟性のバランスが異なっている：

• TensorFlow 内に配置する: この方法はTensorRT をTensorFlow に統合し、最適化されたモデルを使い慣れたTensorFlow 環境で実行できるようにします。TF-TRTはこれらを効率的に処理できるため、サポートされているレイヤーとサポートされていないレイヤーが混在するモデルに便利です。

• スタンドアロンTensorRT ランタイムAPI：きめ細かい制御が可能で、パフォーマンスを重視するアプリケーションに最適。より複雑ですが、サポートされていない演算子のカスタム実装が可能です。

• NVIDIATriton 推論サーバー：様々なフレームワークのモデルをサポートするオプション。特にクラウドやエッジ推論に適しており、モデルの同時実行やモデル分析などの機能を提供する。

YOLOv8 モデルのエクスポートTensorRT

YOLOv8 モデルをTensorRT フォーマットに変換することで、実行効率を向上させ、パフォーマンスを最適化することができます。

インストール

必要なパッケージをインストールするには、以下を実行する：

# Install the required package for YOLOv8
pip install ultralytics

インストールプロセスに関する詳細な説明とベストプラクティスについては、YOLOv8 インストールガイドをご覧ください。YOLOv8 に必要なパッケージをインストールする際に、何らかの問題が発生した場合は、解決策やヒントについて、よくある問題ガイドを参照してください。

使用方法

使い方の説明に入る前に、 Ultralytics が提供するYOLOv8 モデルのラインナップをご確認ください。これは、あなたのプロジェクトの要件に最も適したモデルを選択するのに役立ちます。

from ultralytics import YOLO

# Load the YOLOv8 model
model = YOLO('yolov8n.pt')

# Export the model to TensorRT format
model.export(format='engine')  # creates 'yolov8n.engine'

# Load the exported TensorRT model
tensorrt_model = YOLO('yolov8n.engine')

# Run inference
results = tensorrt_model('https://ultralytics.com/images/bus.jpg')

# Export a YOLOv8n PyTorch model to TensorRT format
yolo export model=yolov8n.pt format=engine  # creates 'yolov8n.engine''

# Run inference with the exported model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

エクスポートプロセスの詳細については、Ultralytics ドキュメントのエクスポートに関するページをご覧ください。

INT8 量子化によるTensorRT のエクスポート

INT8 精度のTensorRT を使用してUltralytics YOLO モデルをエクスポートすると、ポストトレーニング量子化（PTQ）が実行されます。TensorRT はPTQのためにキャリブレーションを使用します。これは、YOLO モデルが代表的な入力データに対して推論を処理する際に、各アクティベーションtensor 内のアクティベーションの分布を測定し、その分布を使用して各tensor のスケール値を推定します。量子化の候補となる各活性化tensor は、キャリブレーションプロセスによって推測される関連スケールを持つ。

暗黙的に量子化されたネットワークを処理するとき、TensorRT はレイヤーの実行時間を最適化するためにINT8を臨機応変に使用する。あるレイヤがINT8で高速に動作し、そのデータ入出力に量子化スケールが割り当てられている場合、INT8精度のカーネルがそのレイヤに割り当てられる。そうでない場合、TensorRT 、そのレイヤの実行時間が速くなる方に基づいて、カーネルにFP32またはFP16のいずれかの精度を選択する。

INT8エクスポートの設定

を使用する際に提供される引数です。 輸出 Ultralytics YOLO モデルの場合 大いに はエクスポートされたモデルのパフォーマンスに影響します。また、利用可能なデバイスリソースに基づいて選択する必要がありますが、デフォルトの引数 べきである ほとんどの場合 アンペア（または新しい）NVIDIAディスクリートGPU.使用される校正アルゴリズムは "ENTROPY_CALIBRATION_2" オプションの詳細については、こちらをご覧ください。 TensorRT 開発者ガイドUltralytics テストによると "ENTROPY_CALIBRATION_2" が最良の選択であり、輸出はこのアルゴリズムを使うことが確定している。

• workspace :モデルの重みを変換する際のデバイスメモリの割り当てサイズ（GiB単位）を制御します。

  • の使用を目指す。 最小 workspace これは、より多くの値を必要とするアルゴリズムのテストを妨げるからである。 workspace TensorRT 。に高い値を設定する。 workspace を取ることができる。 かなり長い で校正し、エクスポートします。

  • デフォルトは workspace=4 (GiB）、キャリブレーションがクラッシュする（警告なしに終了する）場合は、この値を増やす必要があるかもしれません。

  • TensorRT 報告する UNSUPPORTED_STATE の値が workspace の値は、デバイスが利用可能なメモリよりも大きい。 workspace を下げるべきである。

  • もし workspace が最大値に設定され、較正が失敗/クラッシュする場合は、以下の値を下げることを検討してください。 imgsz そして batch を使用することで、必要なメモリを削減することができる。

  • INT8のキャリブレーションは各デバイスに固有であることを忘れないでください。キャリブレーションのために "ハイエンド "GPUを借りると、他のデバイスで推論を実行したときにパフォーマンスが低下する可能性があります。

• batch :推論に使用される最大バッチサイズ。推論中、より小さいバッチを使用することもできるが、推論は指定されたバッチより大きいバッチは受け付けない。

  注

  キャリブレーション中、2回 batch 提供されたサイズが使用される。小バッチの使用は、較正時に不正確なスケーリングにつながる可能性があります。これは、プロセスが見たデータに基づいて調整するためです。小ロットの場合、値の全範囲を把握できない可能性があり、最終的な較正に問題が生じるため batch サイズは自動的に2倍になる。バッチサイズが指定されていない場合 batch=1校正は batch=1 * 2 較正のスケーリング誤差を減らす。

NVIDIA の実験によると、INT8 量子化キャリブレーションで、モデルのデータを代表するキャリブレーショ ン画像を少なくとも 500 枚使用することを推奨しています。これはガイドラインであり ハード と あなたのデータセットで何が必要かを試してみる必要がある。 TensorRT 、INT8の較正には較正データが必要ですので、必ず data 引数 int8=True TensorRT 、使用する。 data="my_dataset.yaml"の画像を使用する。 バリデーション で校正する。に値が渡されない場合 data INT8量子化でTensorRT 。 モデルタスクに基づく "小さな "サンプルデータセット エラーをスローしない。

from ultralytics import YOLO

model = YOLO("yolov8n.pt")
model.export(
    format="engine",
    dynamic=True, #(1)!
    batch=8, #(2)!
    workspace=4, #(3)!
    int8=True,
    data="coco.yaml", #(4)!
)

model = YOLO("yolov8n.engine", task="detect") # load the model

TensorRT INT8 でYOLO を使用する利点

• モデルサイズの縮小：FP32からINT8への量子化により、（ディスク上またはメモリ上の）モデルサイズが4分の1になり、ダウンロード時間が短縮されます。

• 消費電力の低減：INT8でエクスポートされたYOLO モデルの精度を下げた演算は、FP32モデルに比べて消費電力を抑えることができ、特にバッテリー駆動のデバイスに適しています。

• 推論速度の向上： TensorRT は、ターゲットとなるハードウェアに合わせてモデルを最適化するため、GPU、組み込みデバイス、アクセラレータでの推論速度が向上する可能性があります。

TensorRT INT8でYOLO 。

• 評価指標の低下： より低い精度を使用すると mAP, Precision, Recall または モデルの性能を評価するために使用されるその他の指標 は多少悪くなる可能性が高い。以下の記事を参照されたい。 パフォーマンス結果セクション の違いを比較する。 mAP50 そして mAP50-95 様々なデバイスの小さなサンプルでINT8でエクスポートした場合。

• 開発時間の増加：データセットとデバイスに応じたINT8較正の「最適」設定を見つけるには、かなりの量のテストが必要です。

• ハードウェア依存性：キャリブレーションと性能向上はハードウェアに大きく依存する可能性があり、モデルの重みはあまり移植できない。

Ultralytics YOLO TensorRT 輸出実績

エヌビディアA100

コンシューマー向けGPU

組み込み機器

評価方法

これらのモデルがどのようにエクスポートされ、テストされたかについては、以下のセクションを参照してください。

from ultralytics import YOLO

model = YOLO("yolov8n.pt")

# TensorRT FP32
out = model.export(
    format="engine",
    imgsz:640,
    dynamic:True,
    verbose:False,
    batch:8,
    workspace:2
)

# TensorRT FP16
out = model.export(
    format="engine",
    imgsz:640,
    dynamic:True,
    verbose:False,
    batch:8,
    workspace:2,
    half=True
)

# TensorRT INT8
out = model.export(
    format="engine",
    imgsz:640,
    dynamic:True,
    verbose:False,
    batch:8,
    workspace:2,
    int8=True,
    data:"data.yaml"  # COCO, ImageNet, or DOTAv1 for appropriate model task
)

import cv2
from ultralytics import YOLO

model = YOLO("yolov8n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 of the same image
        verbose=False,
        device="cuda"
    )

from ultralytics import YOLO

model = YOLO("yolov8n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet, or DOTAv1 for appropriate model task
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda"
)

エクスポートされたYOLOv8 TensorRT モデルの展開

Ultralytics YOLOv8 モデルをTensorRT フォーマットにエクスポートすることに成功しました。様々な設定でのTensorRT モデルのデプロイに関する詳しい説明は、以下のリソースをご覧ください：

• Triton サーバーでUltralytics を展開する:NVIDIA のTriton Inference (旧TensorRT Inference) Server をUltralytics YOLO モデルで使用する方法についてのガイドです。

• NVIDIAによるディープ・ニューラル・ネットワークの展開TensorRT:この記事では、GPUベースのデプロイメント・プラットフォームにディープ・ニューラル・ネットワークを効率的にデプロイするために、NVIDIATensorRT を使用する方法を説明します。

• NVIDIAベースのPCのためのエンドツーエンドAI：NVIDIATensorRT 展開:このブログ記事では、NVIDIATensorRT を使用した、NVIDIA ベースの PC 上での AI モデルの最適化と展開について説明します。

• GitHub Repository for NVIDIATensorRT ：:これは NVIDIATensorRT のソースコードとドキュメントを含む公式 GitHub リポジトリです。

概要

このガイドでは、Ultralytics YOLOv8 モデルを NVIDIA のTensorRT モデルフォーマットに変換することに焦点を当てました。この変換ステップは、YOLOv8 モデルの効率と速度を向上させ、より効果的で多様な展開環境に適したものにするために非常に重要です。

使い方の詳細については、TensorRT 公式ドキュメントをご覧ください。

その他のUltralytics YOLOv8 の統合についてご興味がおありでしたら、統合ガイドのページで、有益なリソースや洞察を幅広くご紹介しています。

コメント