YOLO26モデルのTensorRTエクスポート#

高性能な環境にコンピュータービジョンモデルをデプロイするには、速度と効率を最大限に高める形式が必要になる場合があります。これは、NVIDIA GPUにモデルをデプロイする場合に特に当てはまります。

TensorRTエクスポート形式を使用すると、NVIDIAハードウェア上で高速かつ効率的に推論できるよう、Ultralytics YOLO26モデルを強化できます。このガイドでは、変換プロセスのわかりやすい手順を説明し、ディープラーニングプロジェクトでNVIDIAの先進技術を最大限に活用できるよう支援します。

TensorRT#

NVIDIAが開発したTensorRTは、高速なディープラーニング推論向けに設計された先進的なソフトウェア開発キット（SDK）です。物体検出などのリアルタイムアプリケーションに適しています。

このツールキットはNVIDIA GPU向けにディープラーニングモデルを最適化し、より高速で効率的な処理を実現します。TensorRTモデルでは、レイヤーフュージョン、精度キャリブレーション（INT8およびFP16）、動的テンソルメモリ管理、カーネルの自動チューニングなどの手法を含むTensorRT最適化が実行されます。ディープラーニングモデルをTensorRT形式に変換することで、開発者はNVIDIA GPUの可能性を最大限に引き出せます。

TensorRTは、TensorFlow、PyTorch、ONNXなど、さまざまなモデル形式との互換性で知られており、異なるフレームワークのモデルを統合・最適化するための柔軟なソリューションを提供します。この汎用性により、多様なハードウェアおよびソフトウェア環境で効率的なモデルデプロイが可能になります。

TensorRTモデルの主な機能#

TensorRTモデルには、高速なディープラーニング推論における効率性と有効性に貢献する、さまざまな主要機能があります。

• 精度キャリブレーション：TensorRTは精度キャリブレーションをサポートしており、特定の精度要件に合わせてモデルを微調整できます。これにはINT8やFP16などの低精度形式のサポートが含まれ、許容可能な精度レベルを維持しながら推論速度をさらに向上できます。

• レイヤーフュージョン：TensorRTの最適化プロセスにはレイヤーフュージョンが含まれます。これは、ニューラルネットワークの複数のレイヤーを単一の演算に結合する処理です。メモリアクセスと計算を最小限に抑えることで、計算オーバーヘッドを削減し、推論速度を向上させます。

• 動的テンソルメモリ管理：TensorRTは推論中のテンソルメモリ使用量を効率的に管理し、メモリオーバーヘッドを削減してメモリ割り当てを最適化します。これにより、GPUメモリをより効率的に利用できます。

• カーネルの自動チューニング：TensorRTはカーネルの自動チューニングを適用し、モデルの各レイヤーに最適化されたGPUカーネルを選択します。この適応的なアプローチにより、モデルはGPUの計算能力を最大限に活用できます。

TensorRTのデプロイオプション#

YOLO26モデルをTensorRT形式にエクスポートするコードを見る前に、TensorRTモデルが通常どこで使用されるかを理解しましょう。

TensorRTには複数のデプロイオプションがあり、それぞれ統合の容易さ、パフォーマンス最適化、柔軟性のバランスが異なります。

• TensorFlow内でのデプロイ：この方法ではTensorRTをTensorFlowに統合し、最適化されたモデルを使い慣れたTensorFlow環境で実行できます。TF-TRTがこれらを効率的に処理できるため、サポート対象レイヤーと非サポートレイヤーが混在するモデルに有用です。

• スタンドアロンTensorRT Runtime API：きめ細かな制御を提供し、パフォーマンスが重要なアプリケーションに適しています。より複雑ですが、サポートされていない演算子をカスタム実装できます。

• NVIDIA Triton Inference Server：さまざまなフレームワークのモデルをサポートするオプションです。クラウドまたはエッジ推論に特に適しており、モデルの同時実行やモデル分析などの機能を提供します。

サポートされるタスク#

TensorRTエクスポートは、Ultralyticsの7つのタスクすべてをサポートします。セマンティックセグメンテーションと深度推定は、これらのヘッドを搭載して出荷される唯一のファミリーであるYOLO26でのみ利用できます。

YOLO26モデルのTensorRTへのエクスポート#

YOLO26モデルをTensorRT形式に変換することで、実行効率を高め、パフォーマンスを最適化できます。

インストール#

必要なパッケージをインストールするには、次を実行します。

# Install the required package for YOLO26
pip install ultralytics

インストール手順とベストプラクティスの詳細については、YOLO26インストールガイドをご確認ください。YOLO26に必要なパッケージのインストール中に問題が発生した場合は、解決策とヒントについて一般的な問題のガイドをご参照ください。

使用方法#

使用方法の説明を確認する前に、Ultralyticsが提供するYOLO26モデルのラインナップをご確認ください。プロジェクトの要件に最適なモデルを選択するのに役立ちます。

TensorRT形式は、Export、Predict、Validateモードをサポートします。推論と検証にはNVIDIA GPUが必要です。モデルをエクスポートした後、エクスポート済みモデルを読み込んで推論を実行するか、精度を検証してください。

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT format
model.export(format="engine")  # creates 'yolo26n.engine'

from ultralytics import YOLO

# Load the exported TensorRT model
model = YOLO("yolo26n.engine")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported TensorRT model
model = YOLO("yolo26n.engine")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

エクスポート引数#

エクスポートプロセスの詳細については、エクスポートに関するUltralyticsドキュメントページをご覧ください。

INT8量子化を使用したTensorRTエクスポート#

INT8 精度を指定して TensorRT を使用し Ultralytics YOLO モデルをエクスポートすると、学習後量子化 (PTQ) が実行されます。TensorRT は PTQ にキャリブレーションを使用します。キャリブレーションは、YOLO モデルが代表的な入力データで推論処理を行う際に各活性化テンソル内の活性化の分布を測定し、その分布を使用して各テンソルの一連のスケール値を推定します。量子化の候補となる各活性化テンソルには、キャリブレーションプロセスによって導出される関連スケールが存在します。量子化認識学習によってファインチューニングされた quantize=8 を持つチェックポイントはすでに INT8 範囲を保持しているため、そのエクスポートでは範囲を使用し、キャリブレーションをスキップします。

暗黙的に量子化されたネットワークを処理する際、TensorRTはレイヤーの実行時間を最適化するためにINT8を機会的に使用します。レイヤーがINT8でより高速に実行され、データの入力と出力に量子化スケールが割り当てられている場合、そのレイヤーにはINT8精度のカーネルが割り当てられます。それ以外の場合、TensorRTはそのレイヤーで実行時間がより短くなる方の精度、FP32またはFP16をカーネルに選択します。

INT8エクスポートの設定#

Ultralytics YOLOモデルでexportを使用する際に指定する引数は、エクスポート済みモデルのパフォーマンスに大きく影響します。ただし、利用可能なデバイスリソースに基づいて選択する必要もあります。デフォルトの引数は、ほとんどのAmpere（またはそれ以降の）NVIDIAディスクリートGPUで機能するはずです。使用されるキャリブレーションアルゴリズムはGPUエクスポートでは"MINMAX_CALIBRATION"、NVIDIA JetsonでのDLAエクスポートでは"ENTROPY_CALIBRATION_2"です。利用可能なオプションの詳細は、TensorRT Developer Guideで確認できます。Ultralyticsのテストでは、GPUエクスポートには"MINMAX_CALIBRATION"が最適であることが確認されており、アルゴリズムはエクスポートデバイスに基づいて自動的に選択されます。

• workspace：モデルの重みを変換する際に割り当てるデバイスメモリのサイズ（GiB単位）を制御します。

  • キャリブレーションの要件と利用可能なリソースに応じて、workspaceの値を調整してください。workspaceを大きくするとキャリブレーション時間が長くなる可能性がありますが、TensorRTがより広範な最適化手法を探索できるため、モデルのパフォーマンスと精度が向上する可能性があります。一方、workspaceを小さくするとキャリブレーション時間を短縮できますが、最適化戦略が制限され、量子化モデルの品質に影響する可能性があります。

  • デフォルトはworkspace=Noneです。これによりTensorRTがメモリを自動的に割り当てます。手動で設定する場合、キャリブレーションがクラッシュ（警告なしに終了）したときは、この値を増やす必要がある可能性があります。

  • workspaceの値がデバイスで利用可能なメモリを超えている場合、TensorRTはエクスポート中にUNSUPPORTED_STATEを報告します。これは、workspaceの値を下げるか、Noneに設定する必要があることを意味します。

  • workspaceが最大値に設定されていてキャリブレーションが失敗またはクラッシュする場合は、自動割り当て用にNoneを使用するか、imgszとbatchの値を減らして必要メモリを削減することを検討してください。

  • INT8のキャリブレーションは各デバイスに固有であることを忘れないでください。キャリブレーションに「ハイエンド」GPUを借りると、別のデバイスで推論を実行した際にパフォーマンスが低下する可能性があります。

• batch：推論に使用する最大バッチサイズです。推論時にはより小さいバッチを使用できますが、指定したサイズを超えるバッチは受け付けません。

NVIDIA による実験の結果、INT8 量子化キャリブレーションでは、モデルのデータを代表するキャリブレーション画像を少なくとも 500 枚使用することが推奨されています。これはガイドラインであり、厳格な要件ではありません。ご自身のデータセットで良好なパフォーマンスを発揮するために必要な事項については、ご自身で実験を行う必要があります。 TensorRT による INT8 キャリブレーションにはキャリブレーションデータが必要であるため、TensorRT 用の quantize=8 において quantize=8 (学習後量子化) で学習されなかったチェックポイントをエクスポートする場合は、必ず data 引数を使用し、バリデーションの画像を使用してキャリブレーションを行う data="my_dataset.yaml" を使用してください。quantize=8 で学習されたチェックポイントはキャリブレーションをスキップするため、チェックポイントに対して data を省略してください。INT8 量子化を指定して TensorRT にエクスポートする際に data に値が渡されない場合、エラーが発生する代わりにモデルタスクに基づいた「小規模な」サンプルデータセットの 1 つを使用することがデフォルトになります。

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    quantize=8,
    data="coco.yaml",  # (4)!
)

# Load the exported TensorRT INT8 model
model = YOLO("yolo26n.engine", task="detect")

# Run inference
result = model.predict("https://ultralytics.com/images/bus.jpg")

YOLOでTensorRT INT8を使用する利点#

• モデルサイズの削減： FP32からINT8への量子化により、モデルサイズを4分の1（ディスク上またはメモリ上）に削減でき、モデルのデプロイ時にダウンロード時間の短縮、ストレージ要件の低減、メモリフットプリントの削減につながります。

• 消費電力の低減： INT8でエクスポートしたYOLOモデルの低精度演算は、FP32モデルと比較して消費電力を抑えられます。特にバッテリー駆動デバイスで効果的です。

• 推論速度の向上： TensorRTはターゲットハードウェア向けにモデルを最適化するため、GPU、組み込みデバイス、アクセラレーターでの推論速度が向上する可能性があります。

YOLOでTensorRT INT8を使用するデメリット#

• 評価指標の低下： 低い精度を使用すると、mAP、Precision、Recall、またはモデルパフォーマンスの評価に使用されるその他の指標が多少低下する可能性があります。スコアのキャリブレーションを維持するため、Sigmoidレイヤーは高い精度に維持されますが、INT8によって信頼度の値が変化する可能性はあります。そのため、動作しきい値はINT8モデル独自のF1曲線から選択してください。パフォーマンス結果のセクションを参照し、さまざまなデバイスの小規模なサンプルでINT8エクスポートを行った際のmAP50とmAP50-95の違いを比較してください。

• 開発時間の増加： データセットとデバイスに対するINT8キャリブレーションの「最適な」設定を見つけるには、相当なテストが必要になる場合があります。

• ハードウェア依存性： キャリブレーションとパフォーマンス向上はハードウェアに大きく依存する可能性があり、モデルの重みを移植しにくくなります。

Ultralytics YOLOのTensorRTエクスポートパフォーマンス#

NVIDIA A100#

コンシューマーGPU#

組み込みデバイス#

評価方法#

以下のセクションを展開すると、これらのモデルのエクスポート方法とテスト方法を確認できます。

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=16)

# TensorRT INT8 with calibration `data` (i.e. COCO, ImageNet, or DOTAv1 for appropriate model task)
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=8, data="coco8.yaml"
)

import cv2

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 of the same image
        verbose=False,
        device="cuda",
    )

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet, or DOTAv1 for appropriate model task
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

エクスポートした YOLO26 TensorRT モデルのデプロイ#

Ultralytics YOLO26 モデルを TensorRT 形式に正常にエクスポートできたので、これらをデプロイする準備が整いました。さまざまな環境で TensorRT モデルをデプロイするための詳細な手順については、次のリソースをご覧ください。

• Triton Server で Ultralytics をデプロイする: Ultralytics YOLO モデルで NVIDIA の Triton Inference（旧称 TensorRT Inference）Server を使用する方法を解説したガイドです。

• NVIDIA TensorRT でディープニューラルネットワークをデプロイする: この記事では、GPU ベースのデプロイプラットフォームにディープニューラルネットワークを効率的にデプロイするために NVIDIA TensorRT を使用する方法を説明します。

• NVIDIA ベースの PC 向けエンドツーエンド AI: NVIDIA TensorRT デプロイ: このブログ記事では、NVIDIA ベースの PC で AI モデルを最適化およびデプロイするための NVIDIA TensorRT の使用方法を説明します。

• GitHub Repository for NVIDIA TensorRT: NVIDIA TensorRTのソースコードとドキュメントが含まれている公式のGitHub Repository for NVIDIA TensorRTです。

まとめ#

このガイドでは、Ultralytics YOLO26 モデルを NVIDIA の TensorRT モデル形式に変換する方法を説明しました。この変換手順は YOLO26 モデルの効率と速度を向上させるうえで重要であり、さまざまなデプロイ環境においてモデルをより効果的かつ適切に利用できるようにします。

使用方法の詳細については、TensorRT 公式ドキュメントをご覧ください。

Ultralytics YOLO26 のその他のインテグレーションに関心がある場合は、インテグレーションガイドページで、参考になる豊富なリソースと知見をご覧いただけます。

FAQ#