NVIDIA JetsonでDeepStream SDKとTensorRTを使用するUltralytics YOLO26#

この包括的なガイドでは、DeepStream SDKとTensorRTを使用してNVIDIA JetsonデバイスにUltralytics YOLO26をデプロイする手順を詳しく説明します。ここでは、TensorRTを使用してJetsonプラットフォームでの推論パフォーマンスを最大化します。

このガイドでは、YOLO26向けDeepStreamの設定、INT8キャリブレーション、マルチストリームのセットアップ、ベンチマーク結果について説明します。

NVIDIA DeepStreamとは何ですか？#

NVIDIAのDeepStream SDKは、AIベースのマルチセンサー処理、動画、音声、画像の理解を実現する、GStreamerベースの包括的なストリーミング分析ツールキットです。IVA（インテリジェントビデオ分析）アプリやサービスを開発するビジョンAI開発者、ソフトウェアパートナー、スタートアップ、OEMに最適です。ニューラルネットワークや、トラッキング、動画のエンコード／デコード、レンダリングなどの複雑な処理タスクを組み込んだストリーム処理パイプラインを作成できるようになりました。これらのパイプラインにより、動画、画像、センサーデータをリアルタイムで分析できます。DeepStreamのマルチプラットフォーム対応により、オンプレミス、エッジ、クラウドでビジョンAIアプリケーションやサービスをより迅速かつ簡単に開発できます。

前提条件#

このガイドに従って作業を始める前に:

• NVIDIA JetsonデバイスにUltralytics YOLO26をセットアップするには、ドキュメントのクイックスタートガイド: NVIDIA JetsonとUltralytics YOLO26をご覧ください
• JetPackのバージョンに合わせてDeepStream SDKをインストールします
  • JetPack 4.6.4の場合は、DeepStream 6.0.1をインストールします
  • JetPack 5.1.3の場合は、DeepStream 6.3をインストールします
  • JetPack 6.1の場合は、DeepStream 7.1をインストールします
  • JetPack 7.1の場合は、DeepStream 9.0をインストールします

YOLO26向けDeepStreamの設定#

ここでは、YOLOモデル向けのNVIDIA DeepStream SDKサポートを含むmarcoslucianops/DeepStream-Yolo GitHubリポジトリを使用します。貢献してくださったmarcoslucianopsに感謝します。

1. 必要な依存関係とともにUltralyticsをインストールします

   pip install ultralytics onnx onnxslim

2. DeepStream-Yoloリポジトリをクローンします

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo

3. YOLO26プロジェクトから、任意のUltralytics YOLO26検出モデル（.pt）をダウンロードします。ここではyolo26s.ptを使用します。

   wget https://github.com/ultralytics/assets/releases/download/v8.4.0/yolo26s.pt

4. モデルをONNXに変換し、DeepStreamがクラス名を読み込むlabels.txtファイルを書き込みます

   from ultralytics import YOLO
   
   model = YOLO("yolo26s.pt")
   model.export(format="onnx", nms=False, agnostic_nms=True)  # 作成 'yolo26s.onnx'
   with open("labels.txt", "w") as f:
       f.write("\n".join(model.names.values()))

5. 生成された.onnxモデルファイルとlabels.txtファイルをDeepStream-Yoloフォルダーにコピーします

   cp yolo26s.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo

6. インストールされているJetPackのバージョンに合わせてCUDAのバージョンを設定します

   JetPack 4.6.4の場合:

   export CUDA_VER=10.2

   JetPack 5.1.3の場合:

   export CUDA_VER=11.4

   JetPack 6.1の場合:

   export CUDA_VER=12.6

   JetPack 7.1の場合:

   export CUDA_VER=13.0

7. ライブラリをコンパイルします

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

8. モデルに合わせてconfig_infer_primary_yolo26.txtファイルを編集します（クラス数80のYOLO26sの場合）

   [property]
   ...
   onnx-file=yolo26s.onnx
   ...
   num-detected-classes=80
   ...
   parse-bbox-func-name=NvDsInferParseYolo
   ...

[property]
...
maintain-aspect-ratio=1
symmetric-padding=1
cluster-mode=4
...

9. deepstream_app_configファイルを編集します

   ...
   [primary-gie]
   ...
   config-file=config_infer_primary_yolo26.txt

10. deepstream_app_configファイルで動画ソースを変更することもできます。ここではデフォルトの動画ファイルが読み込まれます

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

推論を実行します#

deepstream-app -c deepstream_app_config.txt

INT8キャリブレーション#

推論にINT8精度を使用するには、以下の手順に従ってください:

1. OPENCV環境変数を設定します

   export OPENCV=1

2. ライブラリをコンパイルします

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

3. COCOデータセットの場合は、val2017をダウンロードして展開し、DeepStream-Yoloフォルダーに移動します

4. キャリブレーション画像用の新しいディレクトリを作成します

   mkdir calibration

5. 以下を実行して、COCOデータセットからランダムに1000枚の画像を選び、キャリブレーションを実行します

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done

6. 選択したすべての画像を含むcalibration.txtファイルを作成します

   realpath calibration/*jpg > calibration.txt

7. 環境変数を設定します

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1

8. config_infer_primary_yolo26.txtファイルを更新します

   変更前

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...

   変更後

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...

INT8推論を実行します#

同じコマンドを実行してINT8エンジンをビルドし、推論を開始します:

deepstream-app -c deepstream_app_config.txt

マルチストリームのセットアップ#

1つのDeepStreamアプリケーションで複数のストリームを設定するには、deepstream_app_config.txtファイルに以下の変更を加えます:

1. ストリーム数に応じて、行数と列数を変更し、グリッド表示を構成します。たとえば4つのストリームの場合は、行数と列数をそれぞれ2に設定します。

   [tiled-display]
   rows=2
   columns=2

2. 各ストリームに個別の[sourceN]グループを追加し、それぞれに独自のuriとnum-sources=1を設定します。

   [source0]
   enable=1
   type=3
   uri=file:///path/to/video1.mp4
   num-sources=1
   
   [source1]
   enable=1
   type=3
   uri=file:///path/to/video2.mp4
   num-sources=1
   
   [source2]
   enable=1
   type=3
   uri=file:///path/to/video3.mp4
   num-sources=1
   
   [source3]
   enable=1
   type=3
   uri=file:///path/to/video4.mp4
   num-sources=1

マルチストリーム推論を実行します#

同じコマンドを実行して、タイル表示ですべてのストリームを起動します:

deepstream-app -c deepstream_app_config.txt

ベンチマーク結果#

以下のベンチマークは、NVIDIA Jetson Orin NX 16GBで入力サイズ640x640を使用した場合の、TensorRTの各精度レベルにおけるYOLO11モデルのパフォーマンスをまとめたものです。YOLO26でも、上記と同じDeepStreamのエクスポートおよび推論ワークフローを使用します。

比較グラフ#

詳細比較表#

謝辞#

このガイドは、Seeed Studioの友人であるLakshanthaとElaineが最初に作成しました。

よくある質問#