Link to this sectionNVIDIA Jetson上でのDeepStream SDKとTensorRTを使用したUltralytics YOLO26#

この包括的なガイドでは、DeepStream SDKとTensorRTを使用してNVIDIA JetsonデバイスにUltralytics YOLO26をデプロイするための詳細な手順を説明します。ここでは、Jetsonプラットフォームでの推論パフォーマンスを最大化するためにTensorRTを使用します。

Link to this sectionNVIDIA DeepStreamとは何ですか？#

NVIDIAのDeepStream SDKは、GStreamerをベースにしたAIマルチセンサー処理、ビデオ、オーディオ、画像認識のための完全なストリーミング分析ツールキットです。これは、IVA（インテリジェントビデオ分析）アプリやサービスを構築するビジョンAI開発者、ソフトウェアパートナー、スタートアップ、OEMにとって理想的です。ニューラルネットワークや、トラッキング、動画のエンコード/デコード、動画レンダリングといった他の複雑な処理タスクを組み込んだストリーム処理パイプラインを作成できるようになりました。これらのパイプラインにより、ビデオ、画像、センサーデータのリアルタイム分析が可能になります。DeepStreamのマルチプラットフォームサポートにより、オンプレミス、エッジ、クラウド上でビジョンAIアプリケーションやサービスをより迅速かつ簡単に開発できます。

Link to this section前提条件#

このガイドを始める前に：

• ドキュメント「クイックスタートガイド: NVIDIA JetsonとUltralytics YOLO26」にアクセスして、NVIDIA JetsonデバイスでUltralytics YOLO26をセットアップしてください。
• JetPackのバージョンに合わせてDeepStream SDKをインストールしてください。
  • JetPack 4.6.4の場合、DeepStream 6.0.1をインストールしてください。
  • JetPack 5.1.3の場合、DeepStream 6.3をインストールしてください。
  • JetPack 6.1の場合、DeepStream 7.1をインストールしてください。
  • JetPack 7.1の場合、DeepStream 9.0をインストールしてください。

Link to this sectionYOLO26用のDeepStream設定#

ここでは、YOLOモデルのNVIDIA DeepStream SDKサポートを含むmarcoslucianops/DeepStream-Yolo GitHubリポジトリを使用します。marcoslucianops氏の貢献に感謝します。

1. 必要な依存関係とともにUltralyticsをインストールしてください。

   cd ~
   pip install -U pip
   git clone https://github.com/ultralytics/ultralytics
   cd ultralytics
   pip install -e ".[export]" onnxslim

2. DeepStream-Yoloリポジトリをクローンします。

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo

3. Copy the export_yolo26.py file from DeepStream-Yolo/utils directory to the ultralytics folder

   cp ~/DeepStream-Yolo/utils/export_yolo26.py ~/ultralytics
   cd ultralytics

4. YOLO26リリースからお好みのUltralytics YOLO26検出モデル（.pt）をダウンロードしてください。ここではyolo26s.ptを使用します。

   wget https://github.com/ultralytics/assets/releases/download/v8.4.0/yolo26s.pt

5. モデルをONNXに変換する

   python3 export_yolo26.py -w yolo26s.pt

--opset 12

-s SIZE
--size SIZE
-s HEIGHT WIDTH
--size HEIGHT WIDTH

-s 1280
or
-s 1280 1280

--simplify

--dynamic

--batch 4

6. 生成された.onnxモデルファイルとlabels.txtファイルをDeepStream-Yoloフォルダにコピーします。

   cp yolo26s.pt.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo

7. インストールされているJetPackのバージョンに合わせてCUDAバージョンを設定します。

   JetPack 4.6.4の場合：

   export CUDA_VER=10.2

   JetPack 5.1.3の場合：

   export CUDA_VER=11.4

   JetPack 6.1の場合：

   export CUDA_VER=12.6

8. ライブラリをコンパイルする

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

9. モデルに合わせてconfig_infer_primary_yolo26.txtファイルを編集します（80クラスのYOLO26sの場合）

   [property]
   ...
   onnx-file=yolo26s.pt.onnx
   ...
   num-detected-classes=80
   ...

10. deepstream_app_configファイルを編集します。

    ...
    [primary-gie]
    ...
    config-file=config_infer_primary_yolo26.txt

11. deepstream_app_configファイルでビデオソースを変更することも可能です。ここではデフォルトのビデオファイルが読み込まれます。

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

Link to this section推論を実行する#

deepstream-app -c deepstream_app_config.txt

Link to this sectionINT8キャリブレーション#

推論にINT8精度を使用したい場合は、以下の手順に従う必要があります。

1. OPENCV環境変数を設定する

   export OPENCV=1

2. ライブラリをコンパイルする

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

3. COCOデータセットについては、val2017をダウンロードして展開し、DeepStream-Yoloフォルダに移動してください。

4. キャリブレーション画像用の新しいディレクトリを作成します。

   mkdir calibration

5. 以下を実行して、COCOデータセットからキャリブレーション用にランダムに1000枚の画像を選択します。

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done

6. 選択したすべての画像を含むcalibration.txtファイルを作成します。

   realpath calibration/*jpg > calibration.txt

7. 環境変数を設定します。

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1

8. config_infer_primary_yolo26.txtファイルを更新します。

   From（変更前）

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...

   To（変更後）

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...

Link to this section推論を実行する#

deepstream-app -c deepstream_app_config.txt

Link to this sectionマルチストリーム設定#

1つのDeepStreamアプリケーションで複数のストリームをセットアップするには、deepstream_app_config.txtファイルに以下の変更を加えます。

1. 必要なストリーム数に合わせてグリッド表示の行数と列数を変更します。例えば、4つのストリームの場合は2行2列を追加できます。

   [tiled-display]
   rows=2
   columns=2

2. num-sources=4を設定し、4つのストリームすべてのuriエントリを追加します。

   [source0]
   enable=1
   type=3
   uri=path/to/video1.jpg
   uri=path/to/video2.jpg
   uri=path/to/video3.jpg
   uri=path/to/video4.jpg
   num-sources=4

Link to this section推論を実行する#

deepstream-app -c deepstream_app_config.txt

Link to this sectionベンチマーク結果#

以下のベンチマークは、NVIDIA Jetson Orin NX 16GB上で640x640の入力サイズを使用して、YOLO26モデルが異なるTensorRT精度レベルでどのように動作するかをまとめたものです。

Link to this section比較チャート#

Link to this section詳細な比較表#

Link to this section謝辞#

このガイドは、Seeed Studioの友人であるLakshantha氏とElaine氏によって作成されました。

Link to this sectionよくある質問 (FAQ)#

Link to this sectionNVIDIA JetsonデバイスでUltralytics YOLO26をセットアップするにはどうすればよいですか？#

To set up Ultralytics YOLO26 on an NVIDIA Jetson device, you first need to install the DeepStream SDK compatible with your JetPack version. Follow the step-by-step guide in our Quick Start Guide to configure your NVIDIA Jetson for YOLO26 deployment.

Link to this sectionNVIDIA JetsonでYOLO26と共にTensorRTを使用する利点は何ですか？#

YOLO26でTensorRTを使用すると、推論用にモデルが最適化され、NVIDIA Jetsonデバイスにおけるレイテンシが大幅に削減され、スループットが向上します。TensorRTは、レイヤー融合、精度キャリブレーション、カーネル自動チューニングを通じて、高性能で低レイテンシのディープラーニング推論を提供します。これにより、特にビデオ分析や自律型マシンなどのリアルタイムアプリケーションにとって非常に有用な、より高速で効率的な実行が可能になります。

Link to this sectionDeepStream SDKを使用して、異なるNVIDIA Jetsonハードウェア間でUltralytics YOLO26を実行できますか？#

はい。DeepStream SDKとTensorRTを使用してUltralytics YOLO26をデプロイするためのガイドは、すべてのNVIDIA Jetsonラインナップと互換性があります。これには、JetPack 5.1.3を搭載したJetson Orin NX 16GBや、JetPack 4.6.4を搭載したJetson Nano 4GBなどのデバイスが含まれます。詳細な手順については、「YOLO26用のDeepStream設定」セクションを参照してください。

Link to this sectionDeepStream用にYOLO26モデルをONNXに変換するにはどうすればよいですか？#

To convert a YOLO26 model to ONNX format for deployment with DeepStream, use the utils/export_yolo26.py script from the DeepStream-Yolo repository.

コマンド例を以下に示します。

python3 utils/export_yolo26.py -w yolo26s.pt --opset 12 --simplify

モデル変換の詳細については、モデルエクスポートセクションを確認してください。

Link to this sectionNVIDIA Jetson Orin NXにおけるYOLOのパフォーマンスベンチマークはどのようなものですか？#

NVIDIA Jetson Orin NX 16GBにおけるYOLO26モデルのパフォーマンスは、TensorRTの精度レベルによって異なります。例えば、YOLO26sモデルでは以下の達成値が得られます。

• FP32精度: 14.6 ms/im, 68.5 FPS
• FP16精度: 7.94 ms/im, 126 FPS
• INT8精度: 5.95 ms/im, 168 FPS

これらのベンチマークは、NVIDIA Jetsonハードウェア上でTensorRT最適化されたYOLO26モデルを使用する際の効率性と性能を強調しています。詳細については、ベンチマーク結果セクションをご覧ください。