クイックスタートガイド: Ultralytics YOLO11とNVIDIA Jetson

この包括的なガイドでは、NVIDIA JetsonデバイスへのUltralytics YOLO11のデプロイについて詳しく説明します。さらに、これらの小型で強力なデバイス上でのYOLO11の性能を示すパフォーマンスベンチマークを紹介します。

見る: NVIDIA JETSONデバイスでUltralytics YOLO11を使用する方法

NVIDIA Jetsonとは何ですか？

NVIDIA Jetsonは、エッジデバイスに高速化されたAI（人工知能）コンピューティングをもたらすように設計された一連の組み込みコンピューティングボードです。これらのコンパクトで強力なデバイスは、NVIDIAのGPUアーキテクチャを基盤として構築されており、クラウドコンピューティングリソースに頼ることなく、複雑なAIアルゴリズムと深層学習モデルをデバイス上で直接実行できます。Jetsonボードは、ロボット工学、自動運転車、産業オートメーション、および低遅延と高効率でローカルにAI推論を実行する必要があるその他のアプリケーションでよく使用されます。さらに、これらのボードはARM64アーキテクチャに基づいており、従来のGPUコンピューティングデバイスと比較して低電力で動作します。

NVIDIA Jetsonシリーズ比較

NVIDIA Jetson AGX Thorは、NVIDIA BlackwellアーキテクチャをベースとするNVIDIA Jetsonファミリーの最新のイテレーションであり、前世代と比較してAI性能が飛躍的に向上しています。下の表は、エコシステム内のJetsonデバイスのいくつかを比較したものです。

より詳細な比較表については、 NVIDIA Jetson公式ページの スペック比較セクションをご覧ください。

NVIDIA JetPackとは何ですか？

Jetsonモジュールを強化するNVIDIA JetPack SDKは、最も包括的なソリューションであり、エンドツーエンドの高速化されたAIアプリケーションを構築するための完全な開発環境を提供し、市場投入までの時間を短縮します。JetPackには、ブートローダー、Linuxカーネル、Ubuntuデスクトップ環境、およびGPUコンピューティング、マルチメディア、グラフィックス、コンピュータビジョンの高速化のための完全なライブラリセットを備えたJetson Linuxが含まれています。また、ホストコンピュータと開発キットの両方に対応したサンプル、ドキュメント、および開発者ツールも含まれており、ストリーミングビデオ分析用のDeepStream、ロボティクス用のIsaac、会話型AI用のRivaなどの高レベルSDKをサポートしています。

NVIDIA JetsonへのJetPackのフラッシュ

NVIDIA Jetsonデバイスを入手した後の最初のステップは、NVIDIA JetPackをデバイスに書き込むことです。NVIDIA Jetsonデバイスを書き込むには、いくつかの異なる方法があります。

1. Jetson AGX Thor Developer KitなどのNVIDIA 公式開発キットをお持ちの場合は、イメージをダウンロードしてブータブルUSBメモリを用意し、JetPackを付属のSSDにフラッシュすることができます。
2. Jetson Orin Nano Developer Kit などの NVIDIA 公式開発キットをお持ちの場合は、イメージをダウンロードし、JetPack を使用してデバイスを起動するための SD カードを準備することができます。
3. その他の NVIDIA 開発キットをお持ちの場合は、SDK Manager を使用して JetPack をデバイスに書き込むことができます。
4. Seeed Studio reComputer J4012 デバイスをお持ちの場合は、JetPack を付属の SSD に書き込むことができます。また、Seeed Studio reComputer J1020 v2 デバイスをお持ちの場合は、JetPack を eMMC/SSD に書き込むことができます。
5. NVIDIA Jetson モジュールを搭載したその他のサードパーティ製デバイスをお持ちの場合は、コマンドラインでの書き込みに従うことをお勧めします。

Jetsonデバイスに基づくJetPackのサポート

以下の表は、さまざまなNVIDIA JetsonデバイスでサポートされているNVIDIA JetPackのバージョンをまとめたものです。

Dockerを使ったクイックスタート

NVIDIA JetsonでUltralytics YOLO11を始める最も速い方法は、Jetson用の構築済みDockerイメージで実行することです。上記の表を参照して、お持ちのJetsonデバイスに応じてJetPackバージョンを選択してください。

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack5
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack6
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

完了したら、NVIDIA JetsonでTensorRTを使用するセクションに進んでください。

ネイティブインストールから開始

Dockerを使用しないネイティブインストールについては、以下の手順を参照してください。

JetPack 7.0での実行

Ultralyticsパッケージのインストール

ここでは、PyTorchモデルを他のさまざまな形式でエクスポートできるように、オプションの依存関係とともにUltralyticsパッケージをJetsonにインストールします。ここでは主にNVIDIA TensorRTエクスポートに焦点を当てます。これは、TensorRTがJetsonデバイスから最大限のパフォーマンスを引き出すことを保証するためです。

1. パッケージリストの更新、pipのインストール、および最新バージョンへのアップグレード

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. インストール ultralytics オプションの依存関係を含む pip パッケージ

   pip install ultralytics[export]
   

3. デバイスを再起動

   sudo reboot
   

PyTorchとTorchvisionのインストール

上記のultralytics インストールでは、Torch Torchvisionがインストールされます。しかし、pip経由でインストールされたこれら2つのパッケージは、JetPack 7.0とCUDA 13を搭載したJetson AGX Thor上で動作する互換性がない。そのため、手動でインストールする必要がある。

インストール torch および torchvision JP7.0による

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

インストール onnxruntime-gpu

The onnxruntime-gpu PyPIでホストされているパッケージには、 aarch64 Jetson用のバイナリ。したがって、このパッケージを手動でインストールする必要があります。このパッケージは、一部のエクスポートに必要です。

ここでは onnxruntime-gpu 1.24.0 with Python3.12 サポート。

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

JetPack 6.1 で実行

Ultralyticsパッケージのインストール

ここでは、PyTorchモデルを他のさまざまな形式でエクスポートできるように、オプションの依存関係とともにUltralyticsパッケージをJetsonにインストールします。ここでは主にNVIDIA TensorRTエクスポートに焦点を当てます。これは、TensorRTがJetsonデバイスから最大限のパフォーマンスを引き出すことを保証するためです。

1. パッケージリストの更新、pipのインストール、および最新バージョンへのアップグレード

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. インストール ultralytics オプションの依存関係を含む pip パッケージ

   pip install ultralytics[export]
   

3. デバイスを再起動

   sudo reboot
   

PyTorchとTorchvisionのインストール

上記のultralytics インストールでは、Torch Torchvisionがインストールされる。しかし、pip経由でインストールされたこれら2つのパッケージは、ARM64アーキテクチャをベースとするJetsonプラットフォームと互換性がない。そのため、ビルド済みのPyTorch pip wheelを手動でインストールし、Torchvisionをソースからコンパイルまたはインストールする必要がある。

インストール torch 2.5.0 および torchvision 0.20 JP6.1に準拠

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.5.0a0+872d972e41.nv24.08-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.20.0a0+afc54f7-cp310-cp310-linux_aarch64.whl

インストール cuSPARSELt の依存関係の問題を修正するには、 torch 2.5.0

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/arm64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get -y install libcusparselt0 libcusparselt-dev

インストール onnxruntime-gpu

The onnxruntime-gpu PyPIでホストされているパッケージには、 aarch64 Jetson用のバイナリ。したがって、このパッケージを手動でインストールする必要があります。このパッケージは、一部のエクスポートに必要です。

利用可能なすべての onnxruntime-gpu JetPackバージョン、Pythonバージョン、およびその他の互換性の詳細ごとに整理されたパッケージを Jetson Zoo ONNX Runtime 互換性マトリックス。ここでは、をダウンロードしてインストールします。 onnxruntime-gpu 1.20.0 with Python3.10 サポート。

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

JetPack 5.1.2 で実行

Ultralyticsパッケージのインストール

ここでは、PyTorchモデルを他のさまざまな形式でエクスポートできるように、オプションの依存関係とともにUltralyticsパッケージをJetsonにインストールします。ここでは主にNVIDIA TensorRTエクスポートに焦点を当てます。これは、TensorRTがJetsonデバイスから最大限のパフォーマンスを引き出すことを保証するためです。

1. パッケージリストの更新、pipのインストール、および最新バージョンへのアップグレード

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. インストール ultralytics オプションの依存関係を含む pip パッケージ

   pip install ultralytics[export]
   

3. デバイスを再起動

   sudo reboot
   

PyTorchとTorchvisionのインストール

上記のultralytics インストールでは、Torch Torchvisionがインストールされる。しかし、pip経由でインストールされたこれら2つのパッケージは、ARM64アーキテクチャをベースとするJetsonプラットフォームと互換性がない。そのため、ビルド済みのPyTorch pip wheelを手動でインストールし、Torchvisionをソースからコンパイルまたはインストールする必要がある。

1. 現在インストールされているPyTorchおよびTorchvisionをアンインストールする

   pip uninstall torch torchvision
   

2. インストール torch 2.2.0 および torchvision 0.17.2 JP5.1.2に準拠

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.2.0-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.17.2+c1d70fe-cp38-cp38-linux_aarch64.whl
   

インストール onnxruntime-gpu

The onnxruntime-gpu PyPIでホストされているパッケージには、 aarch64 Jetson用のバイナリ。したがって、このパッケージを手動でインストールする必要があります。このパッケージは、一部のエクスポートに必要です。

利用可能なすべての onnxruntime-gpu JetPackバージョン、Pythonバージョン、およびその他の互換性の詳細ごとに整理されたパッケージを Jetson Zoo ONNX Runtime 互換性マトリックス。ここでは、をダウンロードしてインストールします。 onnxruntime-gpu 1.17.0 with Python3.8 サポート。

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

NVIDIA JetsonでTensorRTを使用する

Ultralyticsがサポートするすべてのモデルエクスポート形式の中で、TensorRTはNVIDIA Jetsonデバイスで最高の推論パフォーマンスを提供するため、Jetsonデプロイメントに最適な推奨事項です。セットアップ手順と高度な使用法については、専用のTensorRT統合ガイドを参照してください。

モデルをTensorRTに変換して推論を実行

PyTorch形式のYOLO11nモデルは、エクスポートされたモデルで推論を実行するためにTensorRTに変換されます。

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine # creates 'yolo11n.engine'

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA Deep Learning Accelerator (DLA) を使用する

NVIDIA Deep Learning Accelerator (DLA)は、NVIDIA Jetsonデバイスに組み込まれた特殊なハードウェアコンポーネントであり、エネルギー効率とパフォーマンスのために深層学習推論を最適化します。GPUからタスクをオフロードすることにより（より集中的なプロセスのためにGPUを解放します）、DLAは、組み込みシステムおよびリアルタイムAIアプリケーションに最適な、高いスループットを維持しながら、より低い消費電力でモデルを実行できるようにします。

以下のJetsonデバイスには、DLAハードウェアが搭載されています。

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", half=True)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format with DLA enabled (only works with FP16 or INT8)
# Once DLA core number is specified at export, it will use the same core at inference
yolo export model=yolo11n.pt format=engine device="dla:0" half=True # dla:0 or dla:1 corresponds to the DLA cores

# Run inference with the exported model on the DLA
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA JetsonYOLO11 ベンチマーク

YOLO11 ベンチマークは、Ultralytics チームによって11の異なるモデルフォーマットで実行され、速度と精度が測定されました：PyTorch、TorchScript、ONNX、OpenVINO、TensorRT、TF SavedModel、TF GraphDef、TF Lite、MNN、NCNN、ExecuTorch。ベンチマークは、NVIDIA Jetson AGX Thor Developer Kit、NVIDIA Jetson AGX Orin Developer Kit (64GB)、NVIDIA Jetson Orin Nano Super Developer Kit、およびJetson Orin NX 16GBデバイスを搭載したSeeed Studio reComputer J4012で、FP32の精度で、デフォルトの入力画像サイズ640で実行しました。

比較チャート

すべてのモデルのエクスポートは NVIDIA Jetson で動作しますが、Jetson の GPU を利用し、最高の結果を保証する PyTorch、TorchScript、TensorRT のみを以下の比較チャートに含めました。他のすべてのエクスポートは CPU のみを利用するため、上記の 3 つほどパフォーマンスは高くありません。すべてのエクスポートのベンチマークは、このチャートの後のセクションにあります。

NVIDIA Jetson AGX Thor開発者キット

NVIDIA Jetson AGX Orin Developer Kit (64GB)

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

詳細な比較表

下の表は、5つの異なるモデル（YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x）の11種類のフォーマットPyTorch,TorchScript,ONNX,OpenVINO,TensorRT,TF SavedModel,TF GraphDef,TF Lite, MNN,NCNN, ExecuTorch）のベンチマーク結果で、それぞれの組み合わせのステータス、サイズ、mAP50-95(B)メトリック、推論時間を示しています。

NVIDIA Jetson AGX Thor開発者キット

NVIDIA Jetson AGX Orin Developer Kit (64GB)

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

Seeed Studioによるベンチマークの取り組みの詳細はこちらをご覧ください。さまざまなバージョンのNVIDIA Jetsonハードウェアで実行されています。

結果の再現

上記Ultralyticsのベンチマークをすべてのエクスポート形式で再現するには、次のコードを実行します:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all all export formats
yolo benchmark model=yolo11n.pt data=coco128.yaml imgsz=640

NVIDIA Jetson 使用時のベストプラクティス

NVIDIA Jetsonを使用する場合、YOLO11を実行しているNVIDIA Jetsonで最大のパフォーマンスを有効にするために従うべきいくつかのベストプラクティスがあります。

1. 最大電力モードを有効にする

   Jetsonで最大電力モードを有効にすると、すべてのCPU、GPUコアがオンになります。

   sudo nvpmodel -m 0
   

2. Jetsonクロックを有効にする

   Jetsonクロックを有効にすると、すべてのCPU、GPUコアが最大周波数でクロックされるようになります。

   sudo jetson_clocks
   

3. Jetson Statsアプリケーションのインストール

   jetson statsアプリケーションを使用して、システムコンポーネントの温度を監視し、CPU、GPU、RAMの使用率の表示、電力モードの変更、最大クロックの設定、JetPack情報などの他のシステム詳細を確認できます。

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

次のステップ

NVIDIA JetsonへのYOLO11のセットアップが完了しました。おめでとうございます！更なる学習とサポートについては、Ultralytics YOLO11 Docsでガイドをご覧ください。

よくある質問

NVIDIA JetsonデバイスにUltralytics YOLO11をデプロイするにはどうすればよいですか？

Ultralytics YOLO11 を NVIDIA Jetson デバイスにデプロイするのは簡単なプロセスです。まず、Jetson デバイスを NVIDIA JetPack SDK でフラッシュします。次に、すぐにセットアップできる構築済みの Docker イメージを使用するか、必要なパッケージを手動でインストールします。各アプローチの詳細な手順は、Docker でクイックスタート および ネイティブインストールで開始 のセクションにあります。

NVIDIA Jetson デバイス上の YOLO11 モデルから、どのような性能ベンチマークが期待できますか？

YOLO11モデルは、さまざまなNVIDIA Jetsonデバイスでベンチマークされており、パフォーマンスが大幅に向上しています。たとえば、TensorRT形式は最高の推論パフォーマンスを提供します。詳細比較表セクションの表には、さまざまなモデル形式でのmAP50-95や推論時間などのパフォーマンス指標の包括的なビューが示されています。

NVIDIA JetsonにYOLO11をデプロイするためにTensorRTを使用すべきなのはなぜですか？

TensorRTは、最適なパフォーマンスを実現するため、NVIDIA JetsonでYOLO11モデルをデプロイする際に強く推奨されます。JetsonのGPU機能を活用して推論を高速化し、効率と速度を最大化します。TensorRTへの変換方法と推論の実行方法の詳細については、NVIDIA JetsonでのTensorRTの使用セクションを参照してください。

NVIDIA JetsonにPyTorchとTorchvisionをインストールするにはどうすればよいですか？

NVIDIA JetsonにPyTorchとTorchvisionをインストールするには、まずpipでインストールされている既存のバージョンをアンインストールします。次に、JetsonのARM64アーキテクチャと互換性のあるPyTorchおよびTorchvisionバージョンを手動でインストールします。このプロセスの詳細な手順は、PyTorchとTorchvisionのインストールセクションに記載されています。

YOLO11を使用する際に、NVIDIA Jetsonでのパフォーマンスを最大化するためのベストプラクティスは何ですか？

YOLO11でNVIDIA Jetsonのパフォーマンスを最大化するには、次のベストプラクティスに従ってください:

1. 最大電力モードを有効にして、すべてのCPUおよびGPUコアを利用します。
2. Jetsonクロックを有効にして、すべてのコアを最大周波数で実行します。
3. システムメトリクスを監視するために、Jetson Statsアプリケーションをインストールします。

コマンドと詳細については、NVIDIA Jetson使用時のベストプラクティスセクションを参照してください。

📅作成：1年前 ✏️更新 4日前

コメント