クイックスタートガイド：NVIDIA JetsonとUltralytics YOLO26

この包括的なガイドでは、NVIDIA JetsonデバイスへのUltralytics YOLO26のデプロイに関する詳細なウォークスルーを提供します。さらに、これらの小型で強力なデバイスでのYOLO26の機能を実証するためのパフォーマンスベンチマークも紹介しています。

見る: NVIDIA JetsonデバイスでUltralytics YOLO26を使用する方法

NVIDIA Jetsonとは何ですか？

NVIDIA Jetsonは、AI（人工知能）コンピューティングをエッジデバイスに加速させるために設計された組み込みコンピューティングボードのシリーズです。これらのコンパクトで強力なデバイスは、NVIDIAのGPUアーキテクチャを中心に構築されており、クラウドコンピューティングリソースに依存することなく、複雑なAIアルゴリズムやディープラーニングモデルをデバイス上で直接実行できます。Jetsonボードは、ロボット工学、自動運転車、産業オートメーション、その他AI推論を低レイテンシかつ高効率でローカルに実行する必要があるアプリケーションでよく使用されます。さらに、これらのボードはARM64アーキテクチャに基づいており、従来のGPUコンピューティングデバイスと比較して低消費電力で動作します。

NVIDIA Jetsonシリーズ比較

NVIDIA Jetson AGX Thorは、NVIDIA Blackwellアーキテクチャに基づくNVIDIA Jetsonファミリの最新のイテレーションであり、以前の世代と比較してAIパフォーマンスが大幅に向上しています。以下の表は、エコシステム内のいくつかのJetsonデバイスを比較したものです。

より詳細な比較表については、NVIDIA Jetson公式ページの仕様比較セクションをご覧ください。

NVIDIA JetPackとは何ですか？

Jetsonモジュールを強化するNVIDIA JetPack SDKは、最も包括的なソリューションであり、エンドツーエンドの高速化されたAIアプリケーションを構築するための完全な開発環境を提供し、市場投入までの時間を短縮します。JetPackには、ブートローダー、Linuxカーネル、Ubuntuデスクトップ環境、およびGPUコンピューティング、マルチメディア、グラフィックス、コンピュータビジョンの高速化のための完全なライブラリセットを備えたJetson Linuxが含まれています。また、ホストコンピュータと開発キットの両方に対応したサンプル、ドキュメント、および開発者ツールも含まれており、ストリーミングビデオ分析用のDeepStream、ロボティクス用のIsaac、会話型AI用のRivaなどの高レベルSDKをサポートしています。

NVIDIA JetsonへのJetPackのフラッシュ

NVIDIA Jetsonデバイスを入手した後の最初のステップは、NVIDIA JetPackをデバイスにフラッシュすることです。NVIDIA Jetsonデバイスをフラッシュするにはいくつかの異なる方法があります。

1. Jetson AGX Thor Developer Kitのような公式のNVIDIA開発キットをお持ちの場合、イメージをダウンロードし、ブータブルUSBスティックを準備して、付属のSSDにJetPackをフラッシュできます。
2. Jetson Orin Nano Developer Kit などの NVIDIA 公式開発キットをお持ちの場合は、イメージをダウンロードし、JetPack を使用してデバイスを起動するための SD カードを準備することができます。
3. その他の NVIDIA 開発キットをお持ちの場合は、SDK Manager を使用して JetPack をデバイスに書き込むことができます。
4. Seeed Studio reComputer J4012 デバイスをお持ちの場合は、JetPack を付属の SSD に書き込むことができます。また、Seeed Studio reComputer J1020 v2 デバイスをお持ちの場合は、JetPack を eMMC/SSD に書き込むことができます。
5. NVIDIA Jetsonモジュールを搭載した他のサードパーティ製デバイスをお持ちの場合は、コマンドラインフラッシングに従うことをお勧めします。

Jetsonデバイスに基づくJetPackのサポート

以下の表は、さまざまなNVIDIA JetsonデバイスでサポートされているNVIDIA JetPackのバージョンをまとめたものです。

Dockerを使ったクイックスタート

NVIDIA JetsonでUltralytics YOLO26を始める最も速い方法は、Jetson用の事前構築済みdockerイメージで実行することです。上記の表を参照し、お持ちのJetsonデバイスに応じてJetPackバージョンを選択してください。

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack5
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack6
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-nvidia-arm64
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

完了したら、NVIDIA JetsonでTensorRTを使用するセクションに進んでください。

ネイティブインストールから開始

Dockerを使用しないネイティブインストールについては、以下の手順を参照してください。

JetPack 7.0で実行

Ultralyticsパッケージのインストール

ここでは、PyTorchモデルを他のさまざまな形式でエクスポートできるように、オプションの依存関係とともにUltralyticsパッケージをJetsonにインストールします。ここでは主にNVIDIA TensorRTエクスポートに焦点を当てます。これは、TensorRTがJetsonデバイスから最大限のパフォーマンスを引き出すことを保証するためです。

1. パッケージリストの更新、pipのインストール、および最新バージョンへのアップグレード

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. インストール ultralytics オプションの依存関係を含む pip パッケージ

   pip install ultralytics[export]
   

3. デバイスを再起動

   sudo reboot
   

PyTorchとTorchvisionのインストール

上記のUltralyticsインストールでは、torchとTorchvisionがインストールされます。しかし、pip経由でインストールされたこれら2つのパッケージは、JetPack 7.0とCUDA 13が付属するJetson AGX Thorでは実行互換性がありません。したがって、手動でインストールする必要があります。

インストール torch および torchvision JP7.0によると

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

インストール onnxruntime-gpu

The onnxruntime-gpu PyPIでホストされているパッケージには aarch64 Jetson用のバイナリ。したがって、このパッケージを手動でインストールする必要があります。このパッケージは、一部のエクスポートに必要です。

ここでは、ダウンロードしてインストールします onnxruntime-gpu 1.24.0 with Python3.12 サポート。

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

JetPack 6.1 で実行

Ultralyticsパッケージのインストール

ここでは、PyTorchモデルを他のさまざまな形式でエクスポートできるように、オプションの依存関係とともにUltralyticsパッケージをJetsonにインストールします。ここでは主にNVIDIA TensorRTエクスポートに焦点を当てます。これは、TensorRTがJetsonデバイスから最大限のパフォーマンスを引き出すことを保証するためです。

1. パッケージリストの更新、pipのインストール、および最新バージョンへのアップグレード

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. インストール ultralytics オプションの依存関係を含む pip パッケージ

   pip install ultralytics[export]
   

3. デバイスを再起動

   sudo reboot
   

PyTorchとTorchvisionのインストール

上記のUltralyticsのインストールでは、TorchとTorchvisionがインストールされます。しかし、pip経由でインストールされるこれら2つのパッケージは、ARM64アーキテクチャをベースとするJetsonプラットフォームとは互換性がありません。そのため、事前にビルドされたPyTorch pipホイールを手動でインストールし、Torchvisionをソースからコンパイルまたはインストールする必要があります。

インストール torch 2.5.0 および torchvision 0.20 JP6.1に準拠

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.5.0a0+872d972e41.nv24.08-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.20.0a0+afc54f7-cp310-cp310-linux_aarch64.whl

インストール cuSPARSELt の依存関係の問題を修正するには、 torch 2.5.0

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/arm64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get -y install libcusparselt0 libcusparselt-dev

インストール onnxruntime-gpu

The onnxruntime-gpu PyPIでホストされているパッケージには aarch64 Jetson用のバイナリ。したがって、このパッケージを手動でインストールする必要があります。このパッケージは、一部のエクスポートに必要です。

利用可能なすべての onnxruntime-gpu JetPackバージョン、Pythonバージョン、およびその他の互換性の詳細ごとに整理されたパッケージを Jetson Zoo ONNX Runtime 互換性マトリックス.

次の場合 JetPack 6 with Python 3.10 サポートがあるため、インストールできます onnxruntime-gpu 1.23.0:

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.23.0-cp310-cp310-linux_aarch64.whl

あるいは、 onnxruntime-gpu 1.20.0:

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

JetPack 5.1.2 で実行

Ultralyticsパッケージのインストール

ここでは、PyTorchモデルを他のさまざまな形式でエクスポートできるように、オプションの依存関係とともにUltralyticsパッケージをJetsonにインストールします。ここでは主にNVIDIA TensorRTエクスポートに焦点を当てます。これは、TensorRTがJetsonデバイスから最大限のパフォーマンスを引き出すことを保証するためです。

1. パッケージリストの更新、pipのインストール、および最新バージョンへのアップグレード

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. インストール ultralytics オプションの依存関係を含む pip パッケージ

   pip install ultralytics[export]
   

3. デバイスを再起動

   sudo reboot
   

PyTorchとTorchvisionのインストール

上記のUltralyticsのインストールでは、TorchとTorchvisionがインストールされます。しかし、pip経由でインストールされるこれら2つのパッケージは、ARM64アーキテクチャをベースとするJetsonプラットフォームとは互換性がありません。そのため、事前にビルドされたPyTorch pipホイールを手動でインストールし、Torchvisionをソースからコンパイルまたはインストールする必要があります。

1. 現在インストールされているPyTorchおよびTorchvisionをアンインストールする

   pip uninstall torch torchvision
   

2. インストール torch 2.2.0 および torchvision 0.17.2 JP5.1.2に準拠

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.2.0-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.17.2+c1d70fe-cp38-cp38-linux_aarch64.whl
   

インストール onnxruntime-gpu

The onnxruntime-gpu PyPIでホストされているパッケージには aarch64 Jetson用のバイナリ。したがって、このパッケージを手動でインストールする必要があります。このパッケージは、一部のエクスポートに必要です。

利用可能なすべての onnxruntime-gpu JetPackバージョン、Pythonバージョン、およびその他の互換性の詳細ごとに整理されたパッケージを Jetson Zoo ONNX Runtime 互換性マトリックス。ここでは、をダウンロードしてインストールします。 onnxruntime-gpu 1.17.0 with Python3.8 サポート。

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

NVIDIA JetsonでTensorRTを使用する

Ultralyticsがサポートするすべてのモデルエクスポート形式の中で、TensorRTはNVIDIA Jetsonデバイスで最高の推論パフォーマンスを提供するため、Jetsonデプロイメントに最適な推奨事項です。セットアップ手順と高度な使用法については、専用のTensorRT統合ガイドを参照してください。

モデルをTensorRTに変換して推論を実行

PyTorch形式のYOLO26nモデルは、エクスポートされたモデルで推論を実行するためにTensorRTに変換されます。

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo26n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO26n PyTorch model to TensorRT format
yolo export model=yolo26n.pt format=engine # creates 'yolo26n.engine'

# Run inference with the exported model
yolo predict model=yolo26n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA Deep Learning Accelerator (DLA) を使用する

NVIDIA Deep Learning Accelerator (DLA)は、NVIDIA Jetsonデバイスに組み込まれた特殊なハードウェアコンポーネントであり、エネルギー効率とパフォーマンスのために深層学習推論を最適化します。GPUからタスクをオフロードすることにより（より集中的なプロセスのためにGPUを解放します）、DLAは、組み込みシステムおよびリアルタイムAIアプリケーションに最適な、高いスループットを維持しながら、より低い消費電力でモデルを実行できるようにします。

以下のJetsonデバイスには、DLAハードウェアが搭載されています。

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", half=True)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO26n PyTorch model to TensorRT format with DLA enabled (only works with FP16 or INT8)
# Once DLA core number is specified at export, it will use the same core at inference
yolo export model=yolo26n.pt format=engine device="dla:0" half=True # dla:0 or dla:1 corresponds to the DLA cores

# Run inference with the exported model on the DLA
yolo predict model=yolo26n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA Jetson YOLO11/ YOLO26 Benchmarks

YOLO11/ YOLO26 benchmarks were run by the Ultralytics team on 11 different model formats measuring speed and accuracy: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch. Benchmarks were run on NVIDIA Jetson AGX Thor Developer Kit, NVIDIA Jetson AGX Orin Developer Kit (64GB), NVIDIA Jetson Orin Nano Super Developer Kit and Seeed Studio reComputer J4012 powered by Jetson Orin NX 16GB device at FP32 precision with default input image size of 640.

比較チャート

すべてのモデルエクスポートはNVIDIA Jetsonで動作しますが、以下の比較チャートにはPyTorch、TorchScript、TensorRTのみを含めました。これは、これらがJetsonのGPUを利用し、最良の結果を保証するためです。他のすべてのエクスポートはCPUのみを利用し、パフォーマンスは上記の3つほどではありません。すべてのエクスポートのベンチマークは、このチャートの後のセクションで確認できます。

NVIDIA Jetson AGX Thor Developer Kit

NVIDIA Jetson AGX Orin Developer Kit (64GB)

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

詳細な比較表

以下の表は、5つの異なるモデル（YOLO11n、YOLO11s、YOLO11m、YOLO11l、YOLO11x）と11の異なる形式（PyTorch、TorchScript、ONNX、OpenVINO、TensorRT、TF SavedModel、TF GraphDef、TF Lite、MNN、NCNN、ExecuTorch）におけるベンチマーク結果を示しており、各組み合わせのステータス、サイズ、mAP50-95(B)メトリック、および推論時間を提供します。

NVIDIA Jetson AGX Thor Developer Kit

NVIDIA Jetson AGX Orin Developer Kit (64GB)

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

Seeed Studioによるベンチマークの取り組みの詳細はこちらをご覧ください。さまざまなバージョンのNVIDIA Jetsonハードウェアで実行されています。

結果の再現

上記Ultralyticsのベンチマークをすべてのエクスポート形式で再現するには、次のコードを実行します:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco128.yaml imgsz=640

NVIDIA Jetson 使用時のベストプラクティス

NVIDIA Jetsonを使用する際、YOLO26を実行しているNVIDIA Jetsonで最大限のパフォーマンスを有効にするために、いくつかのベストプラクティスに従う必要があります。

1. 最大電力モードを有効にする

   Jetsonで最大電力モードを有効にすると、すべてのCPU、GPUコアがオンになります。

   sudo nvpmodel -m 0
   

2. Jetsonクロックを有効にする

   Jetsonクロックを有効にすると、すべてのCPU、GPUコアが最大周波数でクロックされるようになります。

   sudo jetson_clocks
   

3. Jetson Statsアプリケーションのインストール

   jetson statsアプリケーションを使用して、システムコンポーネントの温度を監視し、CPU、GPU、RAMの使用率の表示、電力モードの変更、最大クロックの設定、JetPack情報などの他のシステム詳細を確認できます。

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

次のステップ

さらなる学習とサポートについては、Ultralytics YOLO26 ドキュメントを参照してください。

よくある質問

NVIDIA Jetson デバイスにUltralytics YOLO26をデプロイするにはどうすればよいですか？

NVIDIA Jetson デバイスへのUltralytics YOLO26のデプロイは、簡単なプロセスです。まず、NVIDIA JetPack SDKを使用してJetsonデバイスをフラッシュします。次に、迅速なセットアップのためにビルド済みのDockerイメージを使用するか、必要なパッケージを手動でインストールします。各アプローチの詳細な手順は、Dockerによるクイックスタートおよびネイティブインストールによる開始のセクションで確認できます。

NVIDIA Jetson デバイス上の YOLO11 モデルから、どのような性能ベンチマークが期待できますか？

YOLO11モデルは、さまざまなNVIDIA Jetsonデバイスでベンチマークされており、大幅な性能向上が示されています。例えば、TensorRT形式は最高の推論性能を提供します。詳細比較表セクションの表は、mAP50-95や推論時間など、異なるモデル形式間の性能指標を包括的に示しています。

NVIDIA JetsonでYOLO26をデプロイする際にTensorRTを使用すべき理由は何ですか？

TensorRTは、その最適なパフォーマンスにより、NVIDIA JetsonにYOLO26モデルをデプロイする際に強く推奨されます。JetsonのGPU機能を活用して推論を高速化し、最大の効率と速度を保証します。TensorRTへの変換方法と推論の実行方法については、NVIDIA JetsonでTensorRTを使用するセクションで詳しく説明しています。

NVIDIA JetsonにPyTorchとTorchvisionをインストールするにはどうすればよいですか？

NVIDIA JetsonにPyTorchとTorchvisionをインストールするには、まずpipでインストールされている既存のバージョンをアンインストールします。次に、JetsonのARM64アーキテクチャと互換性のあるPyTorchおよびTorchvisionバージョンを手動でインストールします。このプロセスの詳細な手順は、PyTorchとTorchvisionのインストールセクションに記載されています。

YOLO26を使用する際にNVIDIA Jetsonでパフォーマンスを最大化するための最適なプラクティスは何ですか？

YOLO26でNVIDIA Jetsonのパフォーマンスを最大化するには、以下のベストプラクティスに従ってください。

1. 最大電力モードを有効にして、すべてのCPUおよびGPUコアを利用します。
2. Jetsonクロックを有効にして、すべてのコアを最大周波数で実行します。
3. システムメトリクスを監視するために、Jetson Statsアプリケーションをインストールします。

コマンドと詳細については、NVIDIA Jetson使用時のベストプラクティスセクションを参照してください。

📅 1年前に作成 ✏️ 0日前に更新

コメント