クイックスタートガイド：Ultralytics YOLO26を搭載したNVIDIA Jetson#

この包括的なガイドでは、NVIDIA JetsonデバイスにUltralytics YOLO26をデプロイする手順を詳しく説明します。さらに、これらの小型で高性能なデバイス上でのYOLO26の性能を示すベンチマークも紹介します。

NVIDIA Jetsonとは何ですか？#

NVIDIA Jetsonは、エッジデバイスに高速なAI（人工知能）コンピューティングを提供するために設計された組み込みコンピューティングボードのシリーズです。これらの小型で高性能なデバイスはNVIDIAのGPUアーキテクチャを基盤としており、クラウドコンピューティングのリソースに依存せず、デバイス上で複雑なAIアルゴリズムやディープラーニングモデルを直接実行できます。Jetsonボードは、AI推論を低レイテンシーかつ高効率でローカルに実行する必要があるロボティクス、自動運転車、産業オートメーションなどの用途でよく使用されます。また、これらのボードはARM64アーキテクチャを基盤としており、従来のGPUコンピューティングデバイスと比較して低消費電力で動作します。

NVIDIA Jetsonシリーズの比較#

NVIDIA Jetson AGX Thorは、NVIDIA Blackwellアーキテクチャを基盤とするNVIDIA Jetsonファミリーの最新モデルで、前世代と比較してAI性能が大幅に向上しています。以下の表では、エコシステム内のJetsonデバイスの一部を比較しています。

より詳細な比較表については、NVIDIA Jetson公式ページの仕様を比較セクションをご覧ください。

NVIDIA JetPackとは何ですか？#

Jetsonモジュールを動かすNVIDIA JetPack SDKは、エンドツーエンドの高速AIアプリケーションを構築するための包括的なソリューションであり、開発環境を完全に提供して市場投入までの期間を短縮します。JetPackには、ブートローダー、Linuxカーネル、Ubuntuデスクトップ環境を備えたJetson Linuxと、GPUコンピューティング、マルチメディア、グラフィックス、コンピュータービジョンを高速化するためのライブラリ一式が含まれています。また、ホストコンピューターと開発キット向けのサンプル、ドキュメント、開発者ツールも含まれており、ストリーミング動画分析向けのDeepStream、ロボティクス向けのIsaac、会話型AI向けのRivaなど、より高レベルのSDKにも対応しています。

NVIDIA JetsonにJetPackを書き込む#

NVIDIA Jetsonデバイスを入手した後の最初のステップは、デバイスにNVIDIA JetPackを書き込むことです。NVIDIA Jetsonデバイスを書き込む方法はいくつかあります。

1. 公式のJetson AGX Thor、AGX Orin、またはOrin Nano Developer KitでJetPack 7.2を使用する場合は、統合Jetson ISOをダウンロードしてUSBフラッシュドライブに書き込み、AGX Thor、AGX Orin、またはOrin Nanoのデバイス固有のクイックスタートに従ってください。JetPack 7.2以降、Orin Nanoではダウンロード可能なSDカードイメージを使用しません。ISOを使用したUSBインストールにより、デバイスのmicroSDカードまたはNVMe SSDにJetson Linuxがインストールされます。
2. Jetson Orin Nano Developer Kitで意図的にJetPack 6を使用する場合は、NVIDIAのJetPack 6.xの更新およびSDカード手順に従ってください。
3. その他のNVIDIA Development Kitをお持ちの場合は、SDK Managerを使用してデバイスにJetPackを書き込むことができます。
4. Seeed Studio reComputer J4012デバイスをお持ちの場合は、付属のSSDにJetPackを書き込むことができます。Seeed Studio reComputer J1020 v2デバイスをお持ちの場合は、eMMC/ SSDにJetPackを書き込むことができます。
5. NVIDIA Jetsonモジュールを搭載したその他のサードパーティ製デバイスをお持ちの場合は、コマンドラインによる書き込みに従うことを推奨します。

Jetsonデバイス別のJetPack対応状況#

以下の表は、各NVIDIA JetsonデバイスでサポートされているNVIDIA JetPackのバージョンを示しています。

Dockerでのクイックスタート#

NVIDIA JetsonでUltralytics YOLO26を始める最も速い方法は、Jetson向けのビルド済みDockerイメージを使用して実行することです。上の表を参照し、お持ちのJetsonデバイスに応じてJetPackのバージョンを選択してください。

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

JetPack 4、5、6 のイメージについては、NVIDIA Jetson での TensorRT の使用を引き続き参照してください。上記の JetPack 7.1 イメージは PyTorch ワークロード専用です。

ネイティブインストールを開始する#

Dockerを使用せずにネイティブインストールする場合は、以下の手順を参照してください。

JetPack 7.2で実行する#

Ultralyticsパッケージをインストールする#

ここではJetsonにUltralyticsパッケージをインストールします。エクスポート時の依存関係は、モデルを初めてエクスポートするときに自動的にインストールされるため、ここではベースパッケージのみ必要です。Jetsonデバイスから最大限の性能を引き出せるよう、主にNVIDIA TensorRTエクスポートに焦点を当てます。

1. パッケージリストを更新し、pipをインストールして最新バージョンにアップグレードする

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. ultralytics pipパッケージをインストールする

   pip install ultralytics

3. デバイスを再起動する

   sudo reboot

PyTorchとTorchvisionをインストールする#

上記のUltralyticsのインストールにより、TorchとTorchvisionがインストールされます。ただし、pipでインストールされたこれら2つのパッケージは、CUDA 13を搭載したJetPack 7.2デバイスで実行するには互換性がありません。そのため、手動でインストールする必要があります。

JP7.2に対応するtorchとtorchvisionをインストールする

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

onnxruntime-gpuをインストールする#

JetPack、Python、および CUDA のバージョンに一致する ONNX Runtime GPU ホイールを使用してください。現在の PyPI リリースには ARM64 ホイールが含まれていますが、すべての JetPack リリース向けの高精度なデバイス固有パッケージの代わりにはなりません。

ここでは、Python3.12をサポートするonnxruntime-gpu 1.24.0をダウンロードしてインストールします。

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

JetPack 6.1で実行する#

Ultralyticsパッケージをインストールする#

ここではJetsonにUltralyticsパッケージをインストールします。エクスポート時の依存関係は、モデルを初めてエクスポートするときに自動的にインストールされるため、ここではベースパッケージのみ必要です。Jetsonデバイスから最大限の性能を引き出せるよう、主にNVIDIA TensorRTエクスポートに焦点を当てます。

1. パッケージリストを更新し、pipをインストールして最新バージョンにアップグレードする

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. ultralytics pipパッケージをインストールする

   pip install ultralytics

3. デバイスを再起動する

   sudo reboot

PyTorchとTorchvisionをインストールする#

上記のUltralyticsのインストールにより、TorchとTorchvisionがインストールされます。ただし、pipでインストールされたこれら2つのパッケージは、ARM64アーキテクチャを基盤とするJetsonプラットフォームと互換性がありません。そのため、ビルド済みのPyTorch pipホイールを手動でインストールし、Torchvisionをソースからコンパイルまたはインストールする必要があります。

JP6.1に対応するtorch 2.10.0とtorchvision 0.25.0をインストールする

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.10.0-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.25.0-cp310-cp310-linux_aarch64.whl

torch 2.10.0との依存関係の問題を解決するために、cuDSSをインストールする

wget https://developer.download.nvidia.com/compute/cudss/0.7.1/local_installers/cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo dpkg -i cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo cp /var/cudss-local-tegra-repo-ubuntu2204-0.7.1/cudss-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cudss

onnxruntime-gpuをインストールする#

JetPack、Python、および CUDA のバージョンに一致する ONNX Runtime GPU ホイールを使用してください。現在の PyPI リリースには ARM64 ホイールが含まれていますが、すべての JetPack リリース向けの高精度なデバイス固有パッケージの代わりにはなりません。

利用可能なすべてのonnxruntime-gpuパッケージは、JetPackバージョン、Pythonバージョン、その他の互換性情報別に整理され、Jetson Zoo ONNX Runtime互換性マトリックスで確認できます。

Python 3.10をサポートするJetPack 6では、onnxruntime-gpu 1.23.0をインストールできます。

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.23.0-cp310-cp310-linux_aarch64.whl

または、onnxruntime-gpu 1.20.0の場合は次の手順を実行します。

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

JetPack 5.1.2で実行する#

Ultralyticsパッケージをインストールする#

ここではJetsonにUltralyticsパッケージをインストールします。エクスポート時の依存関係は、モデルを初めてエクスポートするときに自動的にインストールされるため、ここではベースパッケージのみ必要です。Jetsonデバイスから最大限の性能を引き出せるよう、主にNVIDIA TensorRTエクスポートに焦点を当てます。

1. パッケージリストを更新し、pipをインストールして最新バージョンにアップグレードする

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. ultralytics pipパッケージをインストールする

   pip install ultralytics

3. デバイスを再起動する

   sudo reboot

PyTorchとTorchvisionをインストールする#

上記のUltralyticsのインストールにより、TorchとTorchvisionがインストールされます。ただし、pipでインストールされたこれら2つのパッケージは、ARM64アーキテクチャを基盤とするJetsonプラットフォームと互換性がありません。そのため、ビルド済みのPyTorch pipホイールを手動でインストールし、Torchvisionをソースからコンパイルまたはインストールする必要があります。

1. 現在インストールされているPyTorchとTorchvisionをアンインストールする

   pip uninstall torch torchvision

2. JP5.1.2に対応するtorch 2.1.0とtorchvision 0.16.2をインストールする

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.16.2+c6f3977-cp38-cp38-linux_aarch64.whl

onnxruntime-gpuをインストールする#

JetPack、Python、および CUDA のバージョンに一致する ONNX Runtime GPU ホイールを使用してください。現在の PyPI リリースには ARM64 ホイールが含まれていますが、すべての JetPack リリース向けの高精度なデバイス固有パッケージの代わりにはなりません。

利用可能なすべてのonnxruntime-gpuパッケージは、JetPackバージョン、Pythonバージョン、その他の互換性情報別に整理され、Jetson Zoo ONNX Runtime互換性マトリックスで確認できます。ここでは、Python3.8をサポートするonnxruntime-gpu 1.17.0をダウンロードしてインストールします。

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

NVIDIA JetsonでTensorRTを使用する#

Ultralytics がサポートするすべてのモデルのエクスポート形式の中で、TensorRT は NVIDIA Jetson デバイス上で最も高い推論パフォーマンスを提供し、Jetson 展開において最も推奨される形式となっています。エクスポートする前に、JetPack リリース用に提供されている TensorRT Python バインディングをインストールし、python3 -c "import tensorrt; print(tensorrt.__version__)" で確認してください。JetPack 6/7 ではサポートされている TensorRT 10.x ランタイムを維持し、TensorRT 11.2.1 に置き換えなでください。セットアップの手順と高度な使用方法については、専用の TensorRT 統合ガイドを参照してください。

ビルド環境をローカルで構成せずに、ブラウザーからエクスポートすることもできます。Ultralytics PlatformのモデルエクスポートタブでTensorRTと対象のJetsonターゲットを選択してください。Thorの選択肢は、実機のThorハードウェアで検証されています。現在、6つのOrinの選択肢ではAGX-Orinでビルドされた候補エンジンが生成されるため、デプロイ前に対象のOrin SKUで検証してください。

モデルをTensorRTに変換して推論を実行する#

PyTorch形式のYOLO26nモデルをTensorRTに変換し、エクスポートしたモデルで推論を実行します。

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo26n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

NVIDIA Deep Learning Accelerator（DLA）を使用する#

NVIDIA Deep Learning Accelerator（DLA）は、NVIDIA Jetsonデバイスに組み込まれた専用ハードウェアコンポーネントで、エネルギー効率とパフォーマンスを高めるためにディープラーニング推論を最適化します。GPUからタスクをオフロードして、より負荷の高い処理にGPUを利用できるようにすることで、DLAは高いスループットを維持しながら、より低い消費電力でモデルを実行できます。これは、組み込みシステムやリアルタイムAIアプリケーションに最適です。

以下のJetsonデバイスにはDLAハードウェアが搭載されています。

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", quantize=16)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

NVIDIA Jetson YOLO26 ベンチマーク#

YOLO26のベンチマークは、Ultralyticsチームが11種類のモデルフォーマットで実行し、速度と精度を測定しました。対象フォーマットは、PyTorch、TorchScript、ONNX、OpenVINO、TensorRT、TF SavedModel、TF GraphDef、TF Lite、MNN、NCNN、ExecuTorchです。ベンチマークは、NVIDIA Jetson AGX Thor Developer Kit、NVIDIA Jetson AGX Orin Developer Kit（64GB）、NVIDIA Jetson Orin Nano Super Developer Kit、およびJetson Orin NX 16GBデバイスを搭載したSeeed Studio reComputer J4012において、FP32精度、デフォルトの入力画像サイズ640で実行されました。

比較チャート#

すべてのモデルエクスポートはNVIDIA Jetsonで動作しますが、以下の比較チャートにはPyTorch、TorchScript、TensorRTのみを掲載しています。これらはJetsonのGPUを使用し、最高の結果を確実に得られるためです。その他のエクスポートはCPUのみを使用するため、上記3つほど高いパフォーマンスは得られません。すべてのエクスポートのベンチマークは、このチャートの後のセクションで確認できます。

NVIDIA Jetson AGX Thor Developer Kit#

NVIDIA Jetson AGX Orin Developer Kit（64GB）#

NVIDIA Jetson Orin Nano Super Developer Kit#

NVIDIA Jetson Orin NX 16GB#

詳細な比較表#

以下の表は、5つの異なるモデル（YOLO26n、YOLO26s、YOLO26m、YOLO26l、YOLO26x）における11種類のフォーマット（PyTorch、TorchScript、ONNX、OpenVINO、TensorRT、TF SavedModel、TF GraphDef、TF Lite、MNN、NCNN、ExecuTorch）のベンチマーク結果を示しており、それぞれの組み合わせにおけるステータス、サイズ、mAP50-95(B)メトリック、推論時間が示されています。

NVIDIA Jetson AGX Thor Developer Kit#

NVIDIA Jetson AGX Orin Developer Kit（64GB）#

NVIDIA Jetson Orin Nano Super Developer Kit#

NVIDIA Jetson Orin NX 16GB#

異なるバージョンのNVIDIA Jetsonハードウェアで実行したSeeed Studioのさらなるベンチマーク結果を確認。

結果を再現する#

上記のUltralyticsベンチマークをすべてのエクスポート形式で再現するには、次のコードを実行します:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

NVIDIA Jetson使用時のベストプラクティス#

NVIDIA JetsonでYOLO26を実行する際にパフォーマンスを最大化するには、いくつかのベストプラクティスに従ってください。

1. MAX Power Modeを有効にする

   JetsonでMAX Power Modeを有効にすると、すべてのCPUコアとGPUコアがオンになります。

   sudo nvpmodel -m 0

2. Jetson Clocksを有効にする

   Jetson Clocksを有効にすると、すべてのCPUコアとGPUコアが最大周波数で動作します。

   sudo jetson_clocks

3. Jetson Statsアプリケーションをインストールする

   jetson statsアプリケーションを使用すると、システムコンポーネントの温度を監視し、CPU、GPU、RAMの使用率の表示、電力モードの変更、最大クロックの設定、JetPack情報の確認など、その他のシステム詳細を確認できます。

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop

NVIDIA Jetsonのメモリ最適化のヒント#

Jetsonデバイスでは、特にJetson Orin Nano（8 GB）やOrin NX 8 GBのような低メモリのモデルで、使用可能なメモリが制限要因になることがよくあります。以下のヒントは、全体として数百MBを解放し、より大きなYOLOモデルを実行したり、追加の並列ワークロードをサポートしたりできる、実用的でリスクの低い変更です。包括的な説明については、Jetsonでメモリ効率を最大化するNVIDIAのブログ記事をご覧ください。

1. ヘッドレス（GUIなし）ブートに切り替える#

JetsonにSSHで接続している場合や、ディスプレイを接続せずに本番アプライアンスとして実行している場合は、デスクトップ環境とディスプレイサーバーを削除することで、最大865 MBのRAMを回収できます。

sudo systemctl set-default multi-user.target
sudo reboot

後でデスクトップを復元するには：

sudo systemctl set-default graphical.target
sudo reboot

2. 使用していないシステムサービスを無効にする#

不要なバックグラウンドサービス（Bluetooth、接続マネージャー、未使用のハードウェアデーモン）は、合計で約32 MBを消費します。アクティブなサービスを一覧表示し、デプロイに必要のないものを無効にしてください。

# List running services
systemctl list-units --type=service --state=running

# Disable a service
sudo systemctl disable SERVICE_NAME

3. メモリ使用量をプロファイリングする#

最適化する前に、実際にRAMを消費しているプロセスを特定します。procrankはプロセスをPSS（Proportional Set Size）で並べ替えます。PSSは、RSS（Resident Set Size：プロセスによってマッピングされた物理RAMページの合計で、他のプロセスと共有されるページを含む）よりも、プロセスごとの実際のメモリフットプリントを正確に反映します。

git clone https://github.com/csimmonds/procrank_linux.git
cd procrank_linux && make
sudo ./procrank

プロセスごとのGPUおよびNvMap（CUDA/ビデオパイプライン）の割り当てを確認するには：

sudo cat /sys/kernel/debug/nvmap/iovmm/clients

4. 本番環境でディスプレイなしに推論を実行する#

ライブプレビューが不要な推論パイプラインでは、ディスプレイ関連コンポーネント（Tiler、OSD、DisplaySink）を無効にするだけで、パイプラインだけで200 MB以上を節約できます。Ultralytics YOLOでは、ビューアーを抑制し、代わりに結果をディスクへ書き込みます。

from ultralytics import YOLO

model = YOLO("yolo26n.engine")

# show=False prevents any display window; save=True writes annotated output to disk
results = model.predict(source="video.mp4", show=False, save=True)

累積効果#

これらの変更を組み合わせることは、メモリに制約のあるデバイスでTensorRT INT8モデルを対象とする場合に特に有効です。より大きなモデルバリアントをメモリに収められるかどうかを左右する可能性があります。

次のステップ#

さらに学習やサポートが必要な場合は、Ultralytics YOLO26 Docsをご覧ください。

FAQ#