クイックスタートガイド：NVIDIA JetsonでUltralytics YOLO26を使う#

この包括的なガイドでは、NVIDIA JetsonデバイスにUltralytics YOLO26をデプロイする手順を詳しく説明します。また、これらの小型で高性能なデバイスでのYOLO26の性能を示すベンチマークも紹介します。

NVIDIA Jetsonとは何ですか？#

NVIDIA Jetsonは、エッジデバイスに高速なAI（人工知能）演算をもたらすために設計された組み込みコンピューティングボードのシリーズです。小型で高性能なこれらのデバイスは、NVIDIAのGPUアーキテクチャをベースとしており、クラウドコンピューティングリソースに頼ることなく、デバイス上で複雑なAIアルゴリズムやディープラーニングモデルを直接実行できます。Jetsonボードは、ロボティクス、自動運転車、産業オートメーションなど、低レイテンシかつ高効率でローカルにAI推論を実行する必要がある用途でよく使用されます。また、これらのボードはARM64アーキテクチャをベースとしており、従来のGPUコンピューティングデバイスより低消費電力で動作します。

NVIDIA Jetsonシリーズの比較#

NVIDIA Jetson AGX Thorは、NVIDIA BlackwellアーキテクチャをベースとしたNVIDIA Jetsonファミリーの最新モデルで、前世代と比べてAI性能が大幅に向上しています。以下の表では、製品群からいくつかのJetsonデバイスを比較しています。

より詳しい比較表については、NVIDIA公式Jetsonページの仕様を比較セクションをご覧ください。

NVIDIA JetPackとは何ですか？#

Jetsonモジュールを支えるNVIDIA JetPack SDKは、最も包括的なソリューションであり、エンドツーエンドの高速AIアプリケーションを構築するための完全な開発環境を提供し、市場投入までの時間を短縮します。JetPackには、ブートローダー、Linuxカーネル、Ubuntuデスクトップ環境を含むJetson Linuxと、GPUコンピューティング、マルチメディア、グラフィックス、コンピュータービジョンを高速化するためのライブラリ一式が含まれています。また、ホストコンピューターと開発キットの両方に対応したサンプル、ドキュメント、開発者ツールに加え、ストリーミング動画分析向けのDeepStream、ロボティクス向けのIsaac、会話型AI向けのRivaなどの上位SDKもサポートしています。

NVIDIA JetsonにJetPackを書き込む#

NVIDIA Jetsonデバイスを入手した後の最初の手順は、NVIDIA JetPackをデバイスに書き込むことです。NVIDIA Jetsonデバイスを書き込む方法はいくつかあります。

1. 公式Jetson AGX Thor、AGX Orin、またはOrin Nano Developer KitでJetPack 7.2を使用する場合は、統合Jetson ISOをダウンロードしてUSBフラッシュドライブに書き込み、AGX Thor、AGX Orin、またはOrin Nanoのデバイス別クイックスタートに従ってください。JetPack 7.2以降、Orin Nanoではダウンロード可能なSDカードイメージを使用しなくなりました。ISOを使用したUSBインストールにより、Jetson LinuxがデバイスのmicroSDカードまたはNVMe SSDにインストールされます。
2. Jetson Orin Nano Developer KitでJetPack 6を意図的に使用する場合は、NVIDIAのJetPack 6.xアップデートおよびSDカードの手順に従ってください。
3. その他のNVIDIA Development Kitをお持ちの場合は、SDK Managerを使用してデバイスにJetPackを書き込むことができます。
4. Seeed Studio reComputer J4012をお持ちの場合は、付属のSSDにJetPackを書き込むことができます。また、Seeed Studio reComputer J1020 v2をお持ちの場合は、eMMC/ SSDにJetPackを書き込むことができます。
5. NVIDIA Jetsonモジュールを搭載したその他のサードパーティ製デバイスをお持ちの場合は、コマンドラインでの書き込みを推奨します。

Jetsonデバイス別JetPackサポート#

以下の表は、各NVIDIA JetsonデバイスでサポートされるNVIDIA JetPackのバージョンを示しています。

Dockerでクイックスタート#

NVIDIA JetsonでUltralytics YOLO26を最も手早く使い始めるには、Jetson用のビルド済みDockerイメージを実行します。上の表を参照し、お使いのJetsonデバイスに応じたJetPackバージョンを選択してください。

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

JetPack 4、5、6のイメージについては、引き続きNVIDIA JetsonでTensorRTを使用するをご覧ください。上記のJetPack 7.1イメージはPyTorchワークロード専用です。

ネイティブインストールを開始する#

Dockerを使用せずにネイティブインストールする場合は、以下の手順を参照してください。

JetPack 7.2で実行する#

Ultralyticsパッケージをインストールする#

ここではJetsonにUltralyticsパッケージをインストールします。エクスポート用の依存関係は、モデルを初めてエクスポートするときに自動的にインストールされるため、ここでは基本パッケージのみが必要です。Jetsonデバイスの性能を最大限に引き出すため、主にNVIDIA TensorRTへのエクスポートに焦点を当てます。

1. パッケージリストを更新し、pipをインストールして最新バージョンにアップグレードする

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. ultralytics pipパッケージをインストールする

   pip install ultralytics

3. デバイスを再起動する

   sudo reboot

PyTorchとTorchvisionをインストールする#

上記のUltralyticsのインストールではTorchとTorchvisionがインストールされます。ただし、pip経由でインストールされたこの2つのパッケージは、CUDA 13を搭載したJetPack 7.2デバイスでは動作しません。そのため、手動でインストールする必要があります。

JP7.2に応じてtorchとtorchvisionをインストールする

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

onnxruntime-gpuをインストールする#

お使いのJetPack、Python、CUDAのバージョンに合ったONNX Runtime GPUホイールを使用してください。現在のPyPIリリースにはARM64ホイールが含まれていますが、JetPackの各リリースに対応するデバイス固有のパッケージの代わりにはなりません。

ここでは、Python3.12のサポート付きでonnxruntime-gpu 1.24.0をダウンロードしてインストールします。

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

JetPack 6.1で実行する#

Ultralyticsパッケージをインストールする#

ここではJetsonにUltralyticsパッケージをインストールします。エクスポート用の依存関係は、モデルを初めてエクスポートするときに自動的にインストールされるため、ここでは基本パッケージのみが必要です。Jetsonデバイスの性能を最大限に引き出すため、主にNVIDIA TensorRTへのエクスポートに焦点を当てます。

1. パッケージリストを更新し、pipをインストールして最新バージョンにアップグレードする

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. ultralytics pipパッケージをインストールする

   pip install ultralytics

3. デバイスを再起動する

   sudo reboot

PyTorchとTorchvisionをインストールする#

上記のUltralyticsのインストールではTorchとTorchvisionがインストールされます。ただし、pip経由でインストールされたこの2つのパッケージは、ARM64アーキテクチャに基づくJetsonプラットフォームと互換性がありません。そのため、ビルド済みのPyTorch pipホイールを手動でインストールし、Torchvisionをソースからビルドするかインストールする必要があります。

JP6.1に応じてtorch 2.10.0とtorchvision 0.25.0をインストールする

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.10.0-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.25.0-cp310-cp310-linux_aarch64.whl

torch 2.10.0との依存関係の問題を修正するには、cuDSSをインストールしてください。

wget https://developer.download.nvidia.com/compute/cudss/0.7.1/local_installers/cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo dpkg -i cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo cp /var/cudss-local-tegra-repo-ubuntu2204-0.7.1/cudss-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cudss

onnxruntime-gpuをインストールする#

お使いのJetPack、Python、CUDAのバージョンに合ったONNX Runtime GPUホイールを使用してください。現在のPyPIリリースにはARM64ホイールが含まれていますが、JetPackの各リリースに対応するデバイス固有のパッケージの代わりにはなりません。

利用可能なonnxruntime-gpuパッケージは、JetPackバージョン、Pythonバージョン、その他の互換性情報別に整理されたJetson Zoo ONNX Runtime互換性マトリックスで確認できます。

Python 3.10をサポートするJetPack 6の場合、onnxruntime-gpu 1.23.0をインストールできます。

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.23.0-cp310-cp310-linux_aarch64.whl

または、onnxruntime-gpu 1.20.0の場合は次のようにします。

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

JetPack 5.1.2で実行する#

Ultralyticsパッケージをインストールする#

ここではJetsonにUltralyticsパッケージをインストールします。エクスポート用の依存関係は、モデルを初めてエクスポートするときに自動的にインストールされるため、ここでは基本パッケージのみが必要です。Jetsonデバイスの性能を最大限に引き出すため、主にNVIDIA TensorRTへのエクスポートに焦点を当てます。

1. パッケージリストを更新し、pipをインストールして最新バージョンにアップグレードする

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. ultralytics pipパッケージをインストールする

   pip install ultralytics

3. デバイスを再起動する

   sudo reboot

PyTorchとTorchvisionをインストールする#

上記のUltralyticsのインストールではTorchとTorchvisionがインストールされます。ただし、pip経由でインストールされたこの2つのパッケージは、ARM64アーキテクチャに基づくJetsonプラットフォームと互換性がありません。そのため、ビルド済みのPyTorch pipホイールを手動でインストールし、Torchvisionをソースからビルドするかインストールする必要があります。

1. 現在インストールされているPyTorchとTorchvisionをアンインストールする

   pip uninstall torch torchvision

2. JP5.1.2に応じてtorch 2.1.0とtorchvision 0.16.2をインストールする

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.16.2+c6f3977-cp38-cp38-linux_aarch64.whl

onnxruntime-gpuをインストールする#

お使いのJetPack、Python、CUDAのバージョンに合ったONNX Runtime GPUホイールを使用してください。現在のPyPIリリースにはARM64ホイールが含まれていますが、JetPackの各リリースに対応するデバイス固有のパッケージの代わりにはなりません。

利用可能なonnxruntime-gpuパッケージは、JetPackバージョン、Pythonバージョン、その他の互換性情報別に整理されたJetson Zoo ONNX Runtime互換性マトリックスで確認できます。ここでは、Python3.8のサポート付きでonnxruntime-gpu 1.17.0をダウンロードしてインストールします。

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

NVIDIA JetsonでTensorRTを使用する#

Ultralyticsがサポートするモデルのエクスポート形式の中で、TensorRTはNVIDIA Jetsonデバイスで最も高い推論性能を発揮するため、Jetsonへのデプロイでは最も推奨される形式です。エクスポートする前に、お使いのJetPackリリースに付属するTensorRT Pythonバインディングをインストールし、python3 -c "import tensorrt; print(tensorrt.__version__)"で動作を確認してください。JetPack 6/7では、サポート対象のTensorRT 10.xランタイムを使用してください。TensorRT 11.2.1に置き換えないでください。セットアップ手順と高度な使用方法については、TensorRT専用の統合ガイドをご覧ください。

ビルド環境をローカルで構成せずに、ブラウザーからエクスポートすることもできます。Ultralytics PlatformのモデルエクスポートタブでTensorRTと対象のJetsonを選択してください。Thorの選択肢は、実機のThorハードウェアで検証されています。Orinの6つの選択肢では、現在AGX-Orin上でビルドされた候補エンジンが生成されます。デプロイする前に、対象のOrin SKUで検証してください。

モデルをTensorRTに変換して推論を実行する#

PyTorch形式のYOLO26nモデルをTensorRTに変換し、エクスポートしたモデルで推論を実行します。

from ultralytics import YOLO

# YOLO26n PyTorchモデルを読み込む
model = YOLO("yolo26n.pt")

# モデルをTensorRTにエクスポートする
model.export(format="engine")  # 'yolo26n.engine'を作成します

# エクスポートしたTensorRTモデルを読み込む
trt_model = YOLO("yolo26n.engine")

# 推論を実行
results = trt_model("https://ultralytics.com/images/bus.jpg")

NVIDIA Deep Learning Accelerator（DLA）を使用する#

NVIDIA Deep Learning Accelerator（DLA）は、NVIDIA Jetsonデバイスに組み込まれた専用ハードウェアコンポーネントであり、電力効率と性能を高めるためにディープラーニング推論を最適化します。GPUから処理をオフロードして、より負荷の高い処理にGPUを使用できるようにすることで、DLAは高いスループットを維持しながらモデルの消費電力を抑えます。そのため、組み込みシステムやリアルタイムAIアプリケーションに最適です。

以下のJetsonデバイスにはDLAハードウェアが搭載されています。

from ultralytics import YOLO

# YOLO26n PyTorchモデルを読み込む
model = YOLO("yolo26n.pt")

# DLAを有効にしてモデルをTensorRTにエクスポートする（FP16またはINT8でのみ動作）
model.export(format="engine", device="dla:0", quantize=16)  # dla:0またはdla:1はDLAコアに対応します

# エクスポートしたTensorRTモデルを読み込む
trt_model = YOLO("yolo26n.engine")

# 推論を実行
results = trt_model("https://ultralytics.com/images/bus.jpg")

NVIDIA JetsonでのYOLO26ベンチマーク#

Ultralyticsチームは、11種類のモデル形式を対象に速度と精度を測定するYOLO26ベンチマークを実施しました。対象形式はPyTorch、TorchScript、ONNX、OpenVINO、TensorRT、TF SavedModel、TF GraphDef、TF Lite、MNN、NCNN、ExecuTorchです。ベンチマークは、NVIDIA Jetson AGX Thor Developer Kit、NVIDIA Jetson AGX Orin Developer Kit（64GB）、NVIDIA Jetson Orin Nano Super Developer Kit、およびJetson Orin NX 16GBを搭載したSeeed Studio reComputer J4012で、FP32精度、デフォルトの入力画像サイズ640で実施しました。

比較チャート#

すべてのモデルエクスポートはNVIDIA Jetsonで動作しますが、以下の比較チャートには、JetsonのGPUを活用し、最良の結果が得られることが保証されているPyTorch、TorchScript、TensorRTのみを掲載しています。それ以外のエクスポート形式はすべてCPUのみを使用するため、上記の3形式ほど高い性能は得られません。すべてのエクスポート形式のベンチマークは、このチャートの後のセクションで確認できます。

NVIDIA Jetson AGX Thor 開発者キット#

NVIDIA Jetson AGX Orin 開発者キット（64GB）#

NVIDIA Jetson Orin Nano Super 開発者キット#

NVIDIA Jetson Orin NX 16GB#

詳細な比較表#

以下の表は、5種類のモデル（YOLO26n、YOLO26s、YOLO26m、YOLO26l、YOLO26x）と11種類の形式（PyTorch、TorchScript、ONNX、OpenVINO、TensorRT、TF SavedModel、TF GraphDef、TF Lite、MNN、NCNN、ExecuTorch）のベンチマーク結果を示しています。各組み合わせのステータス、サイズ、mAP50-95(B)指標、推論時間を確認できます。

NVIDIA Jetson AGX Thor 開発者キット#

NVIDIA Jetson AGX Orin 開発者キット（64GB）#

NVIDIA Jetson Orin Nano Super 開発者キット#

NVIDIA Jetson Orin NX 16GB#

異なるバージョンのNVIDIA Jetsonハードウェアで実施されたSeeed Studioによるベンチマークの取り組みをさらに見る。

結果を再現する#

すべてのエクスポート形式で上記のUltralyticsベンチマークを再現するには、次のコードを実行してください。

from ultralytics import YOLO

# YOLO26n PyTorchモデルを読み込む
model = YOLO("yolo26n.pt")

# すべてのエクスポート形式でCOCO128データセットを使用してYOLO26nの速度と精度をベンチマークします
results = model.benchmark(data="coco128.yaml", imgsz=640)

NVIDIA Jetsonを使用する際のベストプラクティス#

NVIDIA JetsonでYOLO26を実行する際に最高のパフォーマンスを引き出すには、いくつかのベストプラクティスに従う必要があります。

1. MAX Power Modeを有効にする

   JetsonでMAX Power Modeを有効にすると、すべてのCPUコアとGPUコアがオンになります。

   sudo nvpmodel -m 0

2. Jetson Clocksを有効にする

   Jetson Clocksを有効にすると、すべてのCPUコアとGPUコアが最大周波数で動作します。

   sudo jetson_clocks

3. Jetson Statsアプリケーションをインストールする

   jetson statsアプリケーションを使用すると、システムコンポーネントの温度を監視したり、CPU、GPU、RAMの使用率の表示、電源モードの変更、クロックの最大値への設定、JetPack情報の確認など、システムの詳細を確認したりできます。

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop

NVIDIA Jetson向けメモリ最適化のヒント#

Jetsonデバイスでは、使用可能なメモリがボトルネックになることがよくあります。特に、Jetson Orin Nano（8 GB）やOrin NX 8 GBなど、メモリ容量の少ないモデルでは顕著です。以下のヒントは、実用的でリスクの低い変更であり、組み合わせることで数百メガバイトのメモリを解放し、より大きなYOLOモデルの実行や、追加の並列ワークロードのサポートが可能になります。詳しくは、Jetsonのメモリ効率を最大化する方法に関するNVIDIAのブログをご覧ください。

1. ヘッドレス（GUIなし）で起動する#

JetsonをSSH経由で接続している場合や、ディスプレイを接続せずに本番環境のアプライアンスとして実行している場合は、デスクトップ環境とディスプレイサーバーを無効にすることで、最大865 MBのRAMを回収できます。

sudo systemctl set-default multi-user.target
sudo reboot

後からデスクトップ環境を復元するには、次のコマンドを実行します。

sudo systemctl set-default graphical.target
sudo reboot

2. 使用していないシステムサービスを無効にする#

重要でないバックグラウンドサービス（Bluetooth、接続管理ツール、使用していないハードウェアデーモン）は、合計で約32 MBを消費します。実行中のサービスを一覧表示し、デプロイで必要のないものを無効にしてください。

# List running services
systemctl list-units --type=service --state=running

# Disable a service
sudo systemctl disable SERVICE_NAME

3. メモリ使用量をプロファイリングする#

最適化する前に、実際にどのプロセスがRAMを消費しているかを特定してください。procrankはプロセスをPSS（Proportional Set Size）順に並べ替えます。PSSは、他のプロセスと共有されるページを含む、プロセスにマッピングされた物理RAMページの合計であるRSS（Resident Set Size）よりも、プロセスごとの実際のメモリ使用量を正確に反映します。

git clone https://github.com/csimmonds/procrank_linux.git
cd procrank_linux && make
sudo ./procrank

プロセスごとのGPUおよびNvMap（CUDA／ビデオパイプライン）の割り当てを確認するには、次のコマンドを実行します。

sudo cat /sys/kernel/debug/nvmap/iovmm/clients

4. 本番環境ではディスプレイなしで推論を実行する#

ライブプレビューが不要な推論パイプラインでは、ディスプレイ関連コンポーネント（Tiler、OSD、DisplaySink）を無効にすると、パイプラインだけで200 MB以上を節約できます。Ultralytics YOLOでは、ビューアーを非表示にし、代わりに結果をディスクに書き込みます。

from ultralytics import YOLO

model = YOLO("yolo26n.engine")

# show=Falseはディスプレイウィンドウを表示しないようにし、save=Trueは注釈付きの出力をディスクに書き込みます
results = model.predict(source="video.mp4", show=False, save=True)

累積効果#

これらの変更を組み合わせることは、メモリに制約のあるデバイスでTensorRT INT8モデルを使用する場合に特に効果的です。より大きなモデルをメモリに収められるかどうかを左右することがあります。

次のステップ#

詳しい情報やサポートについては、Ultralytics YOLO26ドキュメントをご覧ください。

よくある質問#