YOLO Vision 2026:

クイックスタートガイド: NVIDIA JetsonとUltralytics YOLO26#

この包括的なガイドでは、NVIDIA Jetson デバイスに Ultralytics YOLO26 をデプロイするための詳細な手順を解説します。さらに、こうした小型で強力なデバイスにおける YOLO26 のパフォーマンスを示すベンチマークも紹介します。

新製品のサポート

このガイドは、最大 2070 FP4 TFLOPS の AI コンピューティング性能と 128 GB のメモリを備え、40 W から 130 W の間で電力を調整できる最新の NVIDIA Jetson AGX Thor Developer Kit に対応して更新されました。NVIDIA Jetson AGX Orin と比較して 7.5 倍以上の AI 演算性能を実現し、3.5 倍優れた電力効率で最も人気の高い AI モデルをスムーズに実行できます。



Watch: How to use Ultralytics YOLO26 on NVIDIA Jetson Devices
NVIDIA Jetson Ecosystem
注意

このガイドは、最新の安定版 JetPack 7.2 を実行する NVIDIA Jetson AGX Thor Developer Kit (Jetson T5000) および NVIDIA Jetson AGX Orin Developer Kit (64GB)JP6.1 の JetPack リリースを実行する NVIDIA Jetson Orin Nano Super Developer Kit、NVIDIA Jetson Orin NX 16GB をベースにし、JP6.0 / JP5.1.3 の JetPack リリースを実行する Seeed Studio reComputer J4012、および NVIDIA Jetson Nano 4GB をベースにし、JP4.6.1 の JetPack リリースを実行する Seeed Studio reComputer J1020 v2 でテストされています。最新およびレガシーデバイスを含む、すべての NVIDIA Jetson ハードウェアラインナップで動作することが期待されます。

NVIDIA Jetsonとは#

NVIDIA Jetson は、エッジデバイスにアクセラレーテッド AI(人工知能)コンピューティングをもたらすために設計された、組み込みコンピューティングボードのシリーズです。これらのコンパクトで強力なデバイスは NVIDIA の GPU アーキテクチャを基盤としており、クラウドコンピューティングのリソースに依存することなく、複雑な AI アルゴリズムやディープラーニングモデルをデバイス上で直接実行できます。Jetson ボードは、低遅延かつ高効率でローカルに AI 推論を実行する必要があるロボティクス、自動運転車、産業用オートメーションなどのアプリケーションでよく使用されます。さらに、これらのボードは ARM64 アーキテクチャをベースにしており、従来の GPU コンピューティングデバイスと比較して低電力で動作します。

NVIDIA Jetsonシリーズの比較#

NVIDIA Jetson AGX Thor は、NVIDIA Blackwell アーキテクチャをベースにした NVIDIA Jetson ファミリーの最新世代であり、前世代と比較して大幅に向上した AI パフォーマンスを実現します。以下の表では、エコシステム内のいくつかの Jetson デバイスを比較しています。

Jetson AGX Thor(T5000)Jetson AGX Orin 64GBJetson Orin NX 16GBJetson Orin Nano SuperJetson AGX XavierJetson Xavier NXJetson Nano
AIパフォーマンス2070 TFLOPS275 TOPS100 TOPS67 TOPS32 TOPS21 TOPS472 GFLOPS
GPU96 Tensorコア搭載 2560コア NVIDIA BlackwellアーキテクチャGPU64 Tensorコア搭載 2048コア NVIDIA AmpereアーキテクチャGPU32 Tensorコア搭載 1024コア NVIDIA AmpereアーキテクチャGPU32 Tensorコア搭載 1024コア NVIDIA AmpereアーキテクチャGPU64 Tensorコア搭載 512コア NVIDIA VoltaアーキテクチャGPU48 Tensorコア搭載 384コア NVIDIA Volta™アーキテクチャGPU128コア NVIDIA Maxwell™アーキテクチャGPU
GPU最大周波数1.57 GHz1.3 GHz918 MHz1020 MHz1377 MHz1100 MHz921MHz
CPU14コア Arm® Neoverse®-V3AE 64ビット CPU 1MB L2 + 16MB L312コア NVIDIA Arm® Cortex A78AE v8.2 64ビット CPU 3MB L2 + 6MB L38コア NVIDIA Arm® Cortex A78AE v8.2 64ビット CPU 2MB L2 + 4MB L36コア Arm® Cortex®-A78AE v8.2 64ビット CPU 1.5MB L2 + 4MB L38コア NVIDIA Carmel Arm®v8.2 64ビット CPU 8MB L2 + 4MB L36コア NVIDIA Carmel Arm®v8.2 64ビット CPU 6MB L2 + 4MB L3クアッドコア Arm® Cortex®-A57 MPCoreプロセッサ
CPU最大周波数2.6 GHz2.2 GHz2.0 GHz1.7 GHz2.2 GHz1.9 GHz1.43GHz
メモリ128GB 256ビット LPDDR5X 273GB/s64GB 256ビット LPDDR5 204.8GB/s16GB 128ビット LPDDR5 102.4GB/s8GB 128ビット LPDDR5 102 GB/s32GB 256ビット LPDDR4x 136.5GB/s8GB 128ビット LPDDR4x 59.7GB/s4GB 64ビット LPDDR4 25.6GB/s

より詳細な比較表については、公式 NVIDIA Jetson ページCompare Specifications セクションをご覧ください。

NVIDIA JetPackとは#

Jetson モジュールを動かす NVIDIA JetPack SDK は、エンドツーエンドのアクセラレーテッド AI アプリケーションを構築するための包括的な開発環境を提供し、市場投入までの時間を短縮する最も包括的なソリューションです。JetPack には、ブートローダー付きの Jetson Linux、Linux カーネル、Ubuntu デスクトップ環境、および GPU コンピューティング、マルチメディア、グラフィックス、コンピュータビジョンを高速化するための完全なライブラリセットが含まれています。また、ホスト コンピューターと開発者キットの両方に対応するサンプル、ドキュメント、開発者ツールも含まれており、ストリーミング ビデオ分析用の DeepStream、ロボティクス用の Isaac、会話型 AI 用の Riva などの上位レイヤーの SDK をサポートしています。

JetPackをNVIDIA Jetsonにフラッシュする#

NVIDIA Jetsonデバイスを入手した後の最初のステップは、NVIDIA JetPackをデバイスにフラッシュすることです。NVIDIA Jetsonデバイスをフラッシュするには、いくつかの異なる方法があります。

  1. 公式の Jetson AGX Thor、AGX Orin、または Orin Nano 開発者キットで JetPack 7.2 を使用するには、統合 Jetson ISO をダウンロードして USB フラッシュ ドライブに書き込み、AGX ThorAGX Orin、または Orin Nano のデバイス固有のクイックスタートに従ってください。JetPack 7.2 以降、Orin Nano はダウンロード可能な SD カード イメージを使用しなくなり、ISO USB によって Jetson Linux がデバイスの microSD カードまたは NVMe SSD にインストールされます。
  2. Jetson Orin Nano 開発者キットで意図的に JetPack 6 を使用する場合は、NVIDIA の JetPack 6.x のアップデートおよび SD カード手順に従ってください。
  3. 他の NVIDIA 開発キットをお持ちの場合は、SDK Manager を使用して Jetson に JetPack をフラッシュできます。
  4. Seeed Studio reComputer J4012 デバイスをお持ちの場合は、付属の SSD に JetPack をフラッシュでき、Seeed Studio reComputer J1020 v2 デバイスをお持ちの場合は、eMMC / SSD に JetPack をフラッシュできます。
  5. NVIDIA Jetson モジュールを搭載したその他のサードパーティ製デバイスをお持ちの場合は、コマンドラインでのフラッシュを行うことをお勧めします。
注意

上記のメソッド1、4、および5の場合、システムをフラッシュしてデバイスを起動した後、デバイスのターミナルで「sudo apt update && sudo apt install nvidia-jetpack -y」を入力し、必要な残りのJetPackコンポーネントすべてをインストールしてください。

Jetsonデバイス別のJetPackサポート#

下の表は、異なるNVIDIA JetsonデバイスでサポートされているNVIDIA JetPackバージョンを強調しています。

JetPack 4JetPack 5JetPack 6JetPack 7
Jetson Nano
Jetson TX2
Jetson Xavier NX
Jetson AGX Xavier
Jetson AGX Orin
Jetson Orin NX
Jetson Orin Nano
Jetson AGX Thor

Dockerでのクイックスタート#

NVIDIA JetsonでUltralytics YOLO26を使い始める最も速い方法は、Jetson用ビルド済みDockerイメージを実行することです。上記の表を参照し、お使いのJetsonデバイスに合わせてJetPackバージョンを選択してください。

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t
JetPack 7 Dockerスコープ

パブリックな latest-nvidia-arm64 イメージは現在、JetPack 7.0 Thor/DGX Spark のパスのみをサポートしています。Thor または Orin で JetPack 7.2 を使用する場合は、パブリック イメージがそれらの組み合わせに対して明示的に検証および更新されるまで、以下のネイティブ インストールを使用してください。

これが完了したら、NVIDIA Jetson で TensorRT を使用するセクションに進んでください。

ネイティブインストールで開始する#

Dockerを使用しないネイティブインストールについては、以下の手順を参照してください。

JetPack 7.2での実行#

Ultralyticsパッケージをインストールする#

ここでは、PyTorch モデルを他のさまざまな形式にエクスポートできるように、オプショナル依存関係を指定して Jetson に Ultralytics パッケージをインストールします。TensorRT を使用することで Jetson デバイスのパフォーマンスを最大限に引き出すことができるため、ここでは NVIDIA TensorRT エクスポートを中心に説明します。

  1. パッケージリストを更新し、pipをインストールして最新版にアップグレードする

    sudo apt update
    sudo apt install python3-pip -y
    pip install -U pip
  2. オプショナル依存関係を指定して ultralytics pip パッケージをインストールする

    pip install ultralytics[export]
  3. デバイスを再起動する

    sudo reboot

PyTorchとTorchvisionをインストールする#

上記のUltralyticsインストールを実行すると、torchおよびtorchvisionがインストールされます。ただし、pip経由でインストールされたこれら2つのパッケージは、CUDA 13を搭載したJetPack 7.2デバイスでの実行には互換性がありません。そのため、手動でインストールする必要があります。

JP7.2 に従って torch および torchvision をインストールする

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

onnxruntime-gpu をインストールする#

PyPI でホストされている onnxruntime-gpu パッケージには、Jetson 用の aarch64 バイナリが含まれていません。そのため、このパッケージを手動でインストールする必要があります。このパッケージは、一部のエクスポートに必要です。

ここでは、Python3.12 のサポート付きで onnxruntime-gpu 1.24.0 をダウンロードしてインストールします。

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

JetPack 6.1上で実行#

Ultralyticsパッケージをインストールする#

ここでは、PyTorch モデルを他のさまざまな形式にエクスポートできるように、オプショナル依存関係を指定して Jetson に Ultralytics パッケージをインストールします。TensorRT を使用することで Jetson デバイスのパフォーマンスを最大限に引き出すことができるため、ここでは NVIDIA TensorRT エクスポートを中心に説明します。

  1. パッケージリストを更新し、pipをインストールして最新版にアップグレードする

    sudo apt update
    sudo apt install python3-pip -y
    pip install -U pip
  2. オプショナル依存関係を指定して ultralytics pip パッケージをインストールする

    pip install ultralytics[export]
  3. デバイスを再起動する

    sudo reboot

PyTorchとTorchvisionをインストールする#

上記のUltralyticsのインストールにより、TorchとTorchvisionがインストールされます。しかし、pip経由でインストールされるこれらのパッケージは、ARM64アーキテクチャに基づくJetsonプラットフォームと互換性がありません。そのため、手動でビルド済みのPyTorch pip wheelをインストールし、ソースからTorchvisionをコンパイルまたはインストールする必要があります。

JP6.1 に従って torch 2.10.0 および torchvision 0.25.0 をインストールする

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.10.0-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.25.0-cp310-cp310-linux_aarch64.whl
注意

さまざまな JetPack バージョンに対応するすべての PyTorch バージョンにアクセスするには、PyTorch for Jetson ページにアクセスしてください。PyTorch と Torchvision の互換性の詳細なリストについては、PyTorch と Torchvision の互換性ページをご覧ください。

torch 2.10.0 の依存関係の問題を解決するために、cuDSS をインストールします。

wget https://developer.download.nvidia.com/compute/cudss/0.7.1/local_installers/cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo dpkg -i cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo cp /var/cudss-local-tegra-repo-ubuntu2204-0.7.1/cudss-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cudss

onnxruntime-gpu をインストールする#

PyPI でホストされている onnxruntime-gpu パッケージには、Jetson 用の aarch64 バイナリが含まれていません。そのため、このパッケージを手動でインストールする必要があります。このパッケージは、一部のエクスポートに必要です。

JetPack のバージョン、Python のバージョン、その他の互換性の詳細ごとに整理された利用可能なすべての onnxruntime-gpu パッケージは、Jetson Zoo ONNX Runtime 互換性マトリックスで確認できます。

Python 3.10 をサポートする JetPack 6 の場合、onnxruntime-gpu 1.23.0 をインストールできます:

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.23.0-cp310-cp310-linux_aarch64.whl

または、onnxruntime-gpu 1.20.0 の場合:

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

JetPack 5.1.2上で実行#

Ultralyticsパッケージをインストールする#

ここでは、PyTorch モデルを他のさまざまな形式にエクスポートできるように、オプショナル依存関係を指定して Jetson に Ultralytics パッケージをインストールします。TensorRT を使用することで Jetson デバイスのパフォーマンスを最大限に引き出すことができるため、主に NVIDIA TensorRT エクスポートに焦点を当てます。

  1. パッケージリストを更新し、pipをインストールして最新版にアップグレードする

    sudo apt update
    sudo apt install python3-pip -y
    pip install -U pip
  2. オプショナル依存関係を指定して ultralytics pip パッケージをインストールする

    pip install ultralytics[export]
  3. デバイスを再起動する

    sudo reboot

PyTorchとTorchvisionをインストールする#

上記のUltralyticsのインストールにより、TorchとTorchvisionがインストールされます。しかし、pip経由でインストールされるこれらのパッケージは、ARM64アーキテクチャに基づくJetsonプラットフォームと互換性がありません。そのため、手動でビルド済みのPyTorch pip wheelをインストールし、ソースからTorchvisionをコンパイルまたはインストールする必要があります。

  1. 現在インストールされているPyTorchとTorchvisionをアンインストールします。

    pip uninstall torch torchvision
  2. JP5.1.2 に従って torch 2.1.0 および torchvision 0.16.2 をインストールする

    pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
    pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.16.2+c6f3977-cp38-cp38-linux_aarch64.whl
注意

さまざまな JetPack バージョンに対応するすべての PyTorch バージョンにアクセスするには、PyTorch for Jetson ページにアクセスしてください。PyTorch と Torchvision の互換性の詳細なリストについては、PyTorch と Torchvision の互換性ページをご覧ください。

onnxruntime-gpu をインストールする#

PyPI でホストされている onnxruntime-gpu パッケージには、Jetson 用の aarch64 バイナリが含まれていません。そのため、このパッケージを手動でインストールする必要があります。このパッケージは、一部のエクスポートに必要です。

JetPack バージョン、Python バージョン、およびその他の互換性の詳細によって整理された利用可能なすべての onnxruntime-gpu パッケージは、Jetson Zoo ONNX Runtime compatibility matrix で確認できます。ここでは、Python3.8 のサポート付きで onnxruntime-gpu 1.17.0 をダウンロードしてインストールします。

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
注意

onnxruntime-gpu は NumPy のバージョンを自動的に最新バージョンに戻します。そのため、問題を解決するために次のコマンドを実行して NumPy を 1.23.5 に再インストールする必要があります:

pip install numpy==1.23.5

NVIDIA JetsonでTensorRTを使用する#

Ultralytics がサポートするすべてのモデルのエクスポート形式の中で、TensorRT は NVIDIA Jetson デバイス上で最高の推論パフォーマンスを発揮するため、Jetson へのデプロイメントに最もおすすめの形式となっています。セットアップ手順と高度な使用方法については、専用の TensorRT 統合ガイドをご覧ください。

また、ビルド環境をローカルで構成せずにブラウザからエクスポートすることも可能です。Ultralytics プラットフォームのモデルエクスポートタブで、TensorRT と目的の Jetson ターゲットを選択します。Thor の選択内容は、物理的な Thor ハードウェアで検証されています。6 つの Orin の選択肢は現在 AGX-Orin ビルドの候補エンジンを生成します。デプロイ前に目的の Orin SKU で検証してください。

TensorRTエンジンはデバイス固有です

TensorRTはビルド時に使用されたGPU上でエンジンをプロファイルおよび調整します。ターゲットのGPUアーキテクチャとTensorRT/CUDAランタイムを一致させ、ダウンロードしたすべてのエンジンをデプロイ先デバイスで検証してください。同じアーキテクチャのOrin SKUであっても移植性が自動的に保証されるわけではありません。また、INT8キャリブレーションの最良の結果を得るには、ターゲットデバイスを使用する必要があります。

モデルをTensorRTに変換し、推論を実行する#

PyTorch形式のYOLO26nモデルをTensorRTに変換し、エクスポートされたモデルで推論を実行します。

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo26n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")
注意

モデルをさまざまなモデル形式にエクスポートする際に追加の引数を利用するには、エクスポートページにアクセスしてください。

NVIDIA Deep Learning Accelerator (DLA) を使用する#

NVIDIA Deep Learning Accelerator (DLA) は、NVIDIA Jetson デバイスに組み込まれた専用のハードウェアコンポーネントであり、エネルギー効率とパフォーマンスのためにディープラーニング推論を最適化します。GPU からタスクをオフロードしてより集約的なプロセスのために解放することにより、DLA は高スループットを維持しながら低電力消費でモデルを実行できるようにします。これは組み込みシステムやリアルタイム AI アプリケーションに最適です。

TensorRT 11.0およびDLA

DLAはTensorRT 11.0でサポートされておらず、後のリリースで復活する予定であるため、DLAエクスポートにはTensorRT 10.xが必要です。JetPack 6.x/7.xでは、DLAを使用するためにTensorRT 10.xビルドでエクスポートするか、TensorRT 11.0エンジン用にGPUを使用してください。

以下のJetsonデバイスにはDLAハードウェアが搭載されています。

JetsonデバイスDLAコアDLA最大周波数
Jetson AGX Orinシリーズ21.6 GHz
Jetson Orin NX 16GB2614 MHz
Jetson Orin NX 8GB1614 MHz
Jetson AGX Xavierシリーズ21.4 GHz
Jetson Xavier NXシリーズ21.1 GHz
from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", quantize=16)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")
注意

DLAエクスポートを使用する場合、一部のレイヤーはDLAでの実行がサポートされておらず、実行のためにGPUへフォールバックする可能性があります。このフォールバックにより、追加の遅延が発生し、全体の推論パフォーマンスに影響を与える可能性があります。したがって、DLAは、GPUで完全に実行されるTensorRTと比較して推論の遅延を短縮することを主目的として設計されているわけではありません。その代わり、スループットを高め、エネルギー効率を向上させることが主な目的です。

NVIDIA Jetson YOLO11 / YOLO26 ベンチマーク#

YOLO11/ YOLO26 のベンチマークは、Ultralytics チームによって 11 種類のモデル形式で実行され、速度と精度が測定されました。PyTorch、TorchScript、ONNX、OpenVINO、TensorRT、TF SavedModel、TF GraphDef、TF Lite、MNN、NCNN、ExecuTorch が含まれます。ベンチマークは、NVIDIA Jetson AGX Thor Developer Kit、NVIDIA Jetson AGX Orin Developer Kit (64GB)、NVIDIA Jetson Orin Nano Super Developer Kit、および Jetson Orin NX 16GB デバイスを搭載した Seeed Studio reComputer J4012 で、デフォルトの入力画像サイズ 640、FP32 精度で実行されました。

比較チャート#

すべてのモデルエクスポートがNVIDIA Jetsonで動作しますが、以下の比較チャートにはPyTorch、TorchScript、TensorRTのみを含めています。これらはJetson上のGPUを活用し、最良の結果を出すことが保証されているためです。その他のエクスポートはすべてCPUのみを利用するため、上記3つほどのパフォーマンスは得られません。すべてのエクスポートのベンチマークは、このチャートの後のセクションで確認できます。

NVIDIA Jetson AGX Thor Developer Kit#

Jetson AGX Thor Benchmarks
Benchmarked with Ultralytics 8.3.226

NVIDIA Jetson AGX Orin Developer Kit (64GB)#

Jetson AGX Orin Benchmarks
Benchmarked with Ultralytics 8.4.32

NVIDIA Jetson Orin Nano Super Developer Kit#

Jetson Orin Nano Super Benchmarks
Benchmarked with Ultralytics 8.4.33

NVIDIA Jetson Orin NX 16GB#

Jetson Orin NX 16GB Benchmarks
Benchmarked with Ultralytics 8.4.33

詳細な比較表#

以下の表は、11種類の形式(PyTorch、TorchScript、ONNX、OpenVINO、TensorRT、TF SavedModel、TF GraphDef、TF Lite、MNN、NCNN、ExecuTorch)にわたる5つの異なるモデル(YOLO11n、YOLO11s、YOLO11m、YOLO11l、YOLO11x)のベンチマーク結果を示しており、各組み合わせのステータス、サイズ、mAP50-95(B)指標、および推論時間を提供します。

NVIDIA Jetson AGX Thor Developer Kit#

性能
形式ステータスディスクサイズ (MB)mAP50-95(B)推論時間 (ms/im)
PyTorch5.30.47987.39
TorchScript9.80.47894.21
ONNX9.50.47676.58
OpenVINO10.10.479417.50
TensorRT (FP32)13.90.47911.90
TensorRT (FP16)7.60.47971.39
TensorRT (INT8)6.50.42731.52
TF SavedModel25.70.476447.24
TF GraphDef9.50.476445.98
TF Lite9.90.4764182.04
MNN9.40.478421.83

Ultralytics 8.4.7 でベンチマークを実施

注意

推論時間には前処理・後処理は含まれていません。

NVIDIA Jetson AGX Orin Developer Kit (64GB)#

性能
形式ステータスディスクサイズ (MB)mAP50-95(B)推論時間 (ms/im)
PyTorch5.30.479011.58
TorchScript9.80.47704.60
ONNX9.50.47709.87
OpenVINO9.60.482028.80
TensorRT (FP32)11.50.04504.18
TensorRT (FP16)7.90.04502.62
TensorRT (INT8)5.40.46402.30
TF SavedModel24.60.476071.10
TF GraphDef9.50.476070.02
TF Lite9.90.4760227.94
MNN9.40.476032.46
NCNN9.30.481029.93

Ultralytics 8.4.32 でベンチマークを実施

注意

推論時間には前処理・後処理は含まれていません。

NVIDIA Jetson Orin Nano Super Developer Kit#

性能
形式ステータスディスクサイズ (MB)mAP50-95(B)推論時間 (ms/im)
PyTorch5.30.479015.60
TorchScript9.80.477012.60
ONNX9.50.476015.76
OpenVINO9.60.482056.23
TensorRT (FP32)11.30.47707.53
TensorRT (FP16)8.10.48004.57
TensorRT (INT8)5.30.44903.80
TF SavedModel24.60.4760118.33
TF GraphDef9.50.4760116.30
TF Lite9.90.4760286.00
MNN9.40.476068.77
NCNN9.30.481047.50

Ultralytics 8.4.33でベンチマークを実施

注意

推論時間には前処理・後処理は含まれていません。

NVIDIA Jetson Orin NX 16GB#

性能
形式ステータスディスクサイズ (MB)mAP50-95(B)推論時間 (ms/im)
PyTorch5.30.479913.90
TorchScript9.80.478711.60
ONNX9.50.476314.18
OpenVINO9.60.481940.19
TensorRT (FP32)11.40.47707.01
TensorRT (FP16)8.00.47894.13
TensorRT (INT8)5.50.44893.49
TF SavedModel24.60.476492.34
TF GraphDef9.50.476492.06
TF Lite9.90.4764254.43
MNN9.40.476048.55
NCNN9.30.480534.31

Ultralytics 8.4.33でベンチマークを実施

注意

推論時間には前処理・後処理は含まれていません。

さまざまなバージョンの NVIDIA Jetson ハードウェアで実行される Seeed Studio によるその他のベンチマークの取り組みを探索する

結果の再現#

すべてのエクスポート形式で上記の Ultralytics ベンチマークを再現するには、次のコードを実行します:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

ベンチマークの結果は、システムの正確なハードウェアおよびソフトウェアの構成、ならびにベンチマーク実行時のシステムの現在の負荷によって異なる場合があることに注意してください。最も信頼性の高い結果を得るには、data='coco.yaml'(5000 の検証用画像)など、多数の画像を含むデータセットを使用してください。

NVIDIA Jetson使用時のベストプラクティス#

NVIDIA Jetsonを使用する際、YOLO26を実行するNVIDIA Jetsonで最大限のパフォーマンスを引き出すために守るべきベストプラクティスがいくつかあります。

  1. MAXパワーモードを有効にする

    JetsonでMAXパワーモードを有効にすることで、すべてのCPUおよびGPUコアが確実にオンになります。

    sudo nvpmodel -m 0
  2. Jetsonクロックを有効にする

    Jetsonクロックを有効にすることで、すべてのCPUおよびGPUコアが最大周波数で動作するようになります。

    sudo jetson_clocks
  3. jetson-statsアプリケーションのインストール

    jetson-statsアプリケーションを使用すると、システムコンポーネントの温度監視、CPU・GPU・RAM使用率の確認、パワーモードの変更、最大クロックの設定、JetPack情報の確認など、その他のシステム詳細を確認できます。

    sudo apt update
    sudo pip install jetson-stats
    sudo reboot
    jtop
Jetson Stats

NVIDIA Jetsonのメモリ最適化のヒント#

利用可能なメモリは、Jetson デバイス、特に Jetson Orin Nano (8 GB) や Orin NX 8 GB などの低メモリバリアントにおいて制限要因になることがよくあります。以下のヒントは、実践的でリスクの低い変更であり、総合的に数百メガバイトを解放して、より大きな YOLO モデルの実行や追加の並列ワークロードのサポートを可能にします。詳細な解説については、Jetson でのメモリ効率を最大化する NVIDIA のブログをご覧ください。

ヘッドレス(GUIなし)ブートへの切り替え#

JetsonをSSH経由で接続している場合、またはディスプレイを接続せずに製品用アプライアンスとして実行している場合、デスクトップ環境とディスプレイサーバーを削除することで、最大865 MBのRAMを回復できます。

sudo systemctl set-default multi-user.target
sudo reboot

後でデスクトップを復元するには:

sudo systemctl set-default graphical.target
sudo reboot

使用されていないシステムサービスの無効化#

不要なバックグラウンドサービス(Bluetooth、接続マネージャー、使用されていないハードウェアデーモン)は、合計で約32 MBを消費します。アクティブなサービスをリストアップし、デプロイメントに不要なものを無効にしてください。

# List running services
systemctl list-units --type=service --state=running

# Disable a service
sudo systemctl disable SERVICE_NAME

メモリ使用量のプロファイリング#

最適化を行う前に、実際にどのプロセスが RAM を消費しているかを特定します。procrank はプロセスを PSS (Proportional Set Size: プロショナル セット サイズ)順にソートします。これは、プロセスが他のプロセスと共有しているページを含みプロセスによってマップされた物理 RAM ページの合計である RSS (Resident Set Size: 常駐セット サイズ)よりも正確に、プロセスごとの実際のメモリフットプリントを反映します:

git clone https://github.com/csimmonds/procrank_linux.git
cd procrank_linux && make
sudo ./procrank

プロセスごとのGPUおよびNvMap(CUDA/ビデオパイプライン)割り当てを確認するには:

sudo cat /sys/kernel/debug/nvmap/iovmm/clients

本番環境でのディスプレイなしの推論実行#

ライブプレビューを必要としない推論パイプラインの場合、ディスプレイ関連のコンポーネント(Tiler、OSD、DisplaySink)を無効にすることで、パイプライン単体で200 MB以上を節約できます。Ultralytics YOLOを使用する場合は、ビューアを抑制し、代わりに結果をディスクに書き込んでください。

from ultralytics import YOLO

model = YOLO("yolo11n.engine")

# show=False prevents any display window; save=True writes annotated output to disk
results = model.predict(source="video.mp4", show=False, save=True)

累積的な影響#

最適化節約される概算メモリ
デスクトップGUIの無効化~865 MB
未使用のOSサービスの無効化~32 MB
ヘッドレス推論パイプライン(ディスプレイなし)~200+ MB
合計(簡単に達成可能)~1 GB+

これらの変更を組み合わせることは、メモリ制限のあるデバイスでTensorRT INT8モデルをターゲットにする場合に特に有効です。これにより、より大きなモデルバリアントをメモリに収められるかどうかの差が生まれます。

次のステップ#

詳細な学習とサポートについては、Ultralytics YOLO26 ドキュメントをご覧ください。

よくある質問 (FAQ)#

NVIDIA JetsonデバイスにUltralytics YOLO26をデプロイするにはどうすればよいですか?#

NVIDIA Jetson デバイスへの Ultralytics YOLO26 のデプロイは簡単なプロセスです。まず、NVIDIA JetPack SDK を使用して Jetson デバイスをフラッシュします。次に、クイック セットアップ用の事前構築済み Docker イメージを使用するか、必要なパッケージを手動でインストールします。各アプローチの詳細な手順は、Docker によるクイックスタートおよびネイティブ インストールで始めるのセクションに記載されています。

NVIDIA JetsonデバイスでYOLO11モデルからどのようなパフォーマンスベンチマークが期待できますか?#

YOLO11 モデルはさまざまな NVIDIA Jetson デバイスでベンチマークされ、大幅なパフォーマンスの向上が示されています。たとえば、TensorRT 形式は最高の推論パフォーマンスを発揮します。詳細な比較表セクションの表には、mAP50-95 やさまざまなモデル形式にわたる推論時間などのパフォーマンス指標の包括的なビューが記載されています。

NVIDIA JetsonでYOLO26をデプロイする際にTensorRTを使用すべき理由は何ですか?#

TensorRT は、その最適なパフォーマンスにより、NVIDIA Jetson への YOLO26 モデルのデプロイに強く推奨されます。Jetson の GPU 機能を活用して推論を高速化し、効率と速度を最大化します。TensorRT への変換と推論の実行方法の詳細については、NVIDIA Jetson で TensorRT を使用するセクションをご覧ください。

NVIDIA JetsonにPyTorchとTorchvisionをインストールするにはどうすればよいですか?#

NVIDIA Jetson に PyTorch と Torchvision をインストールするには、まず pip を介してインストールされている既存のバージョンをアンインストールします。次に、Jetson の ARM64 アーキテクチャと互換性のある PyTorch および Torchvision のバージョンを手動でインストールします。このプロセスの詳細な手順は、PyTorch と Torchvision のインストールセクションに記載されています。

YOLO26を使用してNVIDIA Jetsonでパフォーマンスを最大化するためのベストプラクティスは何ですか?#

NVIDIA JetsonでYOLO26のパフォーマンスを最大化するには、以下のベストプラクティスに従ってください:

  1. MAX Power Modeを有効にして、すべてのCPUおよびGPUコアを活用します。
  2. Jetson Clocksを有効にして、すべてのコアを最大周波数で実行します。
  3. システムメトリクスを監視するためにJetson Statsアプリケーションをインストールします。

コマンドと詳細については、NVIDIA Jetson 使用時のベスト プラクティスセクションを参照してください。

より大きなYOLOモデルを実行するためにNVIDIA Jetsonのメモリを解放するにはどうすればよいですか?#

メモリ容量が少ないJetsonデバイスでは、利用可能なRAMがボトルネックになることがよくあります。合計で1 GB以上を回復できる、3つの簡単な改善策があります:

  1. ヘッドレス ブートに切り替えて (sudo systemctl set-default multi-user.target) デスクトップ GUI を排除する(~865 MB 節約)。
  2. 未使用のサービスを無効化します。例えば、Bluetoothや接続マネージャーなどです(約32 MBの節約)。
  3. YOLO の predict 呼び出しで show=False を設定してディスプレイなしで推論を実行することで、ディスプレイパイプラインのメモリの割り当てを回避できます(約 200MB 以上の節約)。

procrank を使用してプロセスごとの RAM 使用量をプロファイルし、sudo cat /sys/kernel/debug/nvmap/iovmm/clients を使用して GPU 割り当てを検査する。詳細については、メモリ最適化のヒントセクションをご覧ください。

JetPack 6でTensorRT INT8エクスポートを行うと、なぜend2endが無効になるのですか?#

JetPack 6 に付属する TensorRT 10.3.0 には、end2end=True が有効な場合に INT8 エンジンのビルドを妨げる既知の問題があります。Ultralytics がこの組み合わせを検出すると、エクスポートが確実に成功するように end2end ブランチが自動的に無効化されます。

end2endのINT8エクスポートを復元するには、TensorRTを新しいバージョン(例:10.7.0以降)にアップグレードしてください:

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/arm64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get install -y tensorrt

アップグレード後、エクスポートを再実行してください。詳細については、GitHub issue #23841 をご覧ください。

コメント