クイックスタートガイドNVIDIA Jetson withUltralytics YOLO11
この包括的なガイドでは、NVIDIA Jetson デバイス上にUltralytics YOLO11 をデプロイするための詳細なウォークスルーを提供します。さらに、これらの小型で強力なデバイス上のYOLO11 の機能を実証するために、性能ベンチマークを紹介しています。
新製品サポート
本ガイドは、最新のNVIDIA JetsonOrin Nano Super Developer Kitで更新されました。このキットは、最大67TOPSのAI性能を実現し、前モデルの1.7倍に向上しており、最も人気のあるAIモデルをシームレスに実行することができます。
見るんだ: NVIDIA Jetsonとセットアップする方法Ultralytics YOLO11
注
このガイドは、NVIDIA JetsonOrin Nano Super Developer Kitで最新の安定版JetPackリリースJP6.1を動作させ、NVIDIA Jetson Orin NX 16GBでJetPackリリースJP6.0/JetPackリリースJP5.1.3を動作させたSeeed Studio reComputer J4012、NVIDIA Jetson Nano 4GBでJetPackリリースJP4.6.1を動作させたSeeed Studio reComputer J1020 v2でテストされています。最新およびレガシーを含む、NVIDIA Jetsonハードウェアの全ラインナップで動作する見込みです。
NVIDIA ジェットソンとは?
NVIDIA Jetsonは、エッジデバイスにAI(人工知能)コンピューティングの高速化をもたらすよう設計された一連の組み込みコンピューティングボードである。これらのコンパクトで強力なデバイスは、NVIDIA のGPU アーキテクチャを中心に構築されており、クラウド・コンピューティング・リソースに依存することなく、デバイス上で複雑なAIアルゴリズムやディープラーニング・モデルを直接実行することができる。Jetsonボードは、ロボット工学、自律走行車、産業オートメーション、およびAI推論を低レイテンシかつ高効率でローカルに実行する必要があるその他のアプリケーションでよく使用される。さらに、これらのボードはARM64アーキテクチャをベースとしており、従来のGPU コンピューティング・デバイスと比較して低消費電力で動作する。
NVIDIA ジェットソンシリーズ比較
Jetson Orinは、NVIDIA Jetsonファミリーの最新版で、NVIDIA Ampereアーキテクチャをベースとしており、前世代と比較してAI性能が飛躍的に向上している。下の表は、エコシステム内のJetsonデバイスのいくつかを比較したものである。
Jetson AGX Orin 64GB | Jetson Orin NX 16GB | ジェットソン・オリン・ナノ・スーパー | ジェットソンAGXザビエル | ジェットソン・ザビエルNX | ジェットソン・ナノ | |
---|---|---|---|---|---|---|
AIパフォーマンス | 275 TOPS | 100 TOPS | 67のTOP | 32 TOPS | 21 トップス | 472 GFLOPS |
GPU | 2048 コアNVIDIA アンペア・アーキテクチャGPU 64Tensor コア搭載 | 1024コアNVIDIA AmpereアーキテクチャGPU 32Tensor コア搭載 | 1024コアNVIDIA AmpereアーキテクチャGPU 32Tensor コア搭載 | 512コアNVIDIA VoltaアーキテクチャGPU 64Tensor コア搭載 | 384 コアNVIDIA Volta™ アーキテクチャGPU 48Tensor コア搭載 | 128コアNVIDIA Maxwell™アーキテクチャGPU |
GPU 最大周波数 | 1.3 GHz | 918 MHz | 1020 MHz | 1377MHz | 1100 MHz | 921MHz |
CPU | 12コアNVIDIA Arm® Cortex A78AE v8.2 64ビットCPU 3MB L2 + 6MB L3 | 8コアNVIDIA Arm® Cortex A78AE v8.2 64ビットCPU 2MB L2 + 4MB L3 | 6コア Arm® Cortex®-A78AE v8.2 64ビットCPU 1.5MB L2 + 4MB L3 | 8コアNVIDIA Carmel Arm®v8.2 64ビットCPU 8MB L2 + 4MB L3 | 6コアNVIDIA Carmel Arm®v8.2 64ビットCPU 6MB L2 + 4MB L3 | クアッドコアArm® Cortex®-A57 MPCoreプロセッサ |
CPU 最大周波数 | 2.2 GHz | 2.0 GHz | 1.7 GHz | 2.2 GHz | 1.9 GHz | 1.43GHz |
メモリー | 64GB 256ビット LPDDR5 204.8GB/秒 | 16GB 128ビット LPDDR5 102.4GB/秒 | 8GB 128ビット LPDDR5 102GB/秒 | 32GB 256ビット LPDDR4x 136.5GB/秒 | 8GB 128ビット LPDDR4x 59.7GB/秒 | 4GB 64ビット LPDDR4 25.6GB/秒" |
より詳細な比較表については、 NVIDIA Jetson公式ページの 技術仕様セクションをご覧ください。
NVIDIA JetPackとは?
NVIDIA Jetsonモジュールを駆動する JetPack SDKは、最も包括的なソリューションであり、エンドツーエンドの高速化AIアプリケーションを構築するための完全な開発環境を提供し、市場投入までの時間を短縮します。JetPackには、ブートローダー、Linuxカーネル、Ubuntuデスクトップ環境を備えたJetson Linuxと、GPU コンピューティング、マルチメディア、グラフィックス、コンピュータ・ビジョンの高速化のためのライブラリ一式が含まれています。また、ホスト・コンピューターと開発者キットの両方に対応したサンプル、ドキュメント、開発者ツールも含まれており、ストリーミング・ビデオ解析用のDeepStream、ロボット工学用のIsaac、会話AI用のRivaなど、より高度なSDKもサポートしている。
NVIDIA JetsonへのFlash JetPack
NVIDIA Jetsonデバイスを手に入れた後の最初のステップは、NVIDIA JetPackをデバイスにフラッシュすることです。NVIDIA Jetsonデバイスをフラッシュする方法はいくつかあります。
- Jetson Orin Nano Developer Kitのような公式NVIDIA 開発キットをお持ちの場合は、イメージをダウンロードし、デバイスを起動するためにJetPackでSDカードを準備することができます。
- 他のNVIDIA 開発キットをお持ちの場合は、SDK Managerを使用してJetPackをデバイスにフラッシュすることができます。
- Seeed Studio reComputer J4012 デバイスをお持ちの場合、JetPack を付属の SSD にフラッシュすることができ、Seeed Studio reComputer J1020 v2 デバイスをお持ちの場合、JetPack を eMMC/ SSD にフラッシュすることができます。
- NVIDIA Jetsonモジュールで駆動する他のサードパーティ製デバイスを所有している場合は、コマンドラインのフラッシュに従うことを推奨する。
注
上記の3および4の方法については、システムをフラッシュしてデバイスを起動した後、デバイスのターミナルで "sudo apt update && sudo apt installnvidia-jetpack -y "を入力して、必要な残りのJetPackコンポーネントをすべてインストールしてください。
Jetsonデバイスに基づくJetPackサポート
以下の表は、NVIDIA JetPack のバージョンが、NVIDIA Jetson デバイスによってサポートされていることを示しています。
ジェットパック4 | ジェットパック5 | ジェットパック6 | |
---|---|---|---|
ジェットソン・ナノ | ✅ | ❌ | ❌ |
ジェットソンTX2 | ✅ | ❌ | ❌ |
ジェットソン・ザビエルNX | ✅ | ✅ | ❌ |
ジェットソンAGXザビエル | ✅ | ✅ | ❌ |
ジェットソン AGX オーリン | ❌ | ✅ | ✅ |
ジェットソン・オリンNX | ❌ | ✅ | ✅ |
ジェットソン・オリン・ナノ | ❌ | ✅ | ✅ |
Dockerのクイック・スタート
NVIDIA Jetson 上でUltralytics YOLO11 を使い始める最速の方法は、Jetson 用にビルド済みの docker イメージを使って実行することです。上の表を参照し、所有している Jetson デバイスに応じて JetPack のバージョンを選択してください。
これが終わったら、 NVIDIA JetsonでTensorRT 。
ネイティブ・インストールから始める
Dockerを使用しないネイティブ・インストールについては、以下の手順を参照してください。
JetPack 6.1での実行
Ultralytics パッケージのインストール
ここでは、Ultralytics パッケージを Jetson にインストールします。 PyTorchをインストールします。TensorRT は Jetson デバイスの性能を最大限に引き出せるようにするため、主にNVIDIA TensorRT の エクスポートに焦点を当てます。
-
パッケージリストの更新、pipのインストール、最新版へのアップグレード
-
インストール
ultralytics
pip パッケージと依存関係のあるオプション -
デバイスを再起動する
PyTorch とトーチビジョンのインストール
上記のultralytics をインストールすると、Torch と Torchvision がインストールされます。しかし、pip経由でインストールされたこれら2つのパッケージは、ARM64アーキテクチャをベースとするJetsonプラットフォーム上で動作する互換性がない。そのため、ビルド済みのPyTorch pip wheelを手動でインストールし、ソースからTorchvisionをコンパイル/インストールする必要がある。
インストール torch 2.5.0
そして torchvision 0.20
JP6.1による
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.5.0a0+872d972e41.nv24.08-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.20.0a0+afc54f7-cp310-cp310-linux_aarch64.whl
注
PyTorch for Jetsonのページで、異なるJetPackのバージョンに対応したPyTorch 。PyTorch, Torchvisionの互換性についての詳細なリストは、PyTorch and Torchvision compatibilityページをご覧ください。
インストール cuSPARSELt
との依存関係の問題を修正した。 torch 2.5.0
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/arm64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get -y install libcusparselt0 libcusparselt-dev
インストール onnxruntime-gpu
について オンヌクスランタイムgpu PyPIでホストされているパッケージには aarch64
バイナリをインストールする必要がある。そのため、このパッケージを手動でインストールする必要がある。このパッケージはいくつかのエクスポートに必要です。
すべて異なる onnxruntime-gpu
JetPack とPython の異なるバージョンに対応するパッケージがリストされている。 これ.しかし、ここでは onnxruntime-gpu 1.20.0
と Python3.10
をサポートしている。
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl
注
onnxruntime-gpu
は自動的にnumpyのバージョンを最新に戻します。そのため、numpyを再インストールする必要があります。 1.23.5
を実行して問題を解決する:
pip install numpy==1.23.5
JetPack 5.1.2での実行
Ultralytics パッケージのインストール
ここでは、Ultralytics パッケージを Jetson にインストールし、PyTorch モデルを他の異なるフォーマットにエクスポートできるように、オプションの依存関係を設定します。TensorRT はJetsonデバイスの性能を最大限に引き出せるようにするため、主にNVIDIA TensorRT の エクスポートに焦点を当てます。
-
パッケージリストの更新、pipのインストール、最新版へのアップグレード
-
インストール
ultralytics
pip パッケージと依存関係のあるオプション -
デバイスを再起動する
PyTorch とトーチビジョンのインストール
上記のultralytics をインストールすると、Torch と Torchvision がインストールされます。しかし、pip経由でインストールされたこれら2つのパッケージは、ARM64アーキテクチャをベースとするJetsonプラットフォーム上で動作する互換性がない。そのため、ビルド済みのPyTorch pip wheelを手動でインストールし、ソースからTorchvisionをコンパイル/インストールする必要がある。
-
現在インストールされているPyTorch と Torchvision をアンインストールする。
-
インストール
torch 2.2.0
そしてtorchvision 0.17.2
JP5.1.2による
注
PyTorch for Jetsonのページで、異なるJetPackのバージョンに対応したPyTorch 。PyTorch, Torchvisionの互換性についての詳細なリストは、PyTorch and Torchvision compatibilityページをご覧ください。
インストール onnxruntime-gpu
について オンヌクスランタイムgpu PyPIでホストされているパッケージには aarch64
バイナリをインストールする必要がある。そのため、このパッケージを手動でインストールする必要がある。このパッケージはいくつかのエクスポートに必要です。
すべて異なる onnxruntime-gpu
JetPack とPython の異なるバージョンに対応するパッケージがリストされている。 これ.しかし、ここでは onnxruntime-gpu 1.17.0
と Python3.8
をサポートしている。
wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
注
onnxruntime-gpu
は自動的にnumpyのバージョンを最新に戻します。そのため、numpyを再インストールする必要があります。 1.23.5
を実行して問題を解決する:
pip install numpy==1.23.5
NVIDIA JetsonでTensorRT 。
Ultralytics でサポートされているすべてのモデルエクスポートフォーマットのうち、TensorRT は、NVIDIA Jetsonデバイスで作業するときに最高の推論パフォーマンスを提供します。TensorRT をJetsonで使用することをお勧めします。また、TensorRT に関する詳細なドキュメントもこちらにあります。
モデルをTensorRT に変換し、推論を実行する。
PyTorch 形式のYOLO11nモデルは、エクスポートされたモデルで推論を実行するためにTensorRT 。
例
from ultralytics import YOLO
# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")
# Export the model to TensorRT
model.export(format="engine") # creates 'yolo11n.engine'
# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")
# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")
注
モデルを異なるモデル形式にエクスポートする際の追加引数については、エクスポートページをご覧ください。
NVIDIA ディープラーニングアクセラレータ(DLA)を使用する。
NVIDIA ディープラーニング・アクセラレータ(DLA)は、NVIDIA Jetsonデバイスに組み込まれた専用ハードウェア・コンポーネントで、エネルギー効率とパフォーマンスのためにディープラーニング推論を最適化する。DLAは、GPU からタスクをオフロードする(より集中的な処理のために解放する)ことで、組み込みシステムやリアルタイムAIアプリケーションに理想的な高いスループットを維持しながら、低消費電力でモデルを実行することを可能にします。
以下のJetsonデバイスはDLAハードウェアを搭載しています:
ジェットソン・デバイス | DLAコア | DLA 最大周波数 |
---|---|---|
ジェットソンAGXオリンシリーズ | 2 | 1.6 GHz |
Jetson Orin NX 16GB | 2 | 614 MHz |
Jetson Orin NX 8GB | 1 | 614 MHz |
ジェットソン AGX ザビエル・シリーズ | 2 | 1.4 GHz |
ジェットソン・ザビエルNXシリーズ | 2 | 1.1 GHz |
例
from ultralytics import YOLO
# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")
# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", half=True) # dla:0 or dla:1 corresponds to the DLA cores
# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")
# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")
# Export a YOLO11n PyTorch model to TensorRT format with DLA enabled (only works with FP16 or INT8)
# Once DLA core number is specified at export, it will use the same core at inference
yolo export model=yolo11n.pt format=engine device="dla:0" half=True # dla:0 or dla:1 corresponds to the DLA cores
# Run inference with the exported model on the DLA
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'
注
DLAエクスポートを使用する場合、一部のレイヤーはDLA上での実行がサポートされず、実行のためにGPU 。このフォールバックは、追加の待ち時間を発生させ、全体的な推論パフォーマンスに影響を与える可能性があります。したがって、DLA は、GPU 上で完全に実行されるTensorRT と比較して、推論の待ち時間を短縮することを主目的として設計されていません。その代わり、スループットを向上させ、エネルギー効率を改善することを主な目的としています。
NVIDIA Jetson OrinYOLO11 ベンチマーク
YOLO11 ベンチマークは、Ultralytics チームによって、速度と精度を測定する 10 の異なるモデル形式で実行されました:PyTorch,TorchScript,ONNX,OpenVINO,TensorRT,TF SavedModel ,TF GraphDef ,TF ,PaddlePaddle,NCNN 。ベンチマークは、NVIDIA Jetson Orin Nano Super Developer Kitと、Jetson Orin NX 16GBデバイスを搭載したSeeed Studio reComputer J4012の両方で、FP32の精度で、デフォルトの入力画像サイズ640で実行した。
比較チャート
すべての輸出モデルがNVIDIA Jetsonで動作しているにもかかわらず、以下の比較表にはPyTorch 、 TorchScript 、 TensorRT のみを掲載しました。なぜなら、これらはJetsonのGPU を利用しており、最良の結果が得られることが保証されているからです。他のすべてのエクスポートはCPU を利用するだけであり、パフォーマンスは上記の3つほど良くありません。このグラフの後のセクションで、すべてのエクスポートのベンチマークを見ることができます。
NVIDIA Jetson Orin Nanoスーパー現像キット

NVIDIA Jetson Orin NX 16GB

詳細比較表
以下の表は、5つの異なるモデル(YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x)の10種類のフォーマット(PyTorch,TorchScript,ONNX,OpenVINO,TensorRT,TF SavedModel ,TF GraphDef ,TF Lite,PaddlePaddle,NCNN )に対するベンチマーク結果であり、各組み合わせのステータス、サイズ、mAP50-95(B)メトリック、推論時間を示している。
NVIDIA Jetson Orin Nanoスーパー現像キット
パフォーマンス
フォーマット | ステータス | ディスク上のサイズ (MB) | mAP50-95(B) | 推論時間(ms/im) |
---|---|---|---|---|
PyTorch | ✅ | 5.4 | 0.6176 | 21.3 |
TorchScript | ✅ | 10.5 | 0.6100 | 13.40 |
ONNX | ✅ | 10.2 | 0.6100 | 7.94 |
OpenVINO | ✅ | 10.4 | 0.6091 | 57.36 |
TensorRT (FP32) | ✅ | 11.9 | 0.6082 | 7.60 |
TensorRT (FP16) | ✅ | 8.3 | 0.6096 | 4.91 |
TensorRT (INT8) | ✅ | 5.6 | 0.3180 | 3.91 |
TF SavedModel | ✅ | 25.8 | 0.6082 | 223.98 |
TF GraphDef | ✅ | 10.3 | 0.6082 | 289.95 |
TF ライト | ✅ | 10.3 | 0.6082 | 328.29 |
PaddlePaddle | ✅ | 20.4 | 0.6082 | 530.46 |
MNN | ✅ | 10.1 | 0.6120 | 74.75 |
NCNN | ✅ | 10.2 | 0.6106 | 46.12 |
フォーマット | ステータス | ディスク上のサイズ (MB) | mAP50-95(B) | 推論時間(ms/im) |
---|---|---|---|---|
PyTorch | ✅ | 18.4 | 0.7526 | 22.00 |
TorchScript | ✅ | 36.5 | 0.7400 | 21.35 |
ONNX | ✅ | 36.3 | 0.7400 | 13.91 |
OpenVINO | ✅ | 36.4 | 0.7391 | 126.95 |
TensorRT (FP32) | ✅ | 38.0 | 0.7400 | 13.29 |
TensorRT (FP16) | ✅ | 21.3 | 0.7431 | 7.30 |
TensorRT (INT8) | ✅ | 12.2 | 0.3243 | 5.25 |
TF SavedModel | ✅ | 91.1 | 0.7400 | 406.73 |
TF GraphDef | ✅ | 36.4 | 0.7400 | 629.80 |
TF ライト | ✅ | 36.4 | 0.7400 | 953.98 |
PaddlePaddle | ✅ | 72.5 | 0.7400 | 1311.67 |
MNN | ✅ | 36.2 | 0.7392 | 187.66 |
NCNN | ✅ | 36.2 | 0.7403 | 122.02 |
フォーマット | ステータス | ディスク上のサイズ (MB) | mAP50-95(B) | 推論時間(ms/im) |
---|---|---|---|---|
PyTorch | ✅ | 38.8 | 0.7598 | 33.00 |
TorchScript | ✅ | 77.3 | 0.7643 | 48.17 |
ONNX | ✅ | 76.9 | 0.7641 | 29.31 |
OpenVINO | ✅ | 77.1 | 0.7642 | 313.49 |
TensorRT (FP32) | ✅ | 78.7 | 0.7641 | 28.21 |
TensorRT (FP16) | ✅ | 41.8 | 0.7653 | 13.99 |
TensorRT (INT8) | ✅ | 23.2 | 0.4194 | 9.58 |
TF SavedModel | ✅ | 192.7 | 0.7643 | 802.30 |
TF GraphDef | ✅ | 77.0 | 0.7643 | 1335.42 |
TF ライト | ✅ | 77.0 | 0.7643 | 2842.42 |
PaddlePaddle | ✅ | 153.8 | 0.7643 | 3644.29 |
MNN | ✅ | 76.8 | 0.7648 | 503.90 |
NCNN | ✅ | 76.8 | 0.7674 | 298.78 |
フォーマット | ステータス | ディスク上のサイズ (MB) | mAP50-95(B) | 推論時間(ms/im) |
---|---|---|---|---|
PyTorch | ✅ | 49.0 | 0.7475 | 43.00 |
TorchScript | ✅ | 97.6 | 0.7250 | 62.94 |
ONNX | ✅ | 97.0 | 0.7250 | 36.33 |
OpenVINO | ✅ | 97.3 | 0.7226 | 387.72 |
TensorRT (FP32) | ✅ | 99.1 | 0.7250 | 35.59 |
TensorRT (FP16) | ✅ | 52.0 | 0.7265 | 17.57 |
TensorRT (INT8) | ✅ | 31.0 | 0.4033 | 12.37 |
TF SavedModel | ✅ | 243.3 | 0.7250 | 1116.20 |
TF GraphDef | ✅ | 97.2 | 0.7250 | 1603.32 |
TF ライト | ✅ | 97.2 | 0.7250 | 3607.51 |
PaddlePaddle | ✅ | 193.9 | 0.7250 | 4890.90 |
MNN | ✅ | 96.9 | 0.7222 | 619.04 |
NCNN | ✅ | 96.9 | 0.7252 | 352.85 |
フォーマット | ステータス | ディスク上のサイズ (MB) | mAP50-95(B) | 推論時間(ms/im) |
---|---|---|---|---|
PyTorch | ✅ | 109.3 | 0.8288 | 81.00 |
TorchScript | ✅ | 218.1 | 0.8308 | 113.49 |
ONNX | ✅ | 217.5 | 0.8308 | 75.20 |
OpenVINO | ✅ | 217.8 | 0.8285 | 508.12 |
TensorRT (FP32) | ✅ | 219.5 | 0.8307 | 67.32 |
TensorRT (FP16) | ✅ | 112.2 | 0.8248 | 32.94 |
TensorRT (INT8) | ✅ | 61.7 | 0.4854 | 20.72 |
TF SavedModel | ✅ | 545.0 | 0.8308 | 1048.8 |
TF GraphDef | ✅ | 217.8 | 0.8308 | 2961.8 |
TF ライト | ✅ | 217.8 | 0.8308 | 7898.8 |
PaddlePaddle | ✅ | 434.8 | 0.8308 | 9903.68 |
MNN | ✅ | 217.3 | 0.8308 | 1242.97 |
NCNN | ✅ | 217.3 | 0.8304 | 850.05 |
Ultralytics 8.3.51でベンチマーク。
NVIDIA Jetson Orin NX 16GB
パフォーマンス
フォーマット | ステータス | ディスク上のサイズ (MB) | mAP50-95(B) | 推論時間(ms/im) |
---|---|---|---|---|
PyTorch | ✅ | 5.4 | 0.6176 | 19.50 |
TorchScript | ✅ | 10.5 | 0.6100 | 13.03 |
ONNX | ✅ | 10.2 | 0.6100 | 8.44 |
OpenVINO | ✅ | 10.4 | 0.6091 | 40.83 |
TensorRT (FP32) | ✅ | 11.9 | 0.6100 | 8.05 |
TensorRT (FP16) | ✅ | 8.2 | 0.6096 | 4.85 |
TensorRT (INT8) | ✅ | 5.5 | 0.3180 | 4.37 |
TF SavedModel | ✅ | 25.8 | 0.6082 | 185.39 |
TF GraphDef | ✅ | 10.3 | 0.6082 | 244.85 |
TF ライト | ✅ | 10.3 | 0.6082 | 289.77 |
PaddlePaddle | ✅ | 20.4 | 0.6082 | 476.52 |
MNN | ✅ | 10.1 | 0.6120 | 53.37 |
NCNN | ✅ | 10.2 | 0.6106 | 33.55 |
フォーマット | ステータス | ディスク上のサイズ (MB) | mAP50-95(B) | 推論時間(ms/im) |
---|---|---|---|---|
PyTorch | ✅ | 18.4 | 0.7526 | 19.00 |
TorchScript | ✅ | 36.5 | 0.7400 | 22.90 |
ONNX | ✅ | 36.3 | 0.7400 | 14.44 |
OpenVINO | ✅ | 36.4 | 0.7391 | 88.70 |
TensorRT (FP32) | ✅ | 37.9 | 0.7400 | 14.13 |
TensorRT (FP16) | ✅ | 21.6 | 0.7406 | 7.55 |
TensorRT (INT8) | ✅ | 12.2 | 0.3243 | 5.63 |
TF SavedModel | ✅ | 91.1 | 0.7400 | 317.61 |
TF GraphDef | ✅ | 36.4 | 0.7400 | 515.99 |
TF ライト | ✅ | 36.4 | 0.7400 | 838.85 |
PaddlePaddle | ✅ | 72.5 | 0.7400 | 1170.07 |
MNN | ✅ | 36.2 | 0.7413 | 125.23 |
NCNN | ✅ | 36.2 | 0.7403 | 68.13 |
フォーマット | ステータス | ディスク上のサイズ (MB) | mAP50-95(B) | 推論時間(ms/im) |
---|---|---|---|---|
PyTorch | ✅ | 38.8 | 0.7598 | 36.50 |
TorchScript | ✅ | 77.3 | 0.7643 | 52.55 |
ONNX | ✅ | 76.9 | 0.7640 | 31.16 |
OpenVINO | ✅ | 77.1 | 0.7642 | 208.57 |
TensorRT (FP32) | ✅ | 78.7 | 0.7640 | 30.72 |
TensorRT (FP16) | ✅ | 41.5 | 0.7651 | 14.45 |
TensorRT (INT8) | ✅ | 23.3 | 0.4194 | 10.19 |
TF SavedModel | ✅ | 192.7 | 0.7643 | 590.11 |
TF GraphDef | ✅ | 77.0 | 0.7643 | 998.57 |
TF ライト | ✅ | 77.0 | 0.7643 | 2486.11 |
PaddlePaddle | ✅ | 153.8 | 0.7643 | 3236.09 |
MNN | ✅ | 76.8 | 0.7661 | 335.78 |
NCNN | ✅ | 76.8 | 0.7674 | 188.43 |
フォーマット | ステータス | ディスク上のサイズ (MB) | mAP50-95(B) | 推論時間(ms/im) |
---|---|---|---|---|
PyTorch | ✅ | 49.0 | 0.7475 | 46.6 |
TorchScript | ✅ | 97.6 | 0.7250 | 66.54 |
ONNX | ✅ | 97.0 | 0.7250 | 39.55 |
OpenVINO | ✅ | 97.3 | 0.7226 | 262.44 |
TensorRT (FP32) | ✅ | 99.2 | 0.7250 | 38.68 |
TensorRT (FP16) | ✅ | 51.9 | 0.7265 | 18.53 |
TensorRT (INT8) | ✅ | 30.9 | 0.4033 | 13.36 |
TF SavedModel | ✅ | 243.3 | 0.7250 | 850.25 |
TF GraphDef | ✅ | 97.2 | 0.7250 | 1324.60 |
TF ライト | ✅ | 97.2 | 0.7250 | 3191.24 |
PaddlePaddle | ✅ | 193.9 | 0.7250 | 4204.97 |
MNN | ✅ | 96.9 | 0.7225 | 414.41 |
NCNN | ✅ | 96.9 | 0.7252 | 237.74 |
フォーマット | ステータス | ディスク上のサイズ (MB) | mAP50-95(B) | 推論時間(ms/im) |
---|---|---|---|---|
PyTorch | ✅ | 109.3 | 0.8288 | 86.00 |
TorchScript | ✅ | 218.1 | 0.8308 | 122.43 |
ONNX | ✅ | 217.5 | 0.8307 | 77.50 |
OpenVINO | ✅ | 217.8 | 0.8285 | 508.12 |
TensorRT (FP32) | ✅ | 219.5 | 0.8307 | 76.44 |
TensorRT (FP16) | ✅ | 112.0 | 0.8309 | 35.99 |
TensorRT (INT8) | ✅ | 61.6 | 0.4854 | 22.32 |
TF SavedModel | ✅ | 545.0 | 0.8308 | 1470.06 |
TF GraphDef | ✅ | 217.8 | 0.8308 | 2549.78 |
TF ライト | ✅ | 217.8 | 0.8308 | 7025.44 |
PaddlePaddle | ✅ | 434.8 | 0.8308 | 8364.89 |
MNN | ✅ | 217.3 | 0.8289 | 827.13 |
NCNN | ✅ | 217.3 | 0.8304 | 490.29 |
Ultralytics 8.3.51でベンチマーク。
NVIDIA Jetsonハードウェアのさまざまなバージョンで実行されるSeeed Studioによる、より多くのベンチマークの取り組みをご覧ください。
結果を再現する
上記のUltralytics のベンチマークをすべてのエクスポートフォーマットで再現するには、以下のコードを実行してください:
例
ベンチマークの結果は、システムの正確なハードウェアとソフトウェアの構成、およびベンチマークの実行時のシステムの現在の作業負荷によって異なる可能性があることに注意してください。最も信頼性の高い結果を得るには、画像数の多いデータセットを使用します。 data='coco8.yaml' (4 val images), or
data='coco.yaml'` (5000 val images)。
NVIDIA Jetsonを使用する際のベストプラクティス
NVIDIA Jetson を使用する場合、YOLO11 を実行するNVIDIA Jetson で最大限のパフォーマンスを発揮するために、従うべきベストプラクティスがいくつかある。
-
MAXパワーモードを有効にする
JetsonでMAX Power Modeを有効にすると、すべてのCPU 、GPU コアがオンになります。
-
ジェットソン・クロックを有効にする
Jetson Clocksを有効にすると、すべてのCPU,GPU コアが最大周波数でクロックされるようになります。
-
Jetson Statsアプリケーションのインストール
jetson statsアプリケーションを使用して、システムコンポーネントの温度を監視し、CPU 、GPU 、RAM使用率の表示、電源モードの変更、最大クロックへの設定、JetPack情報のチェックなど、その他のシステム詳細をチェックすることができます。
次のステップ
NVIDIA Jetson でYOLO11 のセットアップに成功し、おめでとうございます!さらなる学習とサポートについては、Ultralytics YOLO11 Docsのガイドをご覧ください!
よくあるご質問
NVIDIA Jetson デバイスにUltralytics YOLO11 をデプロイするには?
NVIDIA JetsonデバイスにUltralytics YOLO11 をデプロイするのは簡単なプロセスです。まず、NVIDIA JetPack SDKでJetsonデバイスをフラッシュする。次に、ビルド済みのDockerイメージを使用して素早くセットアップするか、必要なパッケージを手動でインストールします。各アプローチの詳細な手順は、「Dockerでクイック・スタート」と「ネイティブ・インストールでスタート」のセクションにあります。
NVIDIA Jetsonデバイス上のYOLO11 モデルから期待できるパフォーマンスベンチマークは?
YOLO11 モデルを様々なNVIDIA Jetsonデバイスでベンチマークしたところ、大幅な性能向上が見られた。例えば、TensorRT フォーマットは最高の推論性能を発揮します。詳細比較表」セクションの表では、さまざまなモデル・フォーマットにおけるmAP50-95や推論時間などのパフォーマンス指標を包括的に示しています。
NVIDIA JetsonにYOLO11 をデプロイするのに、なぜTensorRT を使う必要があるのですか?
TensorRT は、NVIDIA Jetson 上でYOLO11 モデルを展開する際に、その最適なパフォーマンスにより強く推奨されます。Jetson のGPU 機能を活用することで推論を加速し、最大限の効率とスピードを保証します。TensorRT に変換して推論を実行する方法については、 NVIDIA Jetson上でTensorRT を使用するセクションを参照してください。
NVIDIA JetsonにPyTorch 、Torchvisionをインストールするには?
NVIDIA JetsonにPyTorch 、Torchvisionをインストールするには、まずpip経由でインストールされた既存のバージョンをアンインストールしてください。次に、JetsonのARM64アーキテクチャに対応するPyTorch とTorchvisionのバージョンを手動でインストールします。このプロセスの詳細な手順は、 PyTorch と Torchvision のインストールのセクションに記載されています。
NVIDIA JetsonでYOLO11 、パフォーマンスを最大化するためのベストプラクティスは?
YOLO11 でNVIDIA Jetson のパフォーマンスを最大化するには、以下のベストプラクティスに従ってください:
- MAXパワーモードを有効にして、すべてのCPU 、GPU コアを利用する。
- Jetson Clocksを有効にして、すべてのコアを最大周波数で動作させる。
- システム・メトリクスを監視するためのJetson Statsアプリケーションをインストールします。
コマンドやその他の詳細については、 NVIDIA Jetsonを使用する際のベストプラクティスのセクションを参照してください。