クイックスタートガイドNVIDIA Jetson withUltralytics YOLO11

この包括的なガイドでは、NVIDIA Jetson デバイス上にUltralytics YOLO11 をデプロイするための詳細なウォークスルーを提供します。さらに、これらの小型で強力なデバイス上のYOLO11 の機能を実証するために、性能ベンチマークを紹介しています。

見るんだ： NVIDIA Jetsonとセットアップする方法Ultralytics YOLO11

NVIDIA ジェットソンとは？

NVIDIA Jetsonは、エッジデバイスにAI（人工知能）コンピューティングの高速化をもたらすよう設計された一連の組み込みコンピューティングボードである。これらのコンパクトで強力なデバイスは、NVIDIA のGPU アーキテクチャを中心に構築されており、クラウド・コンピューティング・リソースに依存することなく、デバイス上で複雑なAIアルゴリズムやディープラーニング・モデルを直接実行することができる。Jetsonボードは、ロボット工学、自律走行車、産業オートメーション、およびAI推論を低レイテンシかつ高効率でローカルに実行する必要があるその他のアプリケーションでよく使用される。さらに、これらのボードはARM64アーキテクチャをベースとしており、従来のGPU コンピューティング・デバイスと比較して低消費電力で動作する。

NVIDIA ジェットソンシリーズ比較

Jetson Orinは、NVIDIA Jetsonファミリーの最新版で、NVIDIA Ampereアーキテクチャをベースとしており、前世代と比較してAI性能が飛躍的に向上している。下の表は、エコシステム内のJetsonデバイスのいくつかを比較したものである。

より詳細な比較表については、 NVIDIA Jetson公式ページの 技術仕様セクションをご覧ください。

NVIDIA JetPackとは？

NVIDIA Jetsonモジュールを駆動する JetPack SDKは、最も包括的なソリューションであり、エンドツーエンドの高速化AIアプリケーションを構築するための完全な開発環境を提供し、市場投入までの時間を短縮します。JetPackには、ブートローダー、Linuxカーネル、Ubuntuデスクトップ環境を備えたJetson Linuxと、GPU コンピューティング、マルチメディア、グラフィックス、コンピュータ・ビジョンの高速化のためのライブラリ一式が含まれています。また、ホスト・コンピューターと開発者キットの両方に対応したサンプル、ドキュメント、開発者ツールも含まれており、ストリーミング・ビデオ解析用のDeepStream、ロボット工学用のIsaac、会話AI用のRivaなど、より高度なSDKもサポートしている。

NVIDIA JetsonへのFlash JetPack

NVIDIA Jetsonデバイスを手に入れた後の最初のステップは、NVIDIA JetPackをデバイスにフラッシュすることです。NVIDIA Jetsonデバイスをフラッシュする方法はいくつかあります。

1. Jetson Orin Nano Developer Kitのような公式NVIDIA 開発キットをお持ちの場合は、イメージをダウンロードし、デバイスを起動するためにJetPackでSDカードを準備することができます。
2. 他のNVIDIA 開発キットをお持ちの場合は、SDK Managerを使用してJetPackをデバイスにフラッシュすることができます。
3. Seeed Studio reComputer J4012 デバイスをお持ちの場合、JetPack を付属の SSD にフラッシュすることができ、Seeed Studio reComputer J1020 v2 デバイスをお持ちの場合、JetPack を eMMC/ SSD にフラッシュすることができます。
4. NVIDIA Jetsonモジュールで駆動する他のサードパーティ製デバイスを所有している場合は、コマンドラインのフラッシュに従うことを推奨する。

Jetsonデバイスに基づくJetPackサポート

以下の表は、NVIDIA JetPack のバージョンが、NVIDIA Jetson デバイスによってサポートされていることを示しています。

Dockerのクイック・スタート

NVIDIA Jetson 上でUltralytics YOLO11 を使い始める最速の方法は、Jetson 用にビルド済みの docker イメージを使って実行することです。上の表を参照し、所有している Jetson デバイスに応じて JetPack のバージョンを選択してください。

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack5
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack6
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

これが終わったら、 NVIDIA JetsonでTensorRT 。

ネイティブ・インストールから始める

Dockerを使用しないネイティブ・インストールについては、以下の手順を参照してください。

Run on JetPack 6.1

Ultralytics パッケージのインストール

ここでは、Ultralytics パッケージを Jetson にインストールします。 PyTorchをインストールします。TensorRT は Jetson デバイスの性能を最大限に引き出せるようにするため、主にNVIDIA TensorRT の エクスポートに焦点を当てます。

1. パッケージリストの更新、pipのインストール、最新版へのアップグレード

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. インストール ultralytics pip パッケージと依存関係のあるオプション

   pip install ultralytics[export]
   

3. デバイスを再起動する

   sudo reboot
   

PyTorch とトーチビジョンのインストール

上記のultralytics をインストールすると、Torch と Torchvision がインストールされます。しかし、pip経由でインストールされたこれら2つのパッケージは、ARM64アーキテクチャをベースとするJetsonプラットフォーム上で動作する互換性がない。そのため、ビルド済みのPyTorch pip wheelを手動でインストールし、ソースからTorchvisionをコンパイル/インストールする必要がある。

インストール torch 2.5.0 そして torchvision 0.20 according to JP6.1

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.5.0a0+872d972e41.nv24.08-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.20.0a0+afc54f7-cp310-cp310-linux_aarch64.whl

インストール cuSPARSELt to fix a dependency issue with torch 2.5.0

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/arm64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get -y install libcusparselt0 libcusparselt-dev

インストール onnxruntime-gpu

について オンヌクスランタイムgpu PyPIでホストされているパッケージには aarch64 バイナリをインストールする必要がある。そのため、このパッケージを手動でインストールする必要がある。このパッケージはいくつかのエクスポートに必要です。

すべて異なる onnxruntime-gpu JetPack とPython の異なるバージョンに対応するパッケージがリストされている。 これ.しかし、ここでは onnxruntime-gpu 1.20.0 と Python3.10 をサポートしている。

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

Run on JetPack 5.1.2

Ultralytics パッケージのインストール

ここでは、Ultralytics パッケージを Jetson にインストールし、PyTorch モデルを他の異なるフォーマットにエクスポートできるように、オプションの依存関係を設定します。TensorRT はJetsonデバイスの性能を最大限に引き出せるようにするため、主にNVIDIA TensorRT の エクスポートに焦点を当てます。

1. パッケージリストの更新、pipのインストール、最新版へのアップグレード

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. インストール ultralytics pip パッケージと依存関係のあるオプション

   pip install ultralytics[export]
   

3. デバイスを再起動する

   sudo reboot
   

PyTorch とトーチビジョンのインストール

上記のultralytics をインストールすると、Torch と Torchvision がインストールされます。しかし、pip経由でインストールされたこれら2つのパッケージは、ARM64アーキテクチャをベースとするJetsonプラットフォーム上で動作する互換性がない。そのため、ビルド済みのPyTorch pip wheelを手動でインストールし、ソースからTorchvisionをコンパイル/インストールする必要がある。

1. 現在インストールされているPyTorch と Torchvision をアンインストールする。

   pip uninstall torch torchvision
   

2. インストール torch 2.1.0 そして torchvision 0.16.2 according to JP5.1.2

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.16.2+c6f3977-cp38-cp38-linux_aarch64.whl
   

インストール onnxruntime-gpu

について オンヌクスランタイムgpu PyPIでホストされているパッケージには aarch64 バイナリをインストールする必要がある。そのため、このパッケージを手動でインストールする必要がある。このパッケージはいくつかのエクスポートに必要です。

すべて異なる onnxruntime-gpu JetPack とPython の異なるバージョンに対応するパッケージがリストされている。 これ.しかし、ここでは onnxruntime-gpu 1.17.0 と Python3.8 をサポートしている。

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

NVIDIA JetsonでTensorRT 。

Ultralytics でサポートされているすべてのモデルエクスポートフォーマットのうち、TensorRT は、NVIDIA Jetsonデバイスで作業するときに最高の推論パフォーマンスを提供します。TensorRT をJetsonで使用することをお勧めします。また、TensorRT に関する詳細なドキュメントもこちらにあります。

モデルをTensorRT に変換し、推論を実行する。

PyTorch 形式のYOLO11nモデルは、エクスポートされたモデルで推論を実行するためにTensorRT 。

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine  # creates 'yolo11n.engine'

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA ディープラーニングアクセラレータ（DLA）を使用する。

NVIDIA ディープラーニング・アクセラレータ（DLA）は、NVIDIA Jetsonデバイスに組み込まれた専用ハードウェア・コンポーネントで、エネルギー効率とパフォーマンスのためにディープラーニング推論を最適化する。DLAは、GPU からタスクをオフロードする（より集中的な処理のために解放する）ことで、組み込みシステムやリアルタイムAIアプリケーションに理想的な高いスループットを維持しながら、低消費電力でモデルを実行することを可能にします。

以下のJetsonデバイスはDLAハードウェアを搭載しています：

• Jetson Orin NX 16GB
• ジェットソンAGXオリンシリーズ
• ジェットソン AGX ザビエル・シリーズ
• ジェットソン・ザビエルNXシリーズ

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", half=True)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format with DLA enabled (only works with FP16 or INT8)
yolo export model=yolo11n.pt format=engine device="dla:0" half=True  # dla:0 or dla:1 corresponds to the DLA cores

# Run inference with the exported model on the DLA
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA Jetson OrinYOLO11 ベンチマーク

YOLO11 benchmarks were run by the Ultralytics team on 10 different model formats measuring speed and accuracy: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, PaddlePaddle, NCNN. Benchmarks were run on both NVIDIA Jetson Orin Nano Super Developer Kit and Seeed Studio reComputer J4012 powered by Jetson Orin NX 16GB device at FP32 precision with default input image size of 640.

Comparison Charts

すべての輸出モデルがNVIDIA Jetsonで動作しているにもかかわらず、以下の比較表にはPyTorch 、 TorchScript 、 TensorRT のみを掲載しました。なぜなら、これらはJetsonのGPU を利用しており、最良の結果が得られることが保証されているからです。他のすべてのエクスポートはCPU を利用するだけであり、パフォーマンスは上記の3つほど良くありません。このグラフの後のセクションで、すべてのエクスポートのベンチマークを見ることができます。

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

Detailed Comparison Tables

以下の表は、5つの異なるモデル（YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x）の10種類のフォーマット（PyTorch,TorchScript,ONNX,OpenVINO,TensorRT,TF SavedModel ,TF GraphDef ,TF Lite,PaddlePaddle,NCNN ）に対するベンチマーク結果であり、各組み合わせのステータス、サイズ、mAP50-95(B)メトリック、推論時間を示している。

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

NVIDIA Jetsonハードウェアのさまざまなバージョンで実行されるSeeed Studioによる、より多くのベンチマークの取り組みをご覧ください。

結果を再現する

上記のUltralytics のベンチマークをすべてのエクスポートフォーマットで再現するには、以下のコードを実行してください：

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmark(data="coco8.yaml", imgsz=640)

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml imgsz=640

NVIDIA Jetsonを使用する際のベストプラクティス

NVIDIA Jetson を使用する場合、YOLO11 を実行するNVIDIA Jetson で最大限のパフォーマンスを発揮するために、従うべきベストプラクティスがいくつかある。

1. MAXパワーモードを有効にする

   JetsonでMAX Power Modeを有効にすると、すべてのCPU 、GPU コアがオンになります。

   sudo nvpmodel -m 0
   

2. ジェットソン・クロックを有効にする

   Jetson Clocksを有効にすると、すべてのCPU,GPU コアが最大周波数でクロックされるようになります。

   sudo jetson_clocks
   

3. Jetson Statsアプリケーションのインストール

   jetson statsアプリケーションを使用して、システムコンポーネントの温度を監視し、CPU 、GPU 、RAM使用率の表示、電源モードの変更、最大クロックへの設定、JetPack情報のチェックなど、その他のシステム詳細をチェックすることができます。

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

次のステップ

NVIDIA Jetson でYOLO11 のセットアップに成功し、おめでとうございます！さらなる学習とサポートについては、Ultralytics YOLO11 Docsのガイドをご覧ください！

よくあるご質問

NVIDIA Jetson デバイスにUltralytics YOLO11 をデプロイするには？

NVIDIA JetsonデバイスにUltralytics YOLO11 をデプロイするのは簡単なプロセスです。まず、NVIDIA JetPack SDKでJetsonデバイスをフラッシュする。次に、ビルド済みのDockerイメージを使用して素早くセットアップするか、必要なパッケージを手動でインストールします。各アプローチの詳細な手順は、「Dockerでクイック・スタート」と「ネイティブ・インストールでスタート」のセクションにあります。

NVIDIA Jetsonデバイス上のYOLO11 モデルから期待できるパフォーマンスベンチマークは？

YOLO11 models have been benchmarked on various NVIDIA Jetson devices showing significant performance improvements. For example, the TensorRT format delivers the best inference performance. The table in the Detailed Comparison Tables section provides a comprehensive view of performance metrics like mAP50-95 and inference time across different model formats.

NVIDIA JetsonにYOLO11 をデプロイするのに、なぜTensorRT を使う必要があるのですか？

TensorRT は、NVIDIA Jetson 上でYOLO11 モデルを展開する際に、その最適なパフォーマンスにより強く推奨されます。Jetson のGPU 機能を活用することで推論を加速し、最大限の効率とスピードを保証します。TensorRT に変換して推論を実行する方法については、 NVIDIA Jetson上でTensorRT を使用するセクションを参照してください。

NVIDIA JetsonにPyTorch 、Torchvisionをインストールするには？

To install PyTorch and Torchvision on NVIDIA Jetson, first uninstall any existing versions that may have been installed via pip. Then, manually install the compatible PyTorch and Torchvision versions for the Jetson's ARM64 architecture. Detailed instructions for this process are provided in the Installation of PyTorch and Torchvision section.

NVIDIA JetsonでYOLO11 、パフォーマンスを最大化するためのベストプラクティスは？

YOLO11 でNVIDIA Jetson のパフォーマンスを最大化するには、以下のベストプラクティスに従ってください：

1. MAXパワーモードを有効にして、すべてのCPU 、GPU コアを利用する。
2. Jetson Clocksを有効にして、すべてのコアを最大周波数で動作させる。
3. システム・メトリクスを監視するためのJetson Statsアプリケーションをインストールします。

コマンドやその他の詳細については、 NVIDIA Jetsonを使用する際のベストプラクティスのセクションを参照してください。

📅作成：9ヶ月前 ✏️更新しました 7日前

コメント