クイックスタートガイドNVIDIA Jetson withUltralytics YOLO11

この包括的なガイドでは、NVIDIA Jetson デバイス上にUltralytics YOLO11 をデプロイするための詳細なウォークスルーを提供します。さらに、これらの小型で強力なデバイス上のYOLO11 の機能を実証するために、性能ベンチマークを紹介しています。

見るんだ： NVIDIA Jetsonとセットアップする方法Ultralytics YOLO11

NVIDIA ジェットソンとは？

NVIDIA Jetsonは、エッジデバイスにAI（人工知能）コンピューティングの高速化をもたらすよう設計された一連の組み込みコンピューティングボードである。これらのコンパクトで強力なデバイスは、NVIDIA のGPU アーキテクチャを中心に構築されており、クラウド・コンピューティング・リソースに依存することなく、デバイス上で複雑なAIアルゴリズムやディープラーニング・モデルを直接実行することができる。Jetsonボードは、ロボット工学、自律走行車、産業オートメーション、およびAI推論を低レイテンシかつ高効率でローカルに実行する必要があるその他のアプリケーションでよく使用される。さらに、これらのボードはARM64アーキテクチャをベースとしており、従来のGPU コンピューティング・デバイスと比較して低消費電力で動作する。

NVIDIA ジェットソンシリーズ比較

Jetson Orinは、NVIDIA Jetsonファミリーの最新版で、NVIDIA Ampereアーキテクチャをベースとしており、前世代と比較してAI性能が飛躍的に向上している。下の表は、エコシステム内のJetsonデバイスのいくつかを比較したものである。

より詳細な比較表については、 NVIDIA Jetson公式ページの 技術仕様セクションをご覧ください。

NVIDIA JetPackとは？

NVIDIA Jetsonモジュールを駆動する JetPack SDKは、最も包括的なソリューションであり、エンドツーエンドの高速化AIアプリケーションを構築するための完全な開発環境を提供し、市場投入までの時間を短縮します。JetPackには、ブートローダー、Linuxカーネル、Ubuntuデスクトップ環境を備えたJetson Linuxと、GPU コンピューティング、マルチメディア、グラフィックス、コンピュータ・ビジョンの高速化のためのライブラリ一式が含まれています。また、ホスト・コンピューターと開発者キットの両方に対応したサンプル、ドキュメント、開発者ツールも含まれており、ストリーミング・ビデオ解析用のDeepStream、ロボット工学用のIsaac、会話AI用のRivaなど、より高度なSDKもサポートしている。

NVIDIA JetsonへのFlash JetPack

NVIDIA Jetsonデバイスを手に入れた後の最初のステップは、NVIDIA JetPackをデバイスにフラッシュすることです。NVIDIA Jetsonデバイスをフラッシュする方法はいくつかあります。

1. Jetson Orin Nano Developer Kitのような公式NVIDIA 開発キットをお持ちの場合は、イメージをダウンロードし、デバイスを起動するためにJetPackでSDカードを準備することができます。
2. 他のNVIDIA 開発キットをお持ちの場合は、SDK Managerを使用してJetPackをデバイスにフラッシュすることができます。
3. Seeed Studio reComputer J4012 デバイスをお持ちの場合、JetPack を付属の SSD にフラッシュすることができ、Seeed Studio reComputer J1020 v2 デバイスをお持ちの場合、JetPack を eMMC/ SSD にフラッシュすることができます。
4. NVIDIA Jetsonモジュールで駆動する他のサードパーティ製デバイスを所有している場合は、コマンドラインのフラッシュに従うことを推奨する。

Jetsonデバイスに基づくJetPackサポート

以下の表は、NVIDIA JetPack のバージョンが、NVIDIA Jetson デバイスによってサポートされていることを示しています。

Dockerのクイック・スタート

NVIDIA Jetson 上でUltralytics YOLO11 を使い始める最速の方法は、Jetson 用にビルド済みの docker イメージを使って実行することです。上の表を参照し、所有している Jetson デバイスに応じて JetPack のバージョンを選択してください。

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack5
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack6
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

これが終わったら、 NVIDIA JetsonでTensorRT 。

ネイティブ・インストールから始める

Dockerを使用しないネイティブ・インストールについては、以下の手順を参照してください。

JetPack 6.xでの実行

Ultralytics パッケージのインストール

ここでは、Ultralytics パッケージを Jetson にインストールします。 PyTorchをインストールします。TensorRT は Jetson デバイスの性能を最大限に引き出せるようにするため、主にNVIDIA TensorRT の エクスポートに焦点を当てます。

1. パッケージリストの更新、pipのインストール、最新版へのアップグレード

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. インストール ultralytics pip パッケージと依存関係のあるオプション

   pip install ultralytics[export]
   

3. デバイスを再起動する

   sudo reboot
   

PyTorch とトーチビジョンのインストール

上記のultralytics をインストールすると、Torch と Torchvision がインストールされます。しかし、pip経由でインストールされたこれら2つのパッケージは、ARM64アーキテクチャをベースとするJetsonプラットフォーム上で動作する互換性がない。そのため、ビルド済みのPyTorch pip wheelを手動でインストールし、ソースからTorchvisionをコンパイル/インストールする必要がある。

インストール torch 2.3.0 そして torchvision 0.18 JP6.0 による。

sudo apt-get install libopenmpi-dev libopenblas-base libomp-dev -y
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.3.0-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.18.0a0+6043bc2-cp310-cp310-linux_aarch64.whl

PyTorch for Jetsonのページで、異なるJetPackのバージョンに対応したPyTorch 。PyTorch, Torchvisionの互換性についての詳細なリストは、PyTorch and Torchvision compatibilityページをご覧ください。

インストール onnxruntime-gpu

について オンヌクスランタイムgpu PyPIでホストされているパッケージには aarch64 バイナリをインストールする必要がある。そのため、このパッケージを手動でインストールする必要がある。このパッケージはいくつかのエクスポートに必要です。

すべて異なる onnxruntime-gpu JetPack とPython の異なるバージョンに対応するパッケージがリストされている。 これ.しかし、ここでは onnxruntime-gpu 1.18.0 と Python3.10 をサポートしている。

wget https://nvidia.box.com/shared/static/48dtuob7meiw6ebgfsfqakc9vse62sg4.whl -O onnxruntime_gpu-1.18.0-cp310-cp310-linux_aarch64.whl
pip install onnxruntime_gpu-1.18.0-cp310-cp310-linux_aarch64.whl

JetPack 5.xでの実行

Ultralytics パッケージのインストール

ここでは、Ultralytics パッケージを Jetson にインストールし、PyTorch モデルを他の異なるフォーマットにエクスポートできるように、オプションの依存関係を設定します。TensorRT はJetsonデバイスの性能を最大限に引き出せるようにするため、主にNVIDIA TensorRT の エクスポートに焦点を当てます。

1. パッケージリストの更新、pipのインストール、最新版へのアップグレード

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. インストール ultralytics pip パッケージと依存関係のあるオプション

   pip install ultralytics[export]
   

3. デバイスを再起動する

   sudo reboot
   

PyTorch とトーチビジョンのインストール

上記のultralytics をインストールすると、Torch と Torchvision がインストールされます。しかし、pip経由でインストールされたこれら2つのパッケージは、ARM64アーキテクチャをベースとするJetsonプラットフォーム上で動作する互換性がない。そのため、ビルド済みのPyTorch pip wheelを手動でインストールし、ソースからTorchvisionをコンパイル/インストールする必要がある。

1. 現在インストールされているPyTorch と Torchvision をアンインストールする。

   pip uninstall torch torchvision
   

2. JP5.1.3 に従ってPyTorch 2.1.0 をインストールする。

   sudo apt-get install -y libopenblas-base libopenmpi-dev
   wget https://developer.download.nvidia.com/compute/redist/jp/v512/pytorch/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl -O torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   

3. PyTorch v2.1.0に従ってTorchvision v0.16.2をインストールしてください。

   sudo apt install -y libjpeg-dev zlib1g-dev
   git clone https://github.com/pytorch/vision torchvision
   cd torchvision
   git checkout v0.16.2
   python3 setup.py install --user
   

PyTorch for Jetsonのページで、異なるJetPackのバージョンに対応したPyTorch 。PyTorch, Torchvisionの互換性についての詳細なリストは、PyTorch and Torchvision compatibilityページをご覧ください。

インストール onnxruntime-gpu

について オンヌクスランタイムgpu PyPIでホストされているパッケージには aarch64 バイナリをインストールする必要がある。そのため、このパッケージを手動でインストールする必要がある。このパッケージはいくつかのエクスポートに必要です。

すべて異なる onnxruntime-gpu JetPack とPython の異なるバージョンに対応するパッケージがリストされている。 これ.しかし、ここでは onnxruntime-gpu 1.17.0 と Python3.8 をサポートしている。

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

NVIDIA JetsonでTensorRT 。

Ultralytics でサポートされているすべてのモデルエクスポートフォーマットのうち、TensorRT は、NVIDIA Jetsonデバイスで作業するときに最高の推論パフォーマンスを提供します。TensorRT をJetsonで使用することをお勧めします。また、TensorRT に関する詳細なドキュメントもこちらにあります。

モデルをTensorRT に変換し、推論を実行する。

PyTorch 形式のYOLO11nモデルは、エクスポートされたモデルで推論を実行するためにTensorRT 。

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine  # creates 'yolo11n.engine'

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA ディープラーニングアクセラレータ（DLA）を使用する。

NVIDIA ディープラーニング・アクセラレータ（DLA）は、NVIDIA Jetsonデバイスに組み込まれた専用ハードウェア・コンポーネントで、エネルギー効率とパフォーマンスのためにディープラーニング推論を最適化する。DLAは、GPU からタスクをオフロードする（より集中的な処理のために解放する）ことで、組み込みシステムやリアルタイムAIアプリケーションに理想的な高いスループットを維持しながら、低消費電力でモデルを実行することを可能にします。

以下のJetsonデバイスはDLAハードウェアを搭載しています：

• Jetson Orin NX 16GB
• ジェットソンAGXオリンシリーズ
• ジェットソン AGX ザビエル・シリーズ
• ジェットソン・ザビエルNXシリーズ

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", half=True)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format with DLA enabled (only works with FP16 or INT8)
yolo export model=yolo11n.pt format=engine device="dla:0" half=True  # dla:0 or dla:1 corresponds to the DLA cores

# Run inference with the exported model on the DLA
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA Jetson OrinYOLO11 ベンチマーク

YOLO11 ベンチマークは、Ultralytics チームによって、速度と精度を測定する 10 の異なるモデル形式で実行されました:PyTorch,TorchScript,ONNX,OpenVINO,TensorRT,TF SavedModel ,TF GraphDef ,TF ,PaddlePaddle,NCNN 。ベンチマークは、Jetson Orin NX 16GBデバイスを搭載したSeeed Studio reComputer J4012で、FP32の精度で、デフォルトの入力画像サイズ640で実行された。

比較表

すべての輸出モデルがNVIDIA Jetsonで動作しているにもかかわらず、以下の比較表にはPyTorch 、 TorchScript 、 TensorRT のみを掲載しました。なぜなら、これらはJetsonのGPU を利用しており、最良の結果が得られることが保証されているからです。他のすべてのエクスポートはCPU を利用するだけであり、パフォーマンスは上記の3つほど良くありません。このグラフの後のセクションで、すべてのエクスポートのベンチマークを見ることができます。

詳細比較表

以下の表は、5つの異なるモデル（YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x）の10種類のフォーマット（PyTorch,TorchScript,ONNX,OpenVINO,TensorRT,TF SavedModel ,TF GraphDef ,TF Lite,PaddlePaddle,NCNN ）に対するベンチマーク結果であり、各組み合わせのステータス、サイズ、mAP50-95(B)メトリック、推論時間を示している。

NVIDIA Jetsonハードウェアのさまざまなバージョンで実行されるSeeed Studioによる、より多くのベンチマークの取り組みをご覧ください。

結果を再現する

上記のUltralytics のベンチマークをすべてのエクスポートフォーマットで再現するには、以下のコードを実行してください：

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmarks(data="coco8.yaml", imgsz=640)

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml imgsz=640

NVIDIA Jetsonを使用する際のベストプラクティス

NVIDIA Jetson を使用する場合、YOLO11 を実行するNVIDIA Jetson で最大限のパフォーマンスを発揮するために、従うべきベストプラクティスがいくつかある。

1. MAXパワーモードを有効にする

   JetsonでMAX Power Modeを有効にすると、すべてのCPU 、GPU コアがオンになります。

   sudo nvpmodel -m 0
   

2. ジェットソン・クロックを有効にする

   Jetson Clocksを有効にすると、すべてのCPU,GPU コアが最大周波数でクロックされるようになります。

   sudo jetson_clocks
   

3. Jetson Statsアプリケーションのインストール

   jetson statsアプリケーションを使用して、システムコンポーネントの温度を監視し、CPU 、GPU 、RAM使用率の表示、電源モードの変更、最大クロックへの設定、JetPack情報のチェックなど、その他のシステム詳細をチェックすることができます。

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

次のステップ

NVIDIA Jetson でYOLO11 のセットアップに成功し、おめでとうございます！さらなる学習とサポートについては、Ultralytics YOLO11 Docsのガイドをご覧ください！

よくあるご質問

NVIDIA Jetson デバイスにUltralytics YOLO11 をデプロイするには？

NVIDIA JetsonデバイスにUltralytics YOLO11 をデプロイするのは簡単なプロセスです。まず、NVIDIA JetPack SDKでJetsonデバイスをフラッシュする。次に、ビルド済みのDockerイメージを使用して素早くセットアップするか、必要なパッケージを手動でインストールします。各アプローチの詳細な手順は、「Dockerでクイック・スタート」と「ネイティブ・インストールでスタート」のセクションにあります。

NVIDIA Jetsonデバイス上のYOLO11 モデルから期待できるパフォーマンスベンチマークは？

YOLO11 モデルを様々なNVIDIA Jetsonデバイスでベンチマークしたところ、大幅な性能向上が見られた。例えば、TensorRT フォーマットは最高の推論性能を発揮します。詳細比較表」セクションの表は、さまざまなモデル・フォーマットにおけるmAP50-95や推論時間などのパフォーマンス・メトリクスの包括的なビューを提供します。

NVIDIA JetsonにYOLO11 をデプロイするのに、なぜTensorRT を使う必要があるのですか？

TensorRT は、NVIDIA Jetson 上でYOLO11 モデルを展開する際に、その最適なパフォーマンスにより強く推奨されます。Jetson のGPU 機能を活用することで推論を加速し、最大限の効率とスピードを保証します。TensorRT に変換して推論を実行する方法については、 NVIDIA Jetson上でTensorRT を使用するセクションを参照してください。

NVIDIA JetsonにPyTorch 、Torchvisionをインストールするには？

NVIDIA JetsonにPyTorch 、Torchvisionをインストールするには、まずpip経由でインストールされた既存のバージョンをアンインストールしてください。次に、JetsonのARM64アーキテクチャに対応するPyTorch とTorchvisionのバージョンを手動でインストールします。このプロセスの詳細な手順は、 PyTorch と Torchvision のインストールのセクションに記載されています。

NVIDIA JetsonでYOLO11 、パフォーマンスを最大化するためのベストプラクティスは？

YOLO11 でNVIDIA Jetson のパフォーマンスを最大化するには、以下のベストプラクティスに従ってください：

1. MAXパワーモードを有効にして、すべてのCPU 、GPU コアを利用する。
2. Jetson Clocksを有効にして、すべてのコアを最大周波数で動作させる。
3. システム・メトリクスを監視するためのJetson Statsアプリケーションをインストールします。

コマンドやその他の詳細については、 NVIDIA Jetsonを使用する際のベストプラクティスのセクションを参照してください。

📅作成：8ヶ月前 ✏️更新 3日前

コメント