クイックスタートガイドNVIDIA Jetson withUltralytics YOLOv8

この包括的なガイドでは、NVIDIA Jetson デバイス上にUltralytics YOLOv8 をデプロイするための詳細なウォークスルーを提供します。さらに、これらの小型で強力なデバイス上のYOLOv8 の機能を実証するためのパフォーマンスベンチマークを紹介しています。

見るんだ： NVIDIA Jetsonとセットアップする方法Ultralytics YOLOv8

NVIDIA ジェットソンとは？

NVIDIA Jetsonは、エッジデバイスにAI（人工知能）コンピューティングの高速化をもたらすよう設計された一連の組み込みコンピューティングボードである。これらのコンパクトで強力なデバイスは、NVIDIA のGPU アーキテクチャを中心に構築されており、クラウド・コンピューティング・リソースに依存することなく、デバイス上で複雑なAIアルゴリズムやディープラーニング・モデルを直接実行することができる。Jetsonボードは、ロボット工学、自律走行車、産業オートメーション、およびAI推論を低レイテンシかつ高効率でローカルに実行する必要があるその他のアプリケーションでよく使用される。さらに、これらのボードはARM64アーキテクチャをベースとしており、従来のGPU コンピューティング・デバイスと比較して低消費電力で動作する。

NVIDIA ジェットソンシリーズ比較

Jetson Orinは、NVIDIA Jetsonファミリーの最新版で、NVIDIA Ampereアーキテクチャをベースとしており、前世代と比較してAI性能が飛躍的に向上している。以下の表は、エコシステム内のJetsonデバイスのいくつかを比較したものである。

より詳細な比較表については、 NVIDIA Jetson公式ページの 技術仕様セクションをご覧ください。

NVIDIA JetPackとは？

NVIDIA Jetsonモジュールを駆動する JetPack SDKは、最も包括的なソリューションであり、エンドツーエンドの高速化AIアプリケーションを構築するための完全な開発環境を提供し、市場投入までの時間を短縮します。JetPackには、ブートローダー、Linuxカーネル、Ubuntuデスクトップ環境を備えたJetson Linuxと、GPU コンピューティング、マルチメディア、グラフィックス、コンピュータ・ビジョンの高速化のためのライブラリ一式が含まれています。また、ホスト・コンピューターと開発者キットの両方に対応したサンプル、ドキュメント、開発者ツールも含まれており、ストリーミング・ビデオ解析用のDeepStream、ロボット工学用のIsaac、会話AI用のRivaなど、より高度なSDKもサポートしている。

NVIDIA JetsonへのFlash JetPack

NVIDIA Jetsonデバイスを手に入れた後の最初のステップは、NVIDIA JetPackをデバイスにフラッシュすることです。NVIDIA Jetsonデバイスをフラッシュする方法はいくつかあります。

1. Jetson Orin Nano Developer Kitのような公式NVIDIA 開発キットをお持ちの場合は、イメージをダウンロードし、デバイスを起動するためにJetPackでSDカードを準備することができます。
2. 他のNVIDIA 開発キットをお持ちの場合は、SDK Managerを使用してJetPackをデバイスにフラッシュすることができます。
3. Seeed Studio reComputer J4012 デバイスをお持ちの場合、JetPack を付属の SSD にフラッシュすることができ、Seeed Studio reComputer J1020 v2 デバイスをお持ちの場合、JetPack を eMMC/ SSD にフラッシュすることができます。
4. NVIDIA Jetsonモジュールで駆動する他のサードパーティ製デバイスを所有している場合は、コマンドラインのフラッシュに従うことを推奨する。

Jetsonデバイスに基づくJetPackサポート

以下の表は、NVIDIA JetPack のバージョンが、NVIDIA Jetson デバイスによってサポートされていることを示しています。

Dockerのクイック・スタート

NVIDIA Jetson 上でUltralytics YOLOv8 を使い始める最速の方法は、Jetson 用にビルド済みの docker イメージを使って実行することです。上の表を参照し、所有している Jetson デバイスに応じて JetPack のバージョンを選択してください。

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack5
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack6
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

これが終わったら、 NVIDIA JetsonでTensorRT 。

ネイティブ・インストールから始める

Dockerを使用しないネイティブ・インストールについては、以下の手順を参照してください。

JetPack 6.xでの実行

Ultralytics パッケージのインストール

ここでは、Ultralytics パッケージを Jetson にインストールし、PyTorch モデルを他の異なるフォーマットにエクスポートできるように、オプションの依存関係を設定します。TensorRT はJetsonデバイスの性能を最大限に引き出せるようにするため、主にNVIDIA TensorRT の エクスポートに焦点を当てます。

1. パッケージリストの更新、pipのインストール、最新版へのアップグレード

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. インストール ultralytics pip パッケージと依存関係のあるオプション

   pip install ultralytics[export]
   

3. デバイスを再起動する

   sudo reboot
   

PyTorch とトーチビジョンをインストールする

上記のultralytics をインストールすると、Torch と Torchvision がインストールされます。しかし、pip経由でインストールされたこれら2つのパッケージは、ARM64アーキテクチャをベースとするJetsonプラットフォーム上で動作する互換性がない。そのため、ビルド済みのPyTorch pip wheelを手動でインストールし、ソースからTorchvisionをコンパイル/インストールする必要がある。

インストール torch 2.3.0 そして torchvision 0.18 JP6.0による

sudo apt-get install libopenmpi-dev libopenblas-base libomp-dev -y
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.3.0-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.18.0a0+6043bc2-cp310-cp310-linux_aarch64.whl

PyTorch for Jetsonのページで、異なるJetPackのバージョンに対応したPyTorch 。PyTorch, Torchvisionの互換性についての詳細なリストは、PyTorch and Torchvision compatibilityページをご覧ください。

インストール onnxruntime-gpu

について オンヌクスランタイムgpu PyPIでホストされているパッケージには aarch64 バイナリをインストールする必要がある。そのため、このパッケージを手動でインストールする必要がある。このパッケージはいくつかのエクスポートに必要です。

すべて異なる onnxruntime-gpu JetPack とPython の異なるバージョンに対応するパッケージがリストされている。 これ.しかし、ここでは onnxruntime-gpu 1.18.0 と Python3.10 をサポートしている。

wget https://nvidia.box.com/shared/static/48dtuob7meiw6ebgfsfqakc9vse62sg4.whl -O onnxruntime_gpu-1.18.0-cp310-cp310-linux_aarch64.whl
pip install onnxruntime_gpu-1.18.0-cp310-cp310-linux_aarch64.whl

JetPack 5.x で実行

Ultralytics パッケージのインストール

ここでは、Ultralytics パッケージを Jetson にインストールし、PyTorch モデルを他の異なるフォーマットにエクスポートできるように、オプションの依存関係を設定します。TensorRT はJetsonデバイスの性能を最大限に引き出せるようにするため、主にNVIDIA TensorRT の エクスポートに焦点を当てます。

1. パッケージリストの更新、pipのインストール、最新版へのアップグレード

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. インストール ultralytics pip パッケージと依存関係のあるオプション

   pip install ultralytics[export]
   

3. デバイスを再起動する

   sudo reboot
   

PyTorch とトーチビジョンをインストールする

上記のultralytics をインストールすると、Torch と Torchvision がインストールされます。しかし、pip経由でインストールされたこれら2つのパッケージは、ARM64アーキテクチャをベースとするJetsonプラットフォーム上で動作する互換性がない。そのため、ビルド済みのPyTorch pip wheelを手動でインストールし、ソースからTorchvisionをコンパイル/インストールする必要がある。

1. 現在インストールされているPyTorch と Torchvision をアンインストールする。

   pip uninstall torch torchvision
   

2. JP5.1.3 に従ってPyTorch 2.1.0 をインストールする。

   sudo apt-get install -y libopenblas-base libopenmpi-dev
   wget https://developer.download.nvidia.com/compute/redist/jp/v512/pytorch/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl -O torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   

3. PyTorch v2.1.0に従ってTorchvision v0.16.2をインストールしてください。

   sudo apt install -y libjpeg-dev zlib1g-dev
   git clone https://github.com/pytorch/vision torchvision
   cd torchvision
   git checkout v0.16.2
   python3 setup.py install --user
   

PyTorch for Jetsonのページで、異なるJetPackのバージョンに対応したPyTorch 。PyTorch, Torchvisionの互換性についての詳細なリストは、PyTorch and Torchvision compatibilityページをご覧ください。

インストール onnxruntime-gpu

について オンヌクスランタイムgpu PyPIでホストされているパッケージには aarch64 バイナリをインストールする必要がある。そのため、このパッケージを手動でインストールする必要がある。このパッケージはいくつかのエクスポートに必要です。

すべて異なる onnxruntime-gpu JetPack とPython の異なるバージョンに対応するパッケージがリストされている。 これ.しかし、ここでは onnxruntime-gpu 1.17.0 と Python3.8 をサポートしている。

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

NVIDIA JetsonでTensorRT 。

Ultralytics でサポートされているすべてのモデルエクスポートフォーマットの中で、TensorRT は、NVIDIA Jetsonデバイスで作業するときに最高の推論パフォーマンスを提供します。TensorRT をJetsonで使用することをお勧めします。また、TensorRT に関する詳細なドキュメントもこちらにあります。

モデルをTensorRT に変換し、推論を実行する。

PyTorch フォーマットのYOLOv8n モデルは、エクスポートされたモデルで推論を実行するためにTensorRT に変換されます。

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="engine")  # creates 'yolov8n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolov8n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLOv8n PyTorch model to TensorRT format
yolo export model=yolov8n.pt format=engine  # creates 'yolov8n.engine'

# Run inference with the exported model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA Jetson OrinYOLOv8 ベンチマーク

YOLOv8 ベンチマークは、 Ultralytics 速度と精度を測定する10の異なるモデルフォーマットのチーム: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF ライト、 PaddlePaddle, NCNN.ベンチマークは、Jetson Orin NX 16GBデバイスを搭載したSeeed Studio reComputer J4012でFP32精度で実行し、デフォルトの入力画像サイズは640でした。

比較表

すべての輸出モデルがNVIDIA Jetsonで動作しているにもかかわらず、以下の比較表にはPyTorch 、 TorchScript 、 TensorRT のみを掲載しました。なぜなら、これらはJetsonの GPU を利用しており、最良の結果が得られることが保証されているからです。他のすべてのエクスポートはCPU を利用するだけであり、パフォーマンスは上記の3つほど良くありません。このグラフの後のセクションで、すべてのエクスポートのベンチマークを見ることができます。

詳細比較表

以下の表は、5つの異なるモデル(YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) を 10 種類のフォーマット (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF ライト、 PaddlePaddle, NCNN)から、各組み合わせのステータス、サイズ、mAP50-95(B)指標、および推論時間が得られます。

NVIDIA Jetsonハードウェアのさまざまなバージョンで実行されるSeeed Studioによる、より多くのベンチマークの取り組みをご覧ください。

結果を再現する

上記のUltralytics のベンチマークをすべてのエクスポートフォーマットで再現するには、以下のコードを実行してください：

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmarks(data="coco8.yaml", imgsz=640)

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml imgsz=640

NVIDIA Jetsonを使用する際のベストプラクティス

NVIDIA Jetson を使用する場合、YOLOv8 を実行するNVIDIA Jetson で最大限のパフォーマンスを発揮するために、従うべきベストプラクティスがいくつかある。

1. MAXパワーモードを有効にする

   JetsonのMAX Power Modeを有効にすると、すべてのCPU 、GPU コアがオンになります。

   sudo nvpmodel -m 0
   

2. ジェットソン・クロックを有効にする

   Jetson Clocksを有効にすると、すべてのCPU,GPU コアが最大周波数でクロックされるようになります。

   sudo jetson_clocks
   

3. Jetson Statsアプリケーションのインストール

   jetson statsアプリケーションを使用して、システムコンポーネントの温度を監視し、CPU 、GPU 、RAM使用率の表示、電源モードの変更、最大クロックへの設定、JetPack情報のチェックなど、その他のシステム詳細をチェックすることができます。

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

次のステップ

NVIDIA Jetson でYOLOv8 のセットアップに成功し、おめでとうございます！さらなる学習とサポートについては、Ultralytics YOLOv8 Docsのガイドをご覧ください！

よくあるご質問

NVIDIA Jetson デバイスにUltralytics YOLOv8 をデプロイするには？

NVIDIA JetsonデバイスにUltralytics YOLOv8 をデプロイするのは簡単なプロセスです。まず、NVIDIA JetPack SDKでJetsonデバイスをフラッシュする。次に、ビルド済みのDockerイメージを使用して素早くセットアップするか、必要なパッケージを手動でインストールします。各アプローチの詳細な手順は、「Dockerでクイック・スタート」と「ネイティブ・インストールでスタート」のセクションにあります。

NVIDIA Jetsonデバイス上のYOLOv8 モデルには、どのようなパフォーマンスベンチマークが期待できますか？

YOLOv8 モデルを様々なNVIDIA Jetsonデバイスでベンチマークしたところ、大幅な性能向上が見られた。例えば、TensorRT フォーマットは最高の推論性能を発揮します。詳細比較表」セクションの表は、さまざまなモデル・フォーマットにおけるmAP50-95や推論時間などのパフォーマンス・メトリクスの包括的なビューを提供します。

NVIDIA JetsonにYOLOv8 をデプロイするのに、なぜTensorRT を使う必要があるのですか？

TensorRT は、NVIDIA Jetson 上でYOLOv8 モデルを展開する際に、その最適なパフォーマンスにより強く推奨されます。Jetson のGPU 機能を活用することで推論を加速し、最大限の効率とスピードを保証します。TensorRT に変換して推論を実行する方法については、 NVIDIA Jetson上でTensorRT を使用するセクションを参照してください。

NVIDIA JetsonにPyTorch 、Torchvisionをインストールするには？

NVIDIA JetsonにPyTorch 、Torchvisionをインストールするには、まずpip経由でインストールされた既存のバージョンをアンインストールしてください。次に、JetsonのARM64アーキテクチャに対応するPyTorch とTorchvisionのバージョンを手動でインストールします。このプロセスの詳細な手順は、 PyTorch と Torchvision のインストールのセクションに記載されています。

NVIDIA JetsonでYOLOv8 、パフォーマンスを最大化するためのベストプラクティスは？

YOLOv8 でNVIDIA Jetson のパフォーマンスを最大化するには、以下のベストプラクティスに従ってください：

1. MAXパワーモードを有効にして、すべてのCPU 、GPU コアを利用する。
2. Jetson Clocksを有効にして、すべてのコアを最大周波数で動作させる。
3. システム・メトリクスを監視するためのJetson Statsアプリケーションをインストールします。

コマンドやその他の詳細については、 NVIDIA Jetsonを使用する際のベストプラクティスのセクションを参照してください。

📅 Created 5 months ago ✏️ Updated 5 days ago

コメント