Zum Inhalt springen

Schnellstart-Anleitung: NVIDIA Jetson mit Ultralytics YOLO11

Dieser umfassende Leitfaden bietet eine detaillierte Anleitung für den Einsatz von Ultralytics YOLO11 auf NVIDIA Jetson-Geräten. Darüber hinaus werden Leistungsbenchmarks vorgestellt, um die Fähigkeiten von YOLO11 auf diesen kleinen und leistungsstarken Geräten zu demonstrieren.



Beobachten: So richten Sie NVIDIA Jetson mit Ultralytics YOLO11

NVIDIA Jetson Ă–kosystem

Hinweis

Diese Anleitung wurde sowohl mit dem Seeed Studio reComputer J4012 getestet, der auf dem NVIDIA Jetson Orin NX 16GB basiert und auf dem die neueste stabile JetPack-Version JP6.0 und die JetPack-Version JP5.1.3 läuft, als auch mit dem Seeed Studio reComputer J1020 v2, der auf dem NVIDIA Jetson Nano 4GB basiert und auf dem die JetPack-Version JP4.6.1 läuft. Es wird erwartet, dass es mit der gesamten NVIDIA Jetson-Hardware-Produktpalette funktioniert, einschließlich der neuesten und der älteren Modelle.

Was ist NVIDIA Jetson?

NVIDIA Jetson ist eine Reihe von eingebetteten Computerplatinen, die beschleunigte KI (künstliche Intelligenz) auf Edge-Geräte bringen sollen. Diese kompakten und leistungsstarken Geräte basieren auf der GPU Architektur von NVIDIA und sind in der Lage, komplexe KI-Algorithmen und Deep-Learning-Modelle direkt auf dem Gerät auszuführen, ohne auf Cloud-Computing-Ressourcen zurückgreifen zu müssen. Jetson-Boards werden häufig in der Robotik, in autonomen Fahrzeugen, in der industriellen Automatisierung und in anderen Anwendungen eingesetzt, bei denen KI-Inferenzen lokal mit geringer Latenz und hoher Effizienz ausgeführt werden müssen. Außerdem basieren diese Boards auf der ARM64-Architektur und verbrauchen im Vergleich zu herkömmlichen GPU -Computing-Geräten weniger Strom.

NVIDIA Jetson-Serie im Vergleich

Jetson Orin ist die neueste Iteration der NVIDIA Jetson-Familie, die auf der NVIDIA Ampere-Architektur basiert und im Vergleich zu den vorherigen Generationen eine drastisch verbesserte KI-Leistung bietet. In der folgenden Tabelle werden einige der Jetson-Geräte im Ökosystem verglichen.

Jetson AGX Orin 64GB Jetson Orin NX 16GB Jetson Orin Nano 8GB Jetson AGX Xavier Jetson Xavier NX Jetson Nano
AI-Leistung 275 TOPS 100 TOPS 40 TOPs 32 TOPS 21 TOPS 472 GFLOPS
GPU 2048 Kerne NVIDIA Ampere-Architektur GPU mit 64 Tensor Kernen 1024 Kerne NVIDIA Ampere-Architektur GPU mit 32 Tensor Kernen 1024 Kerne NVIDIA Ampere-Architektur GPU mit 32 Tensor Kernen 512 Kerne NVIDIA Volta-Architektur GPU mit 64 Tensor Kernen 384 Kerne NVIDIA Volta™ Architektur GPU mit 48 Tensor Kernen 128 Kerne NVIDIA Maxwell™ Architektur GPU
GPU Maximale Frequenz 1,3 GHz 918 MHz 625 MHz 1377 MHz 1100 MHz 921MHz
CPU 12 Kerne NVIDIA Arm® Cortex A78AE v8.2 64-bit CPU 3MB L2 + 6MB L3 8 Kerne NVIDIA Arm® Cortex A78AE v8.2 64-bit CPU 2MB L2 + 4MB L3 6-Kern Arm® Cortex®-A78AE v8.2 64-bit CPU 1,5MB L2 + 4MB L3 8 Kerne NVIDIA Carmel Arm®v8.2 64-bit CPU 8MB L2 + 4MB L3 6 Kerne NVIDIA Carmel Arm®v8.2 64-bit CPU 6MB L2 + 4MB L3 Quad-Core Arm® Cortex®-A57 MPCore Prozessor
CPU Maximale Frequenz 2,2 GHz 2,0 GHz 1,5 GHz 2,2 GHz 1,9 GHz 1.43GHz
Speicher 64 GB 256-Bit-LPDDR5 204,8 GB/s 16GB 128-bit LPDDR5 102,4GB/s 8GB 128-bit LPDDR5 68 GB/s 32GB 256-bit LPDDR4x 136,5GB/s 8GB 128-bit LPDDR4x 59,7GB/s 4GB 64-bit LPDDR4 25.6GB/s"

Eine detailliertere Vergleichstabelle finden Sie im Abschnitt Technische Daten auf der offiziellen NVIDIA Jetson-Seite.

Was ist NVIDIA JetPack?

NVIDIA Das JetPack SDK, das die Jetson-Module antreibt, ist die umfassendste Lösung und bietet eine vollständige Entwicklungsumgebung für die Erstellung von durchgängigen beschleunigten KI-Anwendungen und verkürzt die Markteinführungszeit. JetPack umfasst Jetson Linux mit Bootloader, Linux-Kernel, Ubuntu-Desktop-Umgebung und einem kompletten Satz von Bibliotheken zur Beschleunigung von GPU Computing, Multimedia, Grafik und Computer Vision. Außerdem enthält es Beispiele, Dokumentation und Entwickler-Tools für den Host-Computer und das Entwickler-Kit und unterstützt SDKs auf höherer Ebene wie DeepStream für Streaming-Videoanalyse, Isaac für Robotik und Riva für KI im Dialog.

Flash JetPack auf NVIDIA Jetson

Der erste Schritt, nachdem Sie ein NVIDIA Jetson-Gerät in die Hände bekommen haben, besteht darin, NVIDIA JetPack auf das Gerät zu flashen. Es gibt verschiedene Möglichkeiten, NVIDIA Jetson-Geräte zu flashen.

  1. Wenn Sie ein offizielles NVIDIA Development Kit wie das Jetson Orin Nano Developer Kit besitzen, können Sie ein Image herunterladen und eine SD-Karte mit JetPack zum Booten des Geräts vorbereiten.
  2. Wenn Sie ein anderes NVIDIA Development Kit besitzen, können Sie JetPack mit dem SDK Manager auf das Gerät flashen.
  3. Wenn Sie ein Seeed Studio reComputer J4012-Gerät besitzen, können Sie JetPack auf die mitgelieferte SSD flashen und wenn Sie ein Seeed Studio reComputer J1020 v2-Gerät besitzen, können Sie JetPack auf die eMMC/SSD flashen.
  4. Wenn Sie ein anderes Gerät eines Drittanbieters besitzen, das mit dem NVIDIA Jetson-Modul betrieben wird, wird empfohlen, die Befehlszeile zum Flashen zu verwenden.

Hinweis

Für die oben genannten Methoden 3 und 4 geben Sie nach dem Flashen des Systems und dem Booten des Geräts bitte "sudo apt update && sudo apt install nvidia-jetpack -y" auf dem Geräteterminal ein, um alle übrigen benötigten JetPack-Komponenten zu installieren.

JetPack-Unterstützung basierend auf dem Jetson-Gerät

Die folgende Tabelle zeigt NVIDIA JetPack-Versionen, die von verschiedenen NVIDIA Jetson-Geräten unterstützt werden.

JetPack 4 JetPack 5 JetPack 6
Jetson Nano ✅ ❌ ❌
Jetson TX2 ✅ ❌ ❌
Jetson Xavier NX ✅ ✅ ❌
Jetson AGX Xavier ✅ ✅ ❌
Jetson AGX Orin ❌ ✅ ✅
Jetson Orin NX ❌ ✅ ✅
Jetson Orin Nano ❌ ✅ ✅

Schnellstart mit Docker

Der schnellste Weg, um mit Ultralytics YOLO11 auf NVIDIA Jetson zu starten, ist die Verwendung von vorgefertigten Docker-Images für Jetson. Schauen Sie in der obigen Tabelle nach und wählen Sie die JetPack-Version entsprechend dem Jetson-Gerät, das Sie besitzen.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t
t=ultralytics/ultralytics:latest-jetson-jetpack5
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t
t=ultralytics/ultralytics:latest-jetson-jetpack6
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Fahren Sie danach mit dem Abschnitt TensorRT auf NVIDIA Jetson verwenden fort.

Beginnen Sie mit der nativen Installation

FĂĽr eine native Installation ohne Docker fĂĽhren Sie bitte die folgenden Schritte aus.

Laufen auf JetPack 6.x

Ultralytics Paket installieren

Hier werden wir das Paket Ultralytics mit optionalen Abhängigkeiten auf dem Jetson installieren, damit wir die Modelle in andere Formate exportieren können. PyTorch Modelle in andere Formate exportieren können. Wir werden uns hauptsächlich auf NVIDIA TensorRT Exporte konzentrieren, da TensorRT dafür sorgt, dass wir die maximale Leistung aus den Jetson-Geräten herausholen können.

  1. Paketliste aktualisieren, pip installieren und auf den neuesten Stand bringen

    sudo apt update
    sudo apt install python3-pip -y
    pip install -U pip
    
  2. Installieren Sie ultralytics pip-Paket mit optionalen Abhängigkeiten

    pip install ultralytics[export]
    
  3. Neustart des Geräts

    sudo reboot
    

PyTorch und Torchvision installieren

Die obige ultralytics Installation wird Torch und Torchvision installieren. Allerdings sind diese beiden Pakete, die ĂĽber pip installiert werden, nicht kompatibel mit der Jetson-Plattform, die auf der ARM64-Architektur basiert. Daher mĂĽssen wir manuell PyTorch pip wheel installieren und Torchvision aus dem Quellcode kompilieren und installieren.

Installieren Sie torch 2.3.0 und torchvision 0.18 gemäß JP6.0

sudo apt-get install libopenmpi-dev libopenblas-base libomp-dev -y
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.3.0-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.18.0a0+6043bc2-cp310-cp310-linux_aarch64.whl

Besuchen Sie die SeitePyTorch für Jetson, um Zugang zu allen verschiedenen Versionen von PyTorch für verschiedene JetPack-Versionen zu erhalten. Für eine detailliertere Liste der PyTorch, Torchvision Kompatibilität, besuchen Sie die PyTorch und Torchvision Kompatibilität Seite.

Installieren Sie onnxruntime-gpu

Die onnxruntime-gpu Paket, das in PyPI gehostet wird, hat keine aarch64 Binärdateien für den Jetson. Daher müssen wir dieses Paket manuell installieren. Dieses Paket wird für einige der Exporte benötigt.

Alle unterschiedlich onnxruntime-gpu Pakete, die den verschiedenen JetPack- und Python -Versionen entsprechen, sind aufgelistet hier. Hier werden wir jedoch herunterladen und installieren onnxruntime-gpu 1.18.0 mit Python3.10 UnterstĂĽtzung.

wget https://nvidia.box.com/shared/static/48dtuob7meiw6ebgfsfqakc9vse62sg4.whl -O onnxruntime_gpu-1.18.0-cp310-cp310-linux_aarch64.whl
pip install onnxruntime_gpu-1.18.0-cp310-cp310-linux_aarch64.whl

Hinweis

onnxruntime-gpu wird automatisch die neueste Numpy-Version wiederhergestellt. Wir mĂĽssen also numpy neu installieren, um 1.23.5 um ein Problem durch AusfĂĽhren zu beheben:

pip install numpy==1.23.5

Laufen auf JetPack 5.x

Ultralytics Paket installieren

Hier werden wir das Ultralytics Paket auf dem Jetson mit optionalen Abhängigkeiten installieren, damit wir die PyTorch Modelle in andere Formate exportieren können. Wir werden uns hauptsächlich auf NVIDIA TensorRT Exporte konzentrieren, da TensorRT dafür sorgen wird, dass wir die maximale Leistung aus den Jetson-Geräten herausholen können.

  1. Paketliste aktualisieren, pip installieren und auf den neuesten Stand bringen

    sudo apt update
    sudo apt install python3-pip -y
    pip install -U pip
    
  2. Installieren Sie ultralytics pip-Paket mit optionalen Abhängigkeiten

    pip install ultralytics[export]
    
  3. Neustart des Geräts

    sudo reboot
    

PyTorch und Torchvision installieren

Die obige ultralytics Installation wird Torch und Torchvision installieren. Allerdings sind diese beiden Pakete, die ĂĽber pip installiert werden, nicht kompatibel mit der Jetson-Plattform, die auf der ARM64-Architektur basiert. Daher mĂĽssen wir manuell PyTorch pip wheel installieren und Torchvision aus dem Quellcode kompilieren und installieren.

  1. Deinstallieren Sie die derzeit installierten Programme PyTorch und Torchvision

    pip uninstall torch torchvision
    
  2. Installieren Sie PyTorch 2.1.0 gemäß JP5.1.3

    sudo apt-get install -y libopenblas-base libopenmpi-dev
    wget https://developer.download.nvidia.com/compute/redist/jp/v512/pytorch/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl -O torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
    pip install torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
    
  3. Installieren Sie Torchvision v0.16.2 gemäß PyTorch v2.1.0

    sudo apt install -y libjpeg-dev zlib1g-dev
    git clone https://github.com/pytorch/vision torchvision
    cd torchvision
    git checkout v0.16.2
    python3 setup.py install --user
    

Besuchen Sie die SeitePyTorch für Jetson, um Zugang zu allen verschiedenen Versionen von PyTorch für verschiedene JetPack-Versionen zu erhalten. Für eine detailliertere Liste der PyTorch, Torchvision Kompatibilität, besuchen Sie die PyTorch und Torchvision Kompatibilität Seite.

Installieren Sie onnxruntime-gpu

Die onnxruntime-gpu Paket, das in PyPI gehostet wird, hat keine aarch64 Binärdateien für den Jetson. Daher müssen wir dieses Paket manuell installieren. Dieses Paket wird für einige der Exporte benötigt.

Alle unterschiedlich onnxruntime-gpu Pakete, die den verschiedenen JetPack- und Python -Versionen entsprechen, sind aufgelistet hier. Hier werden wir jedoch herunterladen und installieren onnxruntime-gpu 1.17.0 mit Python3.8 UnterstĂĽtzung.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Hinweis

onnxruntime-gpu wird automatisch die neueste Numpy-Version wiederhergestellt. Wir mĂĽssen also numpy neu installieren, um 1.23.5 um ein Problem durch AusfĂĽhren zu beheben:

pip install numpy==1.23.5

Verwenden Sie TensorRT auf NVIDIA Jetson

Von allen Modellexportformaten, die von Ultralytics unterstützt werden, liefert TensorRT die beste Inferenzleistung bei der Arbeit mit NVIDIA Jetson-Geräten, und unsere Empfehlung ist, TensorRT mit Jetson zu verwenden. Wir haben auch ein detailliertes Dokument über TensorRT hier.

Modell in TensorRT umwandeln und Inferenz durchfĂĽhren

Das YOLO11n-Modell im Format PyTorch wird in TensorRT konvertiert, um Inferenzen mit dem exportierten Modell durchzufĂĽhren.

Beispiel

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")
# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine  # creates 'yolo11n.engine'

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

Verwenden Sie NVIDIA Deep Learning Accelerator (DLA)

NVIDIA Der Deep Learning Accelerator (DLA) ist eine spezielle Hardwarekomponente, die in NVIDIA Jetson-Geräte integriert ist und Deep Learning-Inferenzen im Hinblick auf Energieeffizienz und Leistung optimiert. Durch die Auslagerung von Aufgaben von GPU (wodurch dieser für intensivere Prozesse frei wird) ermöglicht DLA die Ausführung von Modellen mit geringerem Stromverbrauch bei gleichbleibend hohem Durchsatz - ideal für eingebettete Systeme und Echtzeit-KI-Anwendungen.

Die folgenden Jetson-Geräte sind mit DLA-Hardware ausgestattet:

  • Jetson Orin NX 16GB
  • Jetson AGX Orin-Serie
  • Jetson AGX Xavier Serie
  • Jetson Xavier NX-Serie

Beispiel

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", half=True)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")
# Export a YOLO11n PyTorch model to TensorRT format with DLA enabled (only works with FP16 or INT8)
yolo export model=yolo11n.pt format=engine device="dla:0" half=True  # dla:0 or dla:1 corresponds to the DLA cores

# Run inference with the exported model on the DLA
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

Hinweis

Besuchen Sie die Seite Exportieren, um auf zusätzliche Argumente beim Exportieren von Modellen in verschiedene Modellformate zuzugreifen

NVIDIA Jetson Orin YOLO11 Benchmarks

YOLO11 Die Benchmarks wurden vom Ultralytics Team auf 10 verschiedenen Modellformaten durchgeführt, um die Geschwindigkeit und Genauigkeit zu messen: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel , TF GraphDef , TF Lite, PaddlePaddle, NCNN. Die Benchmarks wurden auf dem Seeed Studio reComputer J4012 mit Jetson Orin NX 16GB bei FP32-Präzision und einer Standard-Eingangsgröße von 640 Bildern durchgeführt.

Vergleichstabelle

Obwohl alle Modellexporte mit NVIDIA Jetson arbeiten, haben wir nur PyTorch, TorchScript, TensorRT in die untenstehende Vergleichstabelle aufgenommen, da sie die GPU auf dem Jetson nutzen und garantiert die besten Ergebnisse liefern. Alle anderen Exporte nutzen nur den CPU und die Leistung ist nicht so gut wie die der drei oben genannten. Benchmarks fĂĽr alle Exporte finden Sie im Abschnitt nach diesem Diagramm.

NVIDIA Jetson Ă–kosystem

Detaillierte Vergleichstabelle

Die folgende Tabelle zeigt die Benchmark-Ergebnisse für fünf verschiedene Modelle (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) in zehn verschiedenen Formaten (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel , TF GraphDef , TF Lite, PaddlePaddle, NCNN) und gibt den Status, die Größe, die mAP50-95(B) Metrik und die Inferenzzeit für jede Kombination an.

Leistung

Format Status Größe auf der Festplatte (MB) mAP50-95(B) Inferenzzeit (ms/im)
PyTorch âś… 5.4 0.6176 19.80
TorchScript âś… 10.5 0.6100 13.30
ONNX âś… 10.2 0.6082 67.92
OpenVINO âś… 10.4 0.6082 118.21
TensorRT (FP32) âś… 14.1 0.6100 7.94
TensorRT (FP16) âś… 8.3 0.6082 4.80
TensorRT (INT8) âś… 6.6 0.3256 4.17
TF SavedModel âś… 25.8 0.6082 185.88
TF GraphDef âś… 10.3 0.6082 256.66
TF Lite âś… 10.3 0.6082 284.64
PaddlePaddle âś… 20.4 0.6082 477.41
NCNN âś… 10.2 0.6106 32.18
Format Status Größe auf der Festplatte (MB) mAP50-95(B) Inferenzzeit (ms/im)
PyTorch âś… 18.4 0.7526 20.20
TorchScript âś… 36.5 0.7416 23.42
ONNX âś… 36.3 0.7416 162.01
OpenVINO âś… 36.4 0.7416 159.61
TensorRT (FP32) âś… 40.3 0.7416 13.93
TensorRT (FP16) âś… 21.7 0.7416 7.47
TensorRT (INT8) âś… 13.6 0.3179 5.66
TF SavedModel âś… 91.1 0.7416 316.46
TF GraphDef âś… 36.4 0.7416 506.71
TF Lite âś… 36.4 0.7416 842.97
PaddlePaddle âś… 72.5 0.7416 1172.57
NCNN âś… 36.2 0.7419 66.00
Format Status Größe auf der Festplatte (MB) mAP50-95(B) Inferenzzeit (ms/im)
PyTorch âś… 38.8 0.7595 36.70
TorchScript âś… 77.3 0.7643 50.95
ONNX âś… 76.9 0.7643 416.34
OpenVINO âś… 77.1 0.7643 370.99
TensorRT (FP32) âś… 81.5 0.7640 30.49
TensorRT (FP16) âś… 42.2 0.7658 14.93
TensorRT (INT8) âś… 24.3 0.4118 10.32
TF SavedModel âś… 192.7 0.7643 597.08
TF GraphDef âś… 77.0 0.7643 1016.12
TF Lite âś… 77.0 0.7643 2494.60
PaddlePaddle âś… 153.8 0.7643 3218.99
NCNN âś… 76.8 0.7691 192.77
Format Status Größe auf der Festplatte (MB) mAP50-95(B) Inferenzzeit (ms/im)
PyTorch âś… 49.0 0.7475 47.6
TorchScript âś… 97.6 0.7250 66.36
ONNX âś… 97.0 0.7250 532.58
OpenVINO âś… 97.3 0.7250 477.55
TensorRT (FP32) âś… 101.6 0.7250 38.71
TensorRT (FP16) âś… 52.6 0.7265 19.35
TensorRT (INT8) âś… 31.6 0.3856 13.50
TF SavedModel âś… 243.3 0.7250 895.24
TF GraphDef âś… 97.2 0.7250 1301.19
TF Lite âś… 97.2 0.7250 3202.93
PaddlePaddle âś… 193.9 0.7250 4206.98
NCNN âś… 96.9 0.7252 225.75
Format Status Größe auf der Festplatte (MB) mAP50-95(B) Inferenzzeit (ms/im)
PyTorch âś… 109.3 0.8288 85.60
TorchScript âś… 218.1 0.8308 121.67
ONNX âś… 217.5 0.8308 1073.14
OpenVINO âś… 217.8 0.8308 955.60
TensorRT (FP32) âś… 221.6 0.8307 75.84
TensorRT (FP16) âś… 113.1 0.8295 35.75
TensorRT (INT8) âś… 62.2 0.4783 22.23
TF SavedModel âś… 545.0 0.8308 1497.40
TF GraphDef âś… 217.8 0.8308 2552.42
TF Lite âś… 217.8 0.8308 7044.58
PaddlePaddle âś… 434.9 0.8308 8386.73
NCNN âś… 217.3 0.8304 486.36

Entdecken Sie weitere Benchmarking-Versuche von Seeed Studio auf verschiedenen Versionen der NVIDIA Jetson-Hardware.

Reproduzieren Sie unsere Ergebnisse

Um die oben genannten Ultralytics Benchmarks fĂĽr alle Exportformate zu reproduzieren, fĂĽhren Sie diesen Code aus:

Beispiel

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmarks(data="coco8.yaml", imgsz=640)
# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml imgsz=640

Beachten Sie, dass die Benchmarking-Ergebnisse je nach der genauen Hardware- und Softwarekonfiguration eines Systems sowie der aktuellen Arbeitslast des Systems zum Zeitpunkt der Durchführung der Benchmarks variieren können. Die zuverlässigsten Ergebnisse erhalten Sie, wenn Sie einen Datensatz mit einer großen Anzahl von Bildern verwenden, d. h. data='coco8.yaml' (4 val images), ordata='coco.yaml'` (5000 val-Bilder).

Bewährte Praktiken bei der Verwendung von NVIDIA Jetson

Bei der Verwendung von NVIDIA Jetson gibt es eine Reihe von Best Practices, die befolgt werden sollten, um eine maximale Leistung auf dem NVIDIA Jetson mit YOLO11 zu ermöglichen.

  1. Aktivieren des MAX-Power-Modus

    Die Aktivierung des MAX Power Mode auf dem Jetson stellt sicher, dass alle CPU, GPU Kerne eingeschaltet sind.

    sudo nvpmodel -m 0
    
  2. Jetson-Uhren einschalten

    Die Aktivierung von Jetson Clocks stellt sicher, dass alle CPU, GPU Kerne mit ihrer maximalen Frequenz getaktet sind.

    sudo jetson_clocks
    
  3. Jetson Stats Anwendung installieren

    Mit der Anwendung jetson stats können wir die Temperaturen der Systemkomponenten überwachen und andere Systemdetails überprüfen, wie z. B. CPU, GPU, RAM-Auslastung, Stromsparmodi ändern, maximale Taktfrequenz einstellen, JetPack-Informationen überprüfen

    sudo apt update
    sudo pip install jetson-stats
    sudo reboot
    jtop
    

Jetson-Statistiken

Nächste Schritte

Herzlichen GlĂĽckwunsch zur erfolgreichen Einrichtung von YOLO11 auf Ihrem NVIDIA Jetson! FĂĽr weitere Informationen und UnterstĂĽtzung besuchen Sie bitte Ultralytics YOLO11 Docs!

FAQ

Wie kann ich Ultralytics YOLO11 auf NVIDIA Jetson-Geräten einsetzen?

Die Bereitstellung von Ultralytics YOLO11 auf NVIDIA Jetson-Geräten ist ein unkomplizierter Prozess. Flashen Sie zunächst Ihr Jetson-Gerät mit dem NVIDIA JetPack SDK. Anschließend können Sie entweder ein vorgefertigtes Docker-Image für eine schnelle Einrichtung verwenden oder die erforderlichen Pakete manuell installieren. Detaillierte Schritte für jeden Ansatz finden Sie in den Abschnitten Quick Start with Docker und Start with Native Installation.

Welche Leistungsbenchmarks kann ich von YOLO11 Modellen auf NVIDIA Jetson-Geräten erwarten?

YOLO11 Modelle wurden auf verschiedenen NVIDIA Jetson-Geräten getestet und zeigten erhebliche Leistungsverbesserungen. Zum Beispiel liefert das TensorRT Format die beste Inferenzleistung. Die Tabelle im Abschnitt " Detaillierte Vergleichstabelle" bietet einen umfassenden Überblick über Leistungsmetriken wie mAP50-95 und Inferenzzeit für verschiedene Modellformate.

Warum sollte ich TensorRT fĂĽr die Bereitstellung von YOLO11 auf NVIDIA Jetson verwenden?

TensorRT wird aufgrund seiner optimalen Leistung für den Einsatz von YOLO11 Modellen auf NVIDIA Jetson dringend empfohlen. Es beschleunigt die Inferenz, indem es die GPU Fähigkeiten des Jetson nutzt und so maximale Effizienz und Geschwindigkeit gewährleistet. Weitere Informationen zur Konvertierung in TensorRT und zur Durchführung von Inferenzen finden Sie im Abschnitt Verwendung von TensorRT auf NVIDIA Jetson.

Wie kann ich PyTorch und Torchvision auf NVIDIA Jetson installieren?

Um PyTorch und Torchvision auf NVIDIA Jetson zu installieren, deinstallieren Sie zunächst alle vorhandenen Versionen, die möglicherweise über pip installiert wurden. Dann installieren Sie manuell die kompatiblen Versionen von PyTorch und Torchvision für die ARM64-Architektur des Jetson. Detaillierte Anweisungen für diesen Prozess finden Sie im Abschnitt PyTorch und Torchvision installieren.

Was sind die besten Methoden zur Maximierung der Leistung auf NVIDIA Jetson, wenn Sie YOLO11 verwenden?

Um die Leistung auf NVIDIA Jetson mit YOLO11 zu maximieren, befolgen Sie diese Best Practices:

  1. Aktivieren Sie den MAX Power Mode, um alle CPU und GPU Kerne zu nutzen.
  2. Aktivieren Sie Jetson Clocks, um alle Kerne mit ihrer maximalen Frequenz zu betreiben.
  3. Installieren Sie die Anwendung Jetson Stats zur Ăśberwachung der Systemmetriken.

Befehle und weitere Einzelheiten finden Sie im Abschnitt Bewährte Praktiken bei der Verwendung von NVIDIA Jetson.

📅 Erstellt vor 8 Monaten ✏️ Aktualisiert vor 18 Tagen

Kommentare