Schnellstart-Anleitung: NVIDIA Jetson mit Ultralytics YOLO11
Dieser umfassende Leitfaden bietet eine detaillierte Anleitung für den Einsatz von Ultralytics YOLO11 auf NVIDIA Jetson-Geräten. Darüber hinaus werden Leistungsbenchmarks vorgestellt, um die Fähigkeiten von YOLO11 auf diesen kleinen und leistungsstarken Geräten zu demonstrieren.
Beobachten: So richten Sie NVIDIA Jetson mit Ultralytics YOLO11
Hinweis
Diese Anleitung wurde sowohl mit dem Seeed Studio reComputer J4012 getestet, der auf dem NVIDIA Jetson Orin NX 16GB basiert und auf dem die neueste stabile JetPack-Version JP6.0 und die JetPack-Version JP5.1.3 läuft, als auch mit dem Seeed Studio reComputer J1020 v2, der auf dem NVIDIA Jetson Nano 4GB basiert und auf dem die JetPack-Version JP4.6.1 läuft. Es wird erwartet, dass es mit der gesamten NVIDIA Jetson-Hardware-Produktpalette funktioniert, einschließlich der neuesten und der älteren Modelle.
Was ist NVIDIA Jetson?
NVIDIA Jetson ist eine Reihe von eingebetteten Computerplatinen, die beschleunigte KI (künstliche Intelligenz) auf Edge-Geräte bringen sollen. Diese kompakten und leistungsstarken Geräte basieren auf der GPU Architektur von NVIDIA und sind in der Lage, komplexe KI-Algorithmen und Deep-Learning-Modelle direkt auf dem Gerät auszuführen, ohne auf Cloud-Computing-Ressourcen zurückgreifen zu müssen. Jetson-Boards werden häufig in der Robotik, in autonomen Fahrzeugen, in der industriellen Automatisierung und in anderen Anwendungen eingesetzt, bei denen KI-Inferenzen lokal mit geringer Latenz und hoher Effizienz ausgeführt werden müssen. Außerdem basieren diese Boards auf der ARM64-Architektur und verbrauchen im Vergleich zu herkömmlichen GPU -Computing-Geräten weniger Strom.
NVIDIA Jetson-Serie im Vergleich
Jetson Orin ist die neueste Iteration der NVIDIA Jetson-Familie, die auf der NVIDIA Ampere-Architektur basiert und im Vergleich zu den vorherigen Generationen eine drastisch verbesserte KI-Leistung bietet. In der folgenden Tabelle werden einige der Jetson-Geräte im Ökosystem verglichen.
Jetson AGX Orin 64GB | Jetson Orin NX 16GB | Jetson Orin Nano 8GB | Jetson AGX Xavier | Jetson Xavier NX | Jetson Nano | |
---|---|---|---|---|---|---|
AI-Leistung | 275 TOPS | 100 TOPS | 40 TOPs | 32 TOPS | 21 TOPS | 472 GFLOPS |
GPU | 2048 Kerne NVIDIA Ampere-Architektur GPU mit 64 Tensor Kernen | 1024 Kerne NVIDIA Ampere-Architektur GPU mit 32 Tensor Kernen | 1024 Kerne NVIDIA Ampere-Architektur GPU mit 32 Tensor Kernen | 512 Kerne NVIDIA Volta-Architektur GPU mit 64 Tensor Kernen | 384 Kerne NVIDIA Volta™ Architektur GPU mit 48 Tensor Kernen | 128 Kerne NVIDIA Maxwell™ Architektur GPU |
GPU Maximale Frequenz | 1,3 GHz | 918 MHz | 625 MHz | 1377 MHz | 1100 MHz | 921MHz |
CPU | 12 Kerne NVIDIA Arm® Cortex A78AE v8.2 64-bit CPU 3MB L2 + 6MB L3 | 8 Kerne NVIDIA Arm® Cortex A78AE v8.2 64-bit CPU 2MB L2 + 4MB L3 | 6-Kern Arm® Cortex®-A78AE v8.2 64-bit CPU 1,5MB L2 + 4MB L3 | 8 Kerne NVIDIA Carmel Arm®v8.2 64-bit CPU 8MB L2 + 4MB L3 | 6 Kerne NVIDIA Carmel Arm®v8.2 64-bit CPU 6MB L2 + 4MB L3 | Quad-Core Arm® Cortex®-A57 MPCore Prozessor |
CPU Maximale Frequenz | 2,2 GHz | 2,0 GHz | 1,5 GHz | 2,2 GHz | 1,9 GHz | 1.43GHz |
Speicher | 64 GB 256-Bit-LPDDR5 204,8 GB/s | 16GB 128-bit LPDDR5 102,4GB/s | 8GB 128-bit LPDDR5 68 GB/s | 32GB 256-bit LPDDR4x 136,5GB/s | 8GB 128-bit LPDDR4x 59,7GB/s | 4GB 64-bit LPDDR4 25.6GB/s" |
Eine detailliertere Vergleichstabelle finden Sie im Abschnitt Technische Daten auf der offiziellen NVIDIA Jetson-Seite.
Was ist NVIDIA JetPack?
NVIDIA Das JetPack SDK, das die Jetson-Module antreibt, ist die umfassendste Lösung und bietet eine vollständige Entwicklungsumgebung für die Erstellung von durchgängigen beschleunigten KI-Anwendungen und verkürzt die Markteinführungszeit. JetPack umfasst Jetson Linux mit Bootloader, Linux-Kernel, Ubuntu-Desktop-Umgebung und einem kompletten Satz von Bibliotheken zur Beschleunigung von GPU Computing, Multimedia, Grafik und Computer Vision. Außerdem enthält es Beispiele, Dokumentation und Entwickler-Tools für den Host-Computer und das Entwickler-Kit und unterstützt SDKs auf höherer Ebene wie DeepStream für Streaming-Videoanalyse, Isaac für Robotik und Riva für KI im Dialog.
Flash JetPack auf NVIDIA Jetson
Der erste Schritt, nachdem Sie ein NVIDIA Jetson-Gerät in die Hände bekommen haben, besteht darin, NVIDIA JetPack auf das Gerät zu flashen. Es gibt verschiedene Möglichkeiten, NVIDIA Jetson-Geräte zu flashen.
- Wenn Sie ein offizielles NVIDIA Development Kit wie das Jetson Orin Nano Developer Kit besitzen, können Sie ein Image herunterladen und eine SD-Karte mit JetPack zum Booten des Geräts vorbereiten.
- Wenn Sie ein anderes NVIDIA Development Kit besitzen, können Sie JetPack mit dem SDK Manager auf das Gerät flashen.
- Wenn Sie ein Seeed Studio reComputer J4012-Gerät besitzen, können Sie JetPack auf die mitgelieferte SSD flashen und wenn Sie ein Seeed Studio reComputer J1020 v2-Gerät besitzen, können Sie JetPack auf die eMMC/SSD flashen.
- Wenn Sie ein anderes Gerät eines Drittanbieters besitzen, das mit dem NVIDIA Jetson-Modul betrieben wird, wird empfohlen, die Befehlszeile zum Flashen zu verwenden.
Hinweis
Für die oben genannten Methoden 3 und 4 geben Sie nach dem Flashen des Systems und dem Booten des Geräts bitte "sudo apt update && sudo apt install nvidia-jetpack -y" auf dem Geräteterminal ein, um alle übrigen benötigten JetPack-Komponenten zu installieren.
JetPack-Unterstützung basierend auf dem Jetson-Gerät
Die folgende Tabelle zeigt NVIDIA JetPack-Versionen, die von verschiedenen NVIDIA Jetson-Geräten unterstützt werden.
JetPack 4 | JetPack 5 | JetPack 6 | |
---|---|---|---|
Jetson Nano | ✅ | ❌ | ❌ |
Jetson TX2 | ✅ | ❌ | ❌ |
Jetson Xavier NX | ✅ | ✅ | ❌ |
Jetson AGX Xavier | ✅ | ✅ | ❌ |
Jetson AGX Orin | ❌ | ✅ | ✅ |
Jetson Orin NX | ❌ | ✅ | ✅ |
Jetson Orin Nano | ❌ | ✅ | ✅ |
Schnellstart mit Docker
Der schnellste Weg, um mit Ultralytics YOLO11 auf NVIDIA Jetson zu starten, ist die Verwendung von vorgefertigten Docker-Images für Jetson. Schauen Sie in der obigen Tabelle nach und wählen Sie die JetPack-Version entsprechend dem Jetson-Gerät, das Sie besitzen.
Fahren Sie danach mit dem Abschnitt TensorRT auf NVIDIA Jetson verwenden fort.
Beginnen Sie mit der nativen Installation
FĂĽr eine native Installation ohne Docker fĂĽhren Sie bitte die folgenden Schritte aus.
Laufen auf JetPack 6.x
Ultralytics Paket installieren
Hier werden wir das Paket Ultralytics mit optionalen Abhängigkeiten auf dem Jetson installieren, damit wir die Modelle in andere Formate exportieren können. PyTorch Modelle in andere Formate exportieren können. Wir werden uns hauptsächlich auf NVIDIA TensorRT Exporte konzentrieren, da TensorRT dafür sorgt, dass wir die maximale Leistung aus den Jetson-Geräten herausholen können.
-
Paketliste aktualisieren, pip installieren und auf den neuesten Stand bringen
-
Installieren Sie
ultralytics
pip-Paket mit optionalen Abhängigkeiten -
Neustart des Geräts
PyTorch und Torchvision installieren
Die obige ultralytics Installation wird Torch und Torchvision installieren. Allerdings sind diese beiden Pakete, die ĂĽber pip installiert werden, nicht kompatibel mit der Jetson-Plattform, die auf der ARM64-Architektur basiert. Daher mĂĽssen wir manuell PyTorch pip wheel installieren und Torchvision aus dem Quellcode kompilieren und installieren.
Installieren Sie torch 2.3.0
und torchvision 0.18
gemäß JP6.0
sudo apt-get install libopenmpi-dev libopenblas-base libomp-dev -y
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.3.0-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.18.0a0+6043bc2-cp310-cp310-linux_aarch64.whl
Besuchen Sie die SeitePyTorch für Jetson, um Zugang zu allen verschiedenen Versionen von PyTorch für verschiedene JetPack-Versionen zu erhalten. Für eine detailliertere Liste der PyTorch, Torchvision Kompatibilität, besuchen Sie die PyTorch und Torchvision Kompatibilität Seite.
Installieren Sie onnxruntime-gpu
Die onnxruntime-gpu Paket, das in PyPI gehostet wird, hat keine aarch64
Binärdateien für den Jetson. Daher müssen wir dieses Paket manuell installieren. Dieses Paket wird für einige der Exporte benötigt.
Alle unterschiedlich onnxruntime-gpu
Pakete, die den verschiedenen JetPack- und Python -Versionen entsprechen, sind aufgelistet hier. Hier werden wir jedoch herunterladen und installieren onnxruntime-gpu 1.18.0
mit Python3.10
UnterstĂĽtzung.
wget https://nvidia.box.com/shared/static/48dtuob7meiw6ebgfsfqakc9vse62sg4.whl -O onnxruntime_gpu-1.18.0-cp310-cp310-linux_aarch64.whl
pip install onnxruntime_gpu-1.18.0-cp310-cp310-linux_aarch64.whl
Hinweis
onnxruntime-gpu
wird automatisch die neueste Numpy-Version wiederhergestellt. Wir mĂĽssen also numpy neu installieren, um 1.23.5
um ein Problem durch AusfĂĽhren zu beheben:
pip install numpy==1.23.5
Laufen auf JetPack 5.x
Ultralytics Paket installieren
Hier werden wir das Ultralytics Paket auf dem Jetson mit optionalen Abhängigkeiten installieren, damit wir die PyTorch Modelle in andere Formate exportieren können. Wir werden uns hauptsächlich auf NVIDIA TensorRT Exporte konzentrieren, da TensorRT dafür sorgen wird, dass wir die maximale Leistung aus den Jetson-Geräten herausholen können.
-
Paketliste aktualisieren, pip installieren und auf den neuesten Stand bringen
-
Installieren Sie
ultralytics
pip-Paket mit optionalen Abhängigkeiten -
Neustart des Geräts
PyTorch und Torchvision installieren
Die obige ultralytics Installation wird Torch und Torchvision installieren. Allerdings sind diese beiden Pakete, die ĂĽber pip installiert werden, nicht kompatibel mit der Jetson-Plattform, die auf der ARM64-Architektur basiert. Daher mĂĽssen wir manuell PyTorch pip wheel installieren und Torchvision aus dem Quellcode kompilieren und installieren.
-
Deinstallieren Sie die derzeit installierten Programme PyTorch und Torchvision
-
Installieren Sie PyTorch 2.1.0 gemäß JP5.1.3
sudo apt-get install -y libopenblas-base libopenmpi-dev wget https://developer.download.nvidia.com/compute/redist/jp/v512/pytorch/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl -O torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl pip install torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
-
Installieren Sie Torchvision v0.16.2 gemäß PyTorch v2.1.0
Besuchen Sie die SeitePyTorch für Jetson, um Zugang zu allen verschiedenen Versionen von PyTorch für verschiedene JetPack-Versionen zu erhalten. Für eine detailliertere Liste der PyTorch, Torchvision Kompatibilität, besuchen Sie die PyTorch und Torchvision Kompatibilität Seite.
Installieren Sie onnxruntime-gpu
Die onnxruntime-gpu Paket, das in PyPI gehostet wird, hat keine aarch64
Binärdateien für den Jetson. Daher müssen wir dieses Paket manuell installieren. Dieses Paket wird für einige der Exporte benötigt.
Alle unterschiedlich onnxruntime-gpu
Pakete, die den verschiedenen JetPack- und Python -Versionen entsprechen, sind aufgelistet hier. Hier werden wir jedoch herunterladen und installieren onnxruntime-gpu 1.17.0
mit Python3.8
UnterstĂĽtzung.
wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
Hinweis
onnxruntime-gpu
wird automatisch die neueste Numpy-Version wiederhergestellt. Wir mĂĽssen also numpy neu installieren, um 1.23.5
um ein Problem durch AusfĂĽhren zu beheben:
pip install numpy==1.23.5
Verwenden Sie TensorRT auf NVIDIA Jetson
Von allen Modellexportformaten, die von Ultralytics unterstützt werden, liefert TensorRT die beste Inferenzleistung bei der Arbeit mit NVIDIA Jetson-Geräten, und unsere Empfehlung ist, TensorRT mit Jetson zu verwenden. Wir haben auch ein detailliertes Dokument über TensorRT hier.
Modell in TensorRT umwandeln und Inferenz durchfĂĽhren
Das YOLO11n-Modell im Format PyTorch wird in TensorRT konvertiert, um Inferenzen mit dem exportierten Modell durchzufĂĽhren.
Beispiel
from ultralytics import YOLO
# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")
# Export the model to TensorRT
model.export(format="engine") # creates 'yolo11n.engine'
# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")
# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")
Verwenden Sie NVIDIA Deep Learning Accelerator (DLA)
NVIDIA Der Deep Learning Accelerator (DLA) ist eine spezielle Hardwarekomponente, die in NVIDIA Jetson-Geräte integriert ist und Deep Learning-Inferenzen im Hinblick auf Energieeffizienz und Leistung optimiert. Durch die Auslagerung von Aufgaben von GPU (wodurch dieser für intensivere Prozesse frei wird) ermöglicht DLA die Ausführung von Modellen mit geringerem Stromverbrauch bei gleichbleibend hohem Durchsatz - ideal für eingebettete Systeme und Echtzeit-KI-Anwendungen.
Die folgenden Jetson-Geräte sind mit DLA-Hardware ausgestattet:
- Jetson Orin NX 16GB
- Jetson AGX Orin-Serie
- Jetson AGX Xavier Serie
- Jetson Xavier NX-Serie
Beispiel
from ultralytics import YOLO
# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")
# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", half=True) # dla:0 or dla:1 corresponds to the DLA cores
# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")
# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")
# Export a YOLO11n PyTorch model to TensorRT format with DLA enabled (only works with FP16 or INT8)
yolo export model=yolo11n.pt format=engine device="dla:0" half=True # dla:0 or dla:1 corresponds to the DLA cores
# Run inference with the exported model on the DLA
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'
Hinweis
Besuchen Sie die Seite Exportieren, um auf zusätzliche Argumente beim Exportieren von Modellen in verschiedene Modellformate zuzugreifen
NVIDIA Jetson Orin YOLO11 Benchmarks
YOLO11 Die Benchmarks wurden vom Ultralytics Team auf 10 verschiedenen Modellformaten durchgeführt, um die Geschwindigkeit und Genauigkeit zu messen: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel , TF GraphDef , TF Lite, PaddlePaddle, NCNN. Die Benchmarks wurden auf dem Seeed Studio reComputer J4012 mit Jetson Orin NX 16GB bei FP32-Präzision und einer Standard-Eingangsgröße von 640 Bildern durchgeführt.
Vergleichstabelle
Obwohl alle Modellexporte mit NVIDIA Jetson arbeiten, haben wir nur PyTorch, TorchScript, TensorRT in die untenstehende Vergleichstabelle aufgenommen, da sie die GPU auf dem Jetson nutzen und garantiert die besten Ergebnisse liefern. Alle anderen Exporte nutzen nur den CPU und die Leistung ist nicht so gut wie die der drei oben genannten. Benchmarks fĂĽr alle Exporte finden Sie im Abschnitt nach diesem Diagramm.
Detaillierte Vergleichstabelle
Die folgende Tabelle zeigt die Benchmark-Ergebnisse für fünf verschiedene Modelle (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) in zehn verschiedenen Formaten (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel , TF GraphDef , TF Lite, PaddlePaddle, NCNN) und gibt den Status, die Größe, die mAP50-95(B) Metrik und die Inferenzzeit für jede Kombination an.
Leistung
Format | Status | Größe auf der Festplatte (MB) | mAP50-95(B) | Inferenzzeit (ms/im) |
---|---|---|---|---|
PyTorch | âś… | 5.4 | 0.6176 | 19.80 |
TorchScript | âś… | 10.5 | 0.6100 | 13.30 |
ONNX | âś… | 10.2 | 0.6082 | 67.92 |
OpenVINO | âś… | 10.4 | 0.6082 | 118.21 |
TensorRT (FP32) | âś… | 14.1 | 0.6100 | 7.94 |
TensorRT (FP16) | âś… | 8.3 | 0.6082 | 4.80 |
TensorRT (INT8) | âś… | 6.6 | 0.3256 | 4.17 |
TF SavedModel | âś… | 25.8 | 0.6082 | 185.88 |
TF GraphDef | âś… | 10.3 | 0.6082 | 256.66 |
TF Lite | âś… | 10.3 | 0.6082 | 284.64 |
PaddlePaddle | âś… | 20.4 | 0.6082 | 477.41 |
NCNN | âś… | 10.2 | 0.6106 | 32.18 |
Format | Status | Größe auf der Festplatte (MB) | mAP50-95(B) | Inferenzzeit (ms/im) |
---|---|---|---|---|
PyTorch | âś… | 18.4 | 0.7526 | 20.20 |
TorchScript | âś… | 36.5 | 0.7416 | 23.42 |
ONNX | âś… | 36.3 | 0.7416 | 162.01 |
OpenVINO | âś… | 36.4 | 0.7416 | 159.61 |
TensorRT (FP32) | âś… | 40.3 | 0.7416 | 13.93 |
TensorRT (FP16) | âś… | 21.7 | 0.7416 | 7.47 |
TensorRT (INT8) | âś… | 13.6 | 0.3179 | 5.66 |
TF SavedModel | âś… | 91.1 | 0.7416 | 316.46 |
TF GraphDef | âś… | 36.4 | 0.7416 | 506.71 |
TF Lite | âś… | 36.4 | 0.7416 | 842.97 |
PaddlePaddle | âś… | 72.5 | 0.7416 | 1172.57 |
NCNN | âś… | 36.2 | 0.7419 | 66.00 |
Format | Status | Größe auf der Festplatte (MB) | mAP50-95(B) | Inferenzzeit (ms/im) |
---|---|---|---|---|
PyTorch | âś… | 38.8 | 0.7595 | 36.70 |
TorchScript | âś… | 77.3 | 0.7643 | 50.95 |
ONNX | âś… | 76.9 | 0.7643 | 416.34 |
OpenVINO | âś… | 77.1 | 0.7643 | 370.99 |
TensorRT (FP32) | âś… | 81.5 | 0.7640 | 30.49 |
TensorRT (FP16) | âś… | 42.2 | 0.7658 | 14.93 |
TensorRT (INT8) | âś… | 24.3 | 0.4118 | 10.32 |
TF SavedModel | âś… | 192.7 | 0.7643 | 597.08 |
TF GraphDef | âś… | 77.0 | 0.7643 | 1016.12 |
TF Lite | âś… | 77.0 | 0.7643 | 2494.60 |
PaddlePaddle | âś… | 153.8 | 0.7643 | 3218.99 |
NCNN | âś… | 76.8 | 0.7691 | 192.77 |
Format | Status | Größe auf der Festplatte (MB) | mAP50-95(B) | Inferenzzeit (ms/im) |
---|---|---|---|---|
PyTorch | âś… | 49.0 | 0.7475 | 47.6 |
TorchScript | âś… | 97.6 | 0.7250 | 66.36 |
ONNX | âś… | 97.0 | 0.7250 | 532.58 |
OpenVINO | âś… | 97.3 | 0.7250 | 477.55 |
TensorRT (FP32) | âś… | 101.6 | 0.7250 | 38.71 |
TensorRT (FP16) | âś… | 52.6 | 0.7265 | 19.35 |
TensorRT (INT8) | âś… | 31.6 | 0.3856 | 13.50 |
TF SavedModel | âś… | 243.3 | 0.7250 | 895.24 |
TF GraphDef | âś… | 97.2 | 0.7250 | 1301.19 |
TF Lite | âś… | 97.2 | 0.7250 | 3202.93 |
PaddlePaddle | âś… | 193.9 | 0.7250 | 4206.98 |
NCNN | âś… | 96.9 | 0.7252 | 225.75 |
Format | Status | Größe auf der Festplatte (MB) | mAP50-95(B) | Inferenzzeit (ms/im) |
---|---|---|---|---|
PyTorch | âś… | 109.3 | 0.8288 | 85.60 |
TorchScript | âś… | 218.1 | 0.8308 | 121.67 |
ONNX | âś… | 217.5 | 0.8308 | 1073.14 |
OpenVINO | âś… | 217.8 | 0.8308 | 955.60 |
TensorRT (FP32) | âś… | 221.6 | 0.8307 | 75.84 |
TensorRT (FP16) | âś… | 113.1 | 0.8295 | 35.75 |
TensorRT (INT8) | âś… | 62.2 | 0.4783 | 22.23 |
TF SavedModel | âś… | 545.0 | 0.8308 | 1497.40 |
TF GraphDef | âś… | 217.8 | 0.8308 | 2552.42 |
TF Lite | âś… | 217.8 | 0.8308 | 7044.58 |
PaddlePaddle | âś… | 434.9 | 0.8308 | 8386.73 |
NCNN | âś… | 217.3 | 0.8304 | 486.36 |
Entdecken Sie weitere Benchmarking-Versuche von Seeed Studio auf verschiedenen Versionen der NVIDIA Jetson-Hardware.
Reproduzieren Sie unsere Ergebnisse
Um die oben genannten Ultralytics Benchmarks fĂĽr alle Exportformate zu reproduzieren, fĂĽhren Sie diesen Code aus:
Beispiel
Beachten Sie, dass die Benchmarking-Ergebnisse je nach der genauen Hardware- und Softwarekonfiguration eines Systems sowie der aktuellen Arbeitslast des Systems zum Zeitpunkt der Durchführung der Benchmarks variieren können. Die zuverlässigsten Ergebnisse erhalten Sie, wenn Sie einen Datensatz mit einer großen Anzahl von Bildern verwenden, d. h. data='coco8.yaml' (4 val images), or
data='coco.yaml'` (5000 val-Bilder).
Bewährte Praktiken bei der Verwendung von NVIDIA Jetson
Bei der Verwendung von NVIDIA Jetson gibt es eine Reihe von Best Practices, die befolgt werden sollten, um eine maximale Leistung auf dem NVIDIA Jetson mit YOLO11 zu ermöglichen.
-
Aktivieren des MAX-Power-Modus
Die Aktivierung des MAX Power Mode auf dem Jetson stellt sicher, dass alle CPU, GPU Kerne eingeschaltet sind.
-
Jetson-Uhren einschalten
Die Aktivierung von Jetson Clocks stellt sicher, dass alle CPU, GPU Kerne mit ihrer maximalen Frequenz getaktet sind.
-
Jetson Stats Anwendung installieren
Mit der Anwendung jetson stats können wir die Temperaturen der Systemkomponenten überwachen und andere Systemdetails überprüfen, wie z. B. CPU, GPU, RAM-Auslastung, Stromsparmodi ändern, maximale Taktfrequenz einstellen, JetPack-Informationen überprüfen
Nächste Schritte
Herzlichen GlĂĽckwunsch zur erfolgreichen Einrichtung von YOLO11 auf Ihrem NVIDIA Jetson! FĂĽr weitere Informationen und UnterstĂĽtzung besuchen Sie bitte Ultralytics YOLO11 Docs!
FAQ
Wie kann ich Ultralytics YOLO11 auf NVIDIA Jetson-Geräten einsetzen?
Die Bereitstellung von Ultralytics YOLO11 auf NVIDIA Jetson-Geräten ist ein unkomplizierter Prozess. Flashen Sie zunächst Ihr Jetson-Gerät mit dem NVIDIA JetPack SDK. Anschließend können Sie entweder ein vorgefertigtes Docker-Image für eine schnelle Einrichtung verwenden oder die erforderlichen Pakete manuell installieren. Detaillierte Schritte für jeden Ansatz finden Sie in den Abschnitten Quick Start with Docker und Start with Native Installation.
Welche Leistungsbenchmarks kann ich von YOLO11 Modellen auf NVIDIA Jetson-Geräten erwarten?
YOLO11 Modelle wurden auf verschiedenen NVIDIA Jetson-Geräten getestet und zeigten erhebliche Leistungsverbesserungen. Zum Beispiel liefert das TensorRT Format die beste Inferenzleistung. Die Tabelle im Abschnitt " Detaillierte Vergleichstabelle" bietet einen umfassenden Überblick über Leistungsmetriken wie mAP50-95 und Inferenzzeit für verschiedene Modellformate.
Warum sollte ich TensorRT fĂĽr die Bereitstellung von YOLO11 auf NVIDIA Jetson verwenden?
TensorRT wird aufgrund seiner optimalen Leistung für den Einsatz von YOLO11 Modellen auf NVIDIA Jetson dringend empfohlen. Es beschleunigt die Inferenz, indem es die GPU Fähigkeiten des Jetson nutzt und so maximale Effizienz und Geschwindigkeit gewährleistet. Weitere Informationen zur Konvertierung in TensorRT und zur Durchführung von Inferenzen finden Sie im Abschnitt Verwendung von TensorRT auf NVIDIA Jetson.
Wie kann ich PyTorch und Torchvision auf NVIDIA Jetson installieren?
Um PyTorch und Torchvision auf NVIDIA Jetson zu installieren, deinstallieren Sie zunächst alle vorhandenen Versionen, die möglicherweise über pip installiert wurden. Dann installieren Sie manuell die kompatiblen Versionen von PyTorch und Torchvision für die ARM64-Architektur des Jetson. Detaillierte Anweisungen für diesen Prozess finden Sie im Abschnitt PyTorch und Torchvision installieren.
Was sind die besten Methoden zur Maximierung der Leistung auf NVIDIA Jetson, wenn Sie YOLO11 verwenden?
Um die Leistung auf NVIDIA Jetson mit YOLO11 zu maximieren, befolgen Sie diese Best Practices:
- Aktivieren Sie den MAX Power Mode, um alle CPU und GPU Kerne zu nutzen.
- Aktivieren Sie Jetson Clocks, um alle Kerne mit ihrer maximalen Frequenz zu betreiben.
- Installieren Sie die Anwendung Jetson Stats zur Ăśberwachung der Systemmetriken.
Befehle und weitere Einzelheiten finden Sie im Abschnitt Bewährte Praktiken bei der Verwendung von NVIDIA Jetson.