RTDETRv2 und PP-YOLOE+
Die Computer-Vision-Forschung hat mehrere Architekturansätze für die Echtzeit-Objekterkennung hervorgebracht. RTDETRv2 und PP-YOLOE+ verfolgen grundlegend unterschiedliche Wege: Das eine Modell ist ein Detektions-Transformer, das andere ein faltender Detektor. Beide zielen auf leistungsstarke Objekterkennung ab, unterscheiden sich jedoch in ihrer Funktionsweise, ihren Trainingsmethoden und idealen Bereitstellungsszenarien.
Dieser Leitfaden vergleicht ihre Architekturen, Leistungskennzahlen und die Unterstützung durch ihr Ökosystem, damit Entwickler und Forschende das passende Modell für ihre Bereitstellungsanforderungen auswählen können.
Modellübersicht#
Bevor wir die Leistungsdaten analysieren, ist es wichtig, die Herkunft und die Architekturziele der beiden Modelle zu verstehen. Beide stammen von Forschungsteams bei Baidu, repräsentieren jedoch unterschiedliche Zweige der Objekterkennungsfamilie.
RTDETRv2#
RTDETRv2 baut auf dem ursprünglichen Real-Time Detection Transformer auf und kombiniert ein CNN-Backbone mit einem effizienten hybriden Encoder und einem Transformer-Decoder. Das charakteristische Merkmal ist die End-to-End-Vorhersage, durch die Non-Maximum-Unterdrückung (NMS) bei der Nachverarbeitung überflüssig wird.
- Autor: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang und Yi Liu
- Organisation: Baidu
- Datum: 2024-07-24
- arXiv: 2407.17140
- GitHub: RT-DETR-Repository
PP-YOLOE+#
PP-YOLOE+ ist eine verbesserte Version von PP-YOLOE aus dem Team von PaddleDetection und wurde für industrielle Anwendungen optimiert. Das Modell nutzt eine skalierbare CNN-Architektur mit einem anchorfreien Detektions-Head. Es wurde auf einen ausgewogenen Kompromiss zwischen Geschwindigkeit und Genauigkeit ausgelegt und führt Techniken wie den Efficient Task-aligned Head (ET-head) und Distribution Focal Loss ein, um die Erkennung kleiner Objekte zu verbessern.
- Autor: PaddlePaddle-Autoren
- Organisation: Baidu
- Datum: 2022-04-02
- arXiv: 2203.16250
- GitHub: PaddleDetection-Repository
Beide Modelle verfügen über eigenständige Forschungs-Repositories. Du kannst das ursprüngliche RT-DETR jedoch direkt im Ultralytics-Python-Paket testen, das eine einheitliche API und integrierte Exportoptionen bietet.
Architektonische Unterschiede#
Der grundlegende Unterschied zwischen diesen beiden Modellen liegt darin, wie sie visuellen Kontext verarbeiten und Vorhersagen erzeugen.
PP-YOLOE+ verwendet ein herkömmliches, aber stark optimiertes faltendes neuronales Netzwerk (CNN) als Backbone. Das Modell nutzt lokale rezeptive Felder zur Merkmalsextraktion und ist dadurch für Standardbereitstellungen schnell und effizient. Allerdings ist bei der Nachverarbeitung weiterhin NMS erforderlich, um überlappende Begrenzungsrahmen herauszufiltern. Das kann in dichten Szenen die Latenz erhöhen.
RTDETRv2 setzt dagegen einen hybriden Encoder und einen Transformer-Decoder ein. Dadurch kann das Modell den globalen Kontext im gesamten Bild erfassen. Der Aufmerksamkeitsmechanismus modelliert Beziehungen zwischen Objekten, sodass das Modell die endgültigen Begrenzungsrahmen direkt und ohne NMS ausgibt. Dieser End-to-End-Ansatz hält die Inferenzlatenz unabhängig von der Anzahl erkannter Objekte stabil.
Leistungskennzahlen und Vergleich#
Bei der Bewertung von YOLO-Leistungskennzahlen solltest du die Genauigkeit (mAP) gegen den Rechenaufwand (FLOPs) und die Inferenzgeschwindigkeit abwägen. Die folgende Tabelle zeigt die Leistung beider Modelle in den jeweiligen Größen.
| Modell | Größe (Pixel) | mAPval50-95 | Geschwindigkeit CPU ONNX (ms) | Geschwindigkeit T4 TensorRT10 (ms) | Parameter (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
| PP-YOLOE+t | 640 | 39.9 | - | 2.84 | 4.85 | 19.15 |
| PP-YOLOE+s | 640 | 43.7 | - | 2.62 | 7.93 | 17.36 |
| PP-YOLOE+m | 640 | 49.8 | - | 5.56 | 23.43 | 49.91 |
| PP-YOLOE+l | 640 | 52.9 | - | 8.36 | 52.2 | 110.07 |
| PP-YOLOE+x | 640 | 54.7 | - | 14.3 | 98.42 | 206.59 |
PP-YOLOE+x erzielt auf dem COCO-Datensatz mit 54,7 % den höchsten mAPval50-95 und liegt damit 0,4 Punkte vor RTDETRv2-x. Die TensorRT-Latenz ist etwas niedriger (14,3 ms gegenüber 15,03 ms), die Zahl der Parameter jedoch höher (98,42 Mio. gegenüber 76 Mio.). In der Large-Klasse ist RTDETRv2-l genauer als PP-YOLOE+l (53,4 % gegenüber 52,9 %) und benötigt weniger Parameter, während PP-YOLOE+l schneller ist (8,36 ms gegenüber 9,76 ms). PP-YOLOE+ bietet außerdem Tiny- und Small-Varianten mit weniger als 8 Mio. Parametern – eine Größenklasse, die RTDETRv2 nicht abdeckt und die sich für den Einsatz am Netzwerkrand eignet.
Der Ultralytics-Vorteil: YOLO26 ist da#
RTDETRv2 und PP-YOLOE+ sind beide leistungsfähige Detektoren, doch das Feld hat sich weiterentwickelt. Für Entwickler, die Geschwindigkeit, Genauigkeit und die Unterstützung durch ein Ökosystem in Einklang bringen möchten, ist Ultralytics YOLO26 das empfohlene Modell für neue Projekte.
YOLO26 bringt die End-to-End-Inferenz von Detektions-Transformern in ein CNN. Das Modell bietet einen optionalen End-to-End-Inferenzmodus ohne NMS (nms=False), der bei Aktivierung die NMS-Nachverarbeitung überspringt. Außerdem führt es den MuSGD-Optimierer ein, eine von Trainingsverfahren für große Sprachmodelle (LLM) inspirierte Mischung aus SGD und Muon, die für stabileres Training und schnellere Konvergenz sorgt.
Im Gegensatz zu großen Transformermodellen, die viel CUDA-Speicher benötigen, verzichtet YOLO26 auf DFL (Distribution Focal Loss) und ist für Edge-Computing optimiert. So bietet YOLO26n im Vergleich zu YOLO11n eine bis zu 43 % schnellere CPU-Inferenz.
YOLO26 kann mehr als nur Objekte erkennen und unterstützt standardmäßig Instanzsegmentierung, semantische Segmentierung, Tiefenschätzung, Bildklassifizierung, Posenschätzung und orientierte Begrenzungsrahmen (OBB). PP-YOLOE+ konzentriert sich dagegen auf die Erkennung von Begrenzungsrahmen.
Trainingsmethoden und Ökosystem#
Bei Trainingseffizienz und Benutzerfreundlichkeit unterscheidet sich das Ultralytics-Ökosystem am deutlichsten von eigenständigen Forschungs-Repositories. PP-YOLOE+ setzt auf das PaddlePaddle-Framework, und RTDETRv2 erfordert oft eine komplexe Einrichtung der Umgebung. Ultralytics-Modelle verwenden dagegen ein gemeinsames installierbares Paket und eine einheitliche API.
Die Ultralytics API bietet eine automatisierte Datensatzverwaltung und integrierte Hyperparameteroptimierung. YOLO-Modelle benötigen beim Training weniger Speicher als Transformer-Detektoren. Mit nur einem Befehl kannst du Modelle in Produktionsformate wie ONNX oder TensorRT exportieren.
Codebeispiel: Einfachere Inferenz#
Das folgende Beispiel führt RT-DETR zusammen mit dem empfohlenen Modell YOLO26 über das Ultralytics-Python-Paket aus:
from ultralytics import RTDETR, YOLO
# Ein RT-DETR-Modell initialisieren (Ultralytics unterstützt die ursprünglichen Modelle RT-DETR-L und RT-DETR-X)
model_rtdetr = RTDETR("rtdetr-l.pt")
# NMS-freie Inferenz mit einem Testbild ausführen
results_rtdetr = model_rtdetr("https://ultralytics.com/images/bus.jpg")
results_rtdetr[0].show()
# Neueste YOLO26-Version initialisieren
model_yolo26 = YOLO("yolo26n.pt")
# YOLO26-Modell mit optimierter Speichernutzung trainieren
model_yolo26.train(data="coco8.yaml", epochs=50, imgsz=640)
# Export nach TensorRT für den Einsatz am Edge
model_yolo26.export(format="engine")Praxisanwendungen und Anwendungsfälle#
Die Wahl zwischen diesen Architekturen hängt oft von den konkreten Hardware- und Anwendungsanforderungen ab.
- RTDETRv2 eignet sich hervorragend für serverseitige Umgebungen und das Verständnis komplexer Szenen. Die globale Aufmerksamkeit macht das Modell effektiv für das Menschenmengenmanagement und die dichte medizinische Bildanalyse, bei denen stark überlappende Objekte dazu führen können, dass NMS gültige Erkennungen unterdrückt.
- PP-YOLOE+ eignet sich für industrielle Prüfungen mit hoher Geschwindigkeit und für Teams, die bereits in das PaddlePaddle-Ökosystem investiert haben. Dank der geringen Parameterzahl in den kleineren Modellgrößen ist das Modell für bestimmte Robotikanwendungen geeignet.
- Ultralytics YOLO26 ist für die meisten kommerziellen Bereitstellungen die empfohlene Wahl. Progressive Loss und Small-Target-Aware Label Assignment (STAL) verbessern die Erkennung kleiner Objekte, was für den Drohnenbetrieb aus der Luft und die Überwachung des Verkehrs in Smart Cities wichtig ist.
Anwendungsfälle und Empfehlungen#
Die Wahl zwischen RT-DETR und PP-YOLOE+ hängt von deinen konkreten Projektanforderungen, Einsatzbeschränkungen und Präferenzen beim Ökosystem ab.
Wann du RT-DETR wählen solltest#
RT-DETR eignet sich besonders für:
- Forschung zu Transformer-basierter Erkennung: Projekte, die Aufmerksamkeitsmechanismen und Transformer-Architekturen für die End-to-End-Objekterkennung ohne NMS untersuchen.
- Anwendungsfälle mit hohen Genauigkeitsanforderungen und flexibler Latenz: Anwendungen, bei denen die Erkennungsgenauigkeit oberste Priorität hat und eine etwas höhere Inferenzlatenz akzeptabel ist.
- Erkennung großer Objekte: Szenen mit überwiegend mittelgroßen bis großen Objekten, bei denen der globale Aufmerksamkeitsmechanismus von Transformern einen natürlichen Vorteil bietet.
Wann du PP-YOLOE+ wählen solltest#
PP-YOLOE+ empfiehlt sich für:
- Integration in das PaddlePaddle-Ökosystem: Unternehmen mit einer bestehenden Infrastruktur auf Basis des PaddlePaddle-Frameworks und der Werkzeuge von Baidu.
- Edge-Bereitstellung mit Paddle Lite: Bereitstellung auf Hardware mit hochoptimierten Inferenzkernen speziell für Paddle Lite oder die Paddle-Inferenz-Engine.
- Erkennung mit hoher Genauigkeit auf Servern: Szenarien, in denen höchste Erkennungsgenauigkeit auf leistungsstarken GPU-Servern gefragt ist und die Abhängigkeit von einem bestimmten Framework keine Rolle spielt.
Wann du Ultralytics (YOLO26) wählen solltest#
Für die meisten neuen Projekte bietet Ultralytics YOLO26 die beste Kombination aus Leistung und Entwicklerfreundlichkeit:
- NMS-freie Bereitstellung auf Edge-Geräten: Anwendungen, die eine gleichbleibende Inferenz mit geringer Latenz ohne die Komplexität der Nachbearbeitung durch Non-Maximum Suppression erfordern.
- Umgebungen ohne GPU: Geräte ohne dedizierte GPU-Beschleunigung, bei denen die bis zu 43 % schnellere CPU-Inferenz von YOLO26 (YOLO26n gegenüber YOLO11n) einen entscheidenden Vorteil bietet.
- Erkennung kleiner Objekte: Anspruchsvolle Szenarien wie Luftaufnahmen von Drohnen oder die Analyse von IoT-Sensordaten, bei denen ProgLoss und STAL die Genauigkeit bei kleinen Objekten verbessern.
Fazit#
RTDETRv2 und PP-YOLOE+ zeigen, dass sich sowohl Transformer- als auch optimierte CNN-Architekturen für die Echtzeitdetektion eignen. Die Bereitstellung von Modellen aus separaten Forschungs-Codebasen kann jedoch die Produktionsplanung verzögern.
Die Ultralytics Platform vereint Annotation, Training und Bereitstellung in einem Arbeitsablauf. Mit integrierten Modellen wie YOLO11 oder dem neueren YOLO26 profitieren Teams von einem ausgewogenen Verhältnis zwischen Genauigkeit und Geschwindigkeit, geringerem Speicherbedarf und weniger Entwicklungsaufwand.
Kommentare
Stell eine Frage, teile deine Ergebnisse oder hilf jemand anderem.