RTDETRv2 im Vergleich zu DAMO-YOLO
Computer Vision entwickelt sich ständig weiter, während Forschende und Ingenieure Modelle entwickeln, die Geschwindigkeit, Genauigkeit und Effizienz in Einklang bringen. Zwei bekannte Architekturen auf diesem Gebiet sind RTDETRv2 von Baidu und DAMO-YOLO von der Alibaba Group. Beide Modelle bringen die Echtzeit-Objekterkennung voran, folgen dabei aber grundlegend unterschiedlichen Architekturansätzen.
Dieser technische Vergleich behandelt ihre Architekturen, Trainingsmethoden und Bereitstellungsmöglichkeiten in der Praxis. Außerdem ordnet er die Modelle in das größere Ökosystem ein, insbesondere in die Ultralytics Platform und die Modellfamilie YOLO26.
Architektonische Innovationen#
Für Entwickler im Bereich maschinelles Lernen, die das richtige Werkzeug für den Produktionseinsatz auswählen müssen, ist es entscheidend, die Funktionsweise dieser Modelle zu verstehen.
RTDETRv2: der Transformer-Ansatz#
Aufbauend auf dem Erfolg des ursprünglichen RT-DETR verwendet RTDETRv2 einen hybriden Encoder und einen Transformer-Decoder. Dadurch kann das Modell den globalen Kontext effektiv verarbeiten und überlappende Objekte in dichten Szenen besonders gut unterscheiden. Der größte Vorteil dieser Architektur ist ihr natives NMS-freies Design (Non-Maximum-Unterdrückung). Durch den Wegfall der NMS-Nachverarbeitung vereinfacht RTDETRv2 die Inferenzverarbeitungskette und gewährleistet eine stabilere Latenz auf unterschiedlichen Hardwarekonfigurationen.
DAMO-YOLO: höhere CNN-Effizienz#
DAMO-YOLO bleibt hingegen in der CNN-basierten YOLO-Tradition verwurzelt, bringt aber einige bemerkenswerte Verbesserungen mit. Das Modell nutzt die Suche nach neuronalen Architekturen (NAS), um sein Backbone für eine effiziente Merkmalsextraktion zu optimieren. Außerdem kommen ein effizientes RepGFPN (reparametrisiertes allgemeines Merkmals-Pyramidennetzwerk) und ein ZeroHead-Design sowie AlignedOTA und Techniken zur Wissensdestillation zum Einsatz. Dank dieser Neuerungen erreicht DAMO-YOLO hohe Inferenzgeschwindigkeiten und behält gleichzeitig einen konkurrenzfähigen mAPval50-95-Wert.
RTDETRv2 setzt auf Aufmerksamkeitsmechanismen, um den globalen Merkmalskontext ohne NMS zu erfassen. DAMO-YOLO maximiert dagegen mit NAS und fortgeschrittener Destillation die Effizienz herkömmlicher CNNs. Dafür ist eine standardmäßige Nachbearbeitung erforderlich, die Architektur bietet jedoch auf bestimmter Hardware deutliche Geschwindigkeitsvorteile.
Leistungs- und Metrikvergleich#
Bei der Bewertung von Modellen für die Bereitstellung sind Leistungskennzahlen wie die mittlere Average Precision (mAP), die Inferenzgeschwindigkeit und die Anzahl der Parameter entscheidend. Die folgende Tabelle vergleicht die beiden Modellfamilien.
| Modell | Größe (Pixel) | mAPval50-95 | Geschwindigkeit CPU ONNX (ms) | Geschwindigkeit T4 TensorRT10 (ms) | Parameter (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
| DAMO-YOLOt | 640 | 42.0 | - | 2.32 | 8.5 | 18.1 |
| DAMO-YOLOs | 640 | 46.0 | - | 3.45 | 16.3 | 37.8 |
| DAMO-YOLOm | 640 | 49.2 | - | 5.09 | 28.2 | 61.8 |
| DAMO-YOLOl | 640 | 50.8 | - | 7.18 | 42.1 | 97.3 |
Analyse der Ergebnisse#
Wie die Tabelle zeigt, erzielt RTDETRv2-x mit einem mAPval50-95 von 54,3 die höchste Genauigkeit und demonstriert damit die Stärke der Transformer-Architektur bei anspruchsvollen Benchmarks wie dem COCO-Datensatz. Dafür sind jedoch deutlich mehr Parameter (76 Mio.) und FLOPs erforderlich.
DAMO-YOLOt (Tiny) ist dagegen sehr kompakt und benötigt nur 8,5M Parameter. Damit ist es eine schnelle Option für Umgebungen mit stark begrenztem CUDA-Speicher. DAMO-YOLO bietet für ältere Edge-Geräte generell einen günstigen Kompromiss zwischen Geschwindigkeit und Genauigkeit.
Ökosystem, Benutzerfreundlichkeit und der Vorteil von Ultralytics#
Eigenständige Repositories wie die offiziellen GitHub-Projekte von RT-DETR und DAMO-YOLO stellen zwar den Quellcode für das Training dieser Modelle bereit, doch ihre Integration in Produktionsverarbeitungsketten erfordert oft umfangreichen zusätzlichen Code und manuelle Optimierung.
Hier vereinfacht das Ultralytics-Ökosystem die Entwicklererfahrung erheblich. Ultralytics integriert Transformer-Detektoren wie das ursprüngliche RT-DETR direkt in die einheitliche API, sodass Nutzer Modelle mit einer einzigen Codezeile trainieren, validieren und exportieren können. Im Vergleich zu umfangreichen eigenständigen Transformer-Repositories benötigen Ultralytics-Modelle beim Training außerdem bekanntermaßen wenig Speicher.
Codebeispiel: Integration#
So führst du mit der Ultralytics-Python-Bibliothek eine Inferenz aus. Die API bleibt gleich, unabhängig davon, ob du ein Transformer-Modell oder ein modernes CNN verwendest.
from ultralytics import RTDETR, YOLO
# Ein RT-DETR-Modell für das Verständnis komplexer Szenen laden
model_rtdetr = RTDETR("rtdetr-l.pt")
# Neueste Ultralytics YOLO26-Version laden
model_yolo26 = YOLO("yolo26n.pt")
# Inferenz mit einem Beispielbild ausführen
results_rtdetr = model_rtdetr("https://ultralytics.com/images/bus.jpg")
results_yolo = model_yolo26("https://ultralytics.com/images/bus.jpg")
# Ergebnisse anzeigen
results_yolo[0].show()Mit der Ultralytics API kannst du deine trainierten Modelle exportieren und sie mit einem einfachen Befehl wie model.export(format="engine") in Formate wie TensorRT, ONNX oder CoreML konvertieren. Das erleichtert die Bereitstellung erheblich.
Ideale Anwendungsfälle#
Die Wahl zwischen diesen Architekturen hängt von den konkreten Anforderungen deines Projekts ab:
- RTDETRv2 eignet sich am besten für die serverseitige Verarbeitung mit reichlich VRAM. Dank der Erfassung des globalen Kontexts eignet sich das Modell für die medizinische Bildgebung und die Analyse großer Menschenmengen, bei denen häufig Verdeckungen auftreten.
- DAMO-YOLO eignet sich besonders für IoT-Anwendungen mit eingebetteten Systemen und schnelle industrielle Inspektionslinien, bei denen eine geringe Parameterzahl und eine hohe FPS-Rate zwingend erforderlich sind.
Die Zukunft: Ultralytics YOLO26#
RTDETRv2 und DAMO-YOLO haben beide ihre Vorzüge, doch die Computer Vision entwickelt sich rasant weiter. Für neue Projekte vereint das aktuelle Ultralytics YOLO26 Geschwindigkeit, Genauigkeit und eine gute Entwicklererfahrung.
YOLO26 nutzt ein End-to-End-Design ohne NMS und bietet damit den wichtigsten Vorteil von Transformern ohne deren hohen Rechenaufwand. Der MuSGD-Optimierer, inspiriert vom Training großer Sprachmodelle, sorgt für eine stabile und schnelle Konvergenz. Dank DFL Removal (Distribution Focal Loss wurde entfernt, um den Export zu vereinfachen und die Kompatibilität mit Edge-Geräten und Geräten mit geringem Stromverbrauch zu verbessern) erzielt YOLO26n eine bis zu 43 % schnellere CPU-Inferenz als YOLO11n und eignet sich damit hervorragend für Edge-Computing. Auch ProgLoss + STAL (Progressive Loss und eine auf kleine Ziele abgestimmte Label-Zuweisung) verbessert die Erkennung kleiner Objekte deutlich, was für IoT, Robotik und Luftbilder entscheidend ist.
Anders als Modelle, die ausschließlich Begrenzungsrahmen erkennen, unterstützt die YOLO26-Familie Aufgaben von der Instanzsegmentierung und Posenschätzung bis hin zu orientierten Begrenzungsrahmen (OBB). All diese Aufgaben lassen sich über die Ultralytics Platform verwalten.
Modelldetails und Referenzen#
RTDETRv2#
- Autoren: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang und Yi Liu
- Organisation: Baidu
- Datum: 2024-07-24
- arXiv: 2407.17140
- GitHub: RT-DETR-Repository
DAMO-YOLO#
- Autoren: Xianzhe Xu, Yiqi Jiang, Weihua Chen, Yilun Huang, Yuan Zhang und Xiuyu Sun
- Organisation: Alibaba Group
- Datum: 2022-11-23
- arXiv: 2211.15444v2
- GitHub: DAMO-YOLO-Repository
Weitere Vergleiche findest du in den Leitfäden zu RTDETRv2 vs. YOLO11 und DAMO-YOLO vs. YOLOv8. Dort erfährst du, wie diese Modelle im Vergleich zu früheren Generationen der Ultralytics-Familie abschneiden.
Kommentare
Stell eine Frage, teile deine Ergebnisse oder hilf jemand anderem.