RTDETRv2 vs. YOLO11
Neue Computer-Vision-Architekturen erweitern die Möglichkeiten auf Edge-Geräten und Cloud-Servern kontinuierlich. RTDETRv2 und YOLO11 sind zwei weit verbreitete Optionen für die Echtzeit-Objekterkennung. Beide Modelle leisten gute Arbeit, stehen jedoch für unterschiedliche Architekturansätze: einen Transformer-basierten Detektor und ein hochoptimiertes Faltungsneuronales Netz (CNN).
Dieser Vergleich behandelt die Architekturen, Leistungskennzahlen, Trainingsmethoden und idealen Einsatzbereiche beider Modelle, damit du das passende Modell für deine nächste Anwendung auswählen kannst.
RTDETRv2: Der Transformer-basierte Herausforderer#
RTDETRv2 wurde als Weiterentwicklung des ursprünglichen Real-Time Detection Transformer vorgestellt und wendet Aufmerksamkeitsmechanismen auf Merkmale mit mehreren Maßstäben aus einem CNN-Backbone an. Sein hybrider Encoder und Transformer-Decoder erfassen den globalen Bildkontext. Das hilft bei der Erkennung stark überlappender Objekte in komplexen Szenen.
Modelldetails:
- Autoren: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang und Yi Liu
- Organisation: Baidu
- Datum: 2024-07-24
- arXiv: 2407.17140
- GitHub: RT-DETR-Repository
- Dokumentation: RTDETRv2-Dokumentation
Stärken und Schwächen der Architektur#
Die wichtigste Neuerung von RTDETRv2 ist seine End-to-End-Architektur ohne NMS. Durch den Wegfall von Non-Maximum Suppression (NMS) wird die Nachverarbeitung vereinfacht. Außerdem wurden die Fähigkeiten zur Merkmalsextraktion über mehrere Maßstäbe im Vergleich zum ursprünglichen RT-DETR-Modell verbessert. So lassen sich Objekte unterschiedlicher Größe besser erkennen.
Da RTDETRv2 auf Transformern basiert, benötigt das Modell beim Training jedoch in der Regel mehr Arbeitsspeicher. Transformer konvergieren im Allgemeinen langsamer und benötigen mehr CUDA-Speicher als herkömmliche CNNs. Dadurch sind sie für Forschende mit handelsüblicher Hardware oder für den Einsatz in Umgebungen mit eingeschränkten Ressourcen für Edge-KI weniger zugänglich.
Ultralytics YOLO11: Effizienz von CNNs#
Aufbauend auf früherer YOLO-Forschung verfeinert Ultralytics YOLO11 die CNN-Architektur, um ein besseres Verhältnis zwischen Geschwindigkeit und Genauigkeit zu erzielen. Dabei bleibt das flexible, entwicklerfreundliche Ultralytics-Ökosystem erhalten.
Modelldetails:
- Autoren: Glenn Jocher und Jing Qiu
- Organisation: Ultralytics
- Datum: 27. September 2024
- GitHub: Ultralytics-Repository
Der Vorteil von Ultralytics#
Die größte Stärke von YOLO11 ist seine ausgewogene Leistung. Das Verhältnis zwischen Geschwindigkeit und Genauigkeit eignet sich für viele Bereitstellungsszenarien – von großen Clustern für Cloud Computing bis hin zu leichten Mobilgeräten.
Ultralytics-YOLO-Modelle benötigen beim Training und bei der Inferenz außerdem weniger Arbeitsspeicher. Im Gegensatz zu Transformermodellen, die den VRAM schnell ausschöpfen können, ermöglicht YOLO11 größere Batch-Größen auf handelsüblichen GPUs. YOLO11 bietet zudem Vielseitigkeit über die Objekterkennung hinaus und unterstützt von Haus aus Instanzsegmentierung, Bildklassifizierung, Posenschätzung und orientierte Begrenzungsrahmen (OBB).
Leistungs- und Metrikvergleich#
Die folgende Tabelle vergleicht Genauigkeit und Geschwindigkeit auf COCO. RTDETRv2 ist bei kleinen und mittleren Modellen geringfügig genauer, während YOLO11 fünf Modellgrößen bietet, darunter eine Nano-Variante, und bei jeder vergleichbaren Modellgröße eine geringere TensorRT-Latenz aufweist.
| Modell | Größe (Pixel) | mAPval50-95 | Geschwindigkeit CPU ONNX (ms) | Geschwindigkeit T4 TensorRT10 (ms) | Parameter (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
| YOLO11n | 640 | 39.5 | 56.1 | 1.5 | 2.6 | 6.5 |
| YOLO11s | 640 | 47.0 | 90.0 | 2.5 | 9.4 | 21.6 |
| YOLO11m | 640 | 51.5 | 183.2 | 4.7 | 20.1 | 68.1 |
| YOLO11l | 640 | 53.4 | 238.6 | 6.2 | 25.3 | 87.2 |
| YOLO11x | 640 | 54.7 | 462.8 | 11.3 | 56.9 | 195.3 |
YOLO11x erreicht 54,7 % mAPval, 0,4 Punkte mehr als RTDETRv2-x, und benötigt weniger FLOPs (195,3B gegenüber 259B) sowie eine kürzere TensorRT-Inferenzzeit (11,3 ms gegenüber 15,03 ms). YOLO11l erreicht mit 53,4 % denselben Wert wie RTDETRv2-l, läuft aber in 6,2 ms statt 9,76 ms. RTDETRv2-s und -m liegen vor YOLO11s und -m um 1,1 bzw. 0,4 Punkte, benötigen dafür aber die 1,6- bis 2-fache Latenz. Die Nano- und Small-Varianten von YOLO11 sind leichte Optionen für Geräte mit eingeschränkten Ressourcen, etwa den Raspberry Pi.
Ökosystem, Benutzerfreundlichkeit und Training#
Ultralytics-Modelle sind auf eine unkomplizierte Nutzung ausgelegt. Das Python-Paket ultralytics bietet eine einheitliche API für Datenerweiterung, verteiltes Training und den Modellexport. Das Forschungsrepository von RTDETRv2 erfordert mehr vorbereitenden Code und Konfiguration, während Ultralytics eine vollständige Pipeline von den Daten bis zur Bereitstellung bietet.
Das Ultralytics-Paket unterstützt neben YOLO-Modellen auch RT-DETR-Modelle. So können beide das gut gepflegte Ökosystem von Ultralytics nutzen, einschließlich der Anbindungen an Weights & Biases und Comet für die Nachverfolgung von Experimenten.
from ultralytics import RTDETR, YOLO
# Lade ein RTDETR-Modell über die Ultralytics-API
model_rtdetr = RTDETR("rtdetr-l.pt")
# Ein hochoptimiertes YOLO11-Modell laden
model_yolo = YOLO("yolo11n.pt")
# YOLO11 mit sehr geringem Speicherverbrauch trainieren
results = model_yolo.train(data="coco8.yaml", epochs=100, imgsz=640)
# Das trainierte YOLO-Modell ins ONNX-Format exportieren
model_yolo.export(format="onnx")Trainingseffizienz ist beim maschinellen Lernen wichtig. Ultralytics-Modelle starten mit vortrainierten Gewichten, sodass Transferlernen mit benutzerdefinierten Daten schnell konvergiert. Um Datensätze, Trainingsläufe und Bereitstellungsendpunkte ohne Programmierung zu verwalten, kannst du die Ultralytics Platform für einen integrierten MLOps-Workflow nutzen.
Anwendungen in der Praxis#
Die Wahl zwischen diesen Architekturen hängt oft von den konkreten Einschränkungen bei der Bereitstellung deines Projekts ab.
Wo RTDETRv2 seine Stärken ausspielt: Der Transformer-Backbone von RTDETRv2 ist besonders effektiv in Szenarien mit vielen dicht gedrängten, stark verdeckten Objekten, in denen der globale Kontext wichtig ist. Das Modell wird häufig in der akademischen Forschung und in Anwendungen eingesetzt, bei denen das Rechenbudget weniger wichtig ist als die Modellierung der Beziehungen zwischen Objekten.
Wo YOLO11 seine Stärken ausspielt: YOLO11 eignet sich gut für den praktischen Einsatz in der realen Welt. Dank des geringen Speicherbedarfs und der schnellen Inferenz ist das Modell passend für:
- Intelligente Fertigung: Echtzeit-Fehlererkennung an Produktionslinien mit Industrie-PCs.
- Landwirtschaft: Einsatz auf Drohnen zur Überwachung des Erntezustands in Echtzeit und für automatisierte Ernte-Robotik.
- Einzelhandelsanalysen: Gleichzeitige Verarbeitung mehrerer Kamerastreams für das Warteschlangenmanagement und die Bestandsverfolgung, ohne große Servercluster zu benötigen.
Anwendungsfälle und Empfehlungen#
Ob RT-DETR oder YOLO11 besser geeignet ist, hängt von den konkreten Projektanforderungen, den Einschränkungen bei der Bereitstellung und den Präferenzen für das Ökosystem ab.
Wann du RT-DETR wählen solltest#
RT-DETR eignet sich besonders für:
- Forschung zu Transformer-basierter Erkennung: Projekte, die Aufmerksamkeitsmechanismen und Transformer-Architekturen für die End-to-End-Objekterkennung ohne NMS untersuchen.
- Anwendungsfälle mit hohen Genauigkeitsanforderungen und flexibler Latenz: Anwendungen, bei denen die Erkennungsgenauigkeit oberste Priorität hat und eine etwas höhere Inferenzlatenz akzeptabel ist.
- Erkennung großer Objekte: Szenen mit überwiegend mittelgroßen bis großen Objekten, bei denen der globale Aufmerksamkeitsmechanismus von Transformern einen natürlichen Vorteil bietet.
Wann du YOLO11 wählen solltest#
YOLO11 wird empfohlen für:
- Bereitstellung am Rand des Netzwerks in der Produktion: Kommerzielle Anwendungen auf Geräten wie dem Raspberry Pi oder NVIDIA Jetson, bei denen Zuverlässigkeit und laufende Wartung entscheidend sind.
- Anwendungen für visuelle Aufgaben mit mehreren Funktionen: Projekte, die Erkennung, Segmentierung, Klassifizierung, Posenschätzung und OBB innerhalb eines einzigen einheitlichen Frameworks erfordern.
- Schnelle Prototypentwicklung und Bereitstellung: Teams, die mithilfe der optimierten Ultralytics-Python-API schnell von der Datenerfassung zum Produktionseinsatz gelangen müssen.
Wann du Ultralytics (YOLO26) wählen solltest#
Für die meisten neuen Projekte bietet Ultralytics YOLO26 die beste Kombination aus Leistung und Entwicklererfahrung:
- NMS-freie Bereitstellung auf Edge-Geräten: Anwendungen, die eine gleichbleibende Inferenz mit geringer Latenz ohne die Komplexität der Nachbearbeitung durch Non-Maximum Suppression erfordern.
- Umgebungen ohne GPU: Geräte ohne dedizierte GPU-Beschleunigung, bei denen die bis zu 43 % schnellere CPU-Inferenz von YOLO26n gegenüber YOLO11n einen entscheidenden Vorteil bietet.
- Erkennung kleiner Objekte: Anspruchsvolle Szenarien wie Luftaufnahmen von Drohnen oder die Analyse von IoT-Sensordaten, bei denen ProgLoss und STAL die Genauigkeit bei kleinen Objekten verbessern.
Ausblick: YOLO26 kommt#
Wenn du ein neues Projekt beginnst, solltest du auch Ultralytics YOLO26 in Betracht ziehen, das im Januar 2026 veröffentlicht wurde und das empfohlene Ultralytics-Modell ist. Es vereint Ideen aus beiden Ansätzen: Ein optionaler End-to-End-Kopf ohne NMS (nms=False, durch YOLOv10 in YOLO-Modelle eingeführt) entfernt wie bei RTDETRv2 die NMS-Nachverarbeitung und behält zugleich die Geschwindigkeit eines CNN bei.
YOLO26 verwendet den MuSGD-Optimierer, der von Trainingstechniken für LLMs inspiriert ist und für stabile, schnelle Konvergenz sorgt. YOLO26n ermöglicht eine bis zu 43 % schnellere CPU-Inferenz als YOLO11n, auch dank des Wegfalls von Distribution Focal Loss (DFL). Progressive Loss und Small-Target-Aware Label Assignment (ProgLoss + STAL) verbessern die Erkennung kleiner Objekte und machen YOLO26 zur empfohlenen Wahl für neue Computer-Vision-Pipelines.
Ob du YOLO11 wegen seiner bewährten Vielseitigkeit, RTDETRv2 wegen seiner Aufmerksamkeitsmechanismen oder YOLO26 wegen seiner Leistung auf Edge-Geräten wählst: Die Ultralytics-Dokumentation behandelt Training und Bereitstellung für YOLO11, YOLO26 und das ursprüngliche RT-DETR.
Kommentare1
Stell eine Frage, teile deine Ergebnisse oder hilf jemand anderem.
UltralyticsAssistantUltralytics
👋 Hello, thank you for starting this discussion about comparing RTDETRv2 and YOLO11 🚀! We’re thrilled to see your interest in exploring the strengths and ideal use cases of these models.
For those looking to dive deeper, the Comparison Guide is a great resource to start with. It highlights key differences and performance metrics, helping you make informed decisions based on your project needs.
If you have specific questions about YOLO11 performance or implementation, feel free to provide more details so we can assist better. For custom training or real-world applications, including dataset examples or logs would be immensely helpful!
💡 Pro Tip: Keep your
ultralyticspackage up to date to leverage the latest features and fixes. Simply run:pip install -U ultralyticsFor real-time discussions, join our Discord 🎧. Alternatively, connect with our community on Discourse or our Subreddit to share insights and experiences.
An Ultralytics engineer will review and assist with your discussion soon. Stay tuned! 😊