Erste Schritte

RTDETRv2 im Vergleich zu YOLOv8

Computer-Vision-Modelle für die Objekterkennung gehören zunehmend zu einer von zwei Gruppen: Faltungsneuronale Netze (CNNs) und neuere Transformer-basierte Architekturen. Dieser technische Vergleich untersucht, wie RTDETRv2, ein Transformer für die Echtzeit-Erkennung, im Vergleich zu Ultralytics YOLOv8, einem der am weitesten verbreiteten CNN-Modelle, abschneidet. Beide Modelle sind leistungsfähig, doch ihre Architekturen führen zu deutlichen Unterschieden beim Training, bei den Bereitstellungsanforderungen und bei der Leistung.

Modellübersicht: RTDETRv2#

RTDETRv2 (Real-Time Detection Transformer, Version 2) baut auf dem ursprünglichen RT-DETR auf und optimiert dessen Transformer-Architektur für Echtzeit-Inferenz.

Wichtige technische Details:

Architektur und Stärken#

RTDETRv2 verwendet eine hybride Architektur, die einen CNN-Backbone mit einem Transformer-Encoder-Decoder kombiniert. So kann das Modell das gesamte Bild auf einmal berücksichtigen und komplexe Szenen mit überlappenden Objekten besser verarbeiten. Ein besonderes Merkmal ist das native End-to-End-Design, das die Nachverarbeitung mit Non-Maximum Suppression (NMS) überspringt. Dadurch wird die algorithmische Komplexität in den letzten Phasen der Erkennungspipeline verringert. Die Merkmale mit mehreren Maßstäben helfen dem Modell außerdem, sowohl große Strukturen als auch kleine Elemente im Hintergrund zu erkennen.

Schwächen#

Trotz ihres ausgeprägten Kontextverständnisses verursachen Transformer-basierte Architekturen wie RTDETRv2 beim Training hohe Rechenkosten. Sie benötigen mehr CUDA-Speicher und sind deshalb auf handelsüblicher Hardware schwieriger zu trainieren. Auch die Einrichtung eines benutzerdefinierten Datensatzes und die Abstimmung von Trainingshyperparametern im offiziellen Repository erfordern häufig Fachkenntnisse, da eine einsteigerfreundliche Softwareschnittstelle fehlt. Die Bereitstellung auf Edge-Geräten mit geringem Stromverbrauch, etwa älterer Raspberry-Pi-Hardware, kann ebenfalls schwierig sein, weil die Aufmerksamkeitslayer rechenintensiv sind.

Erfahre mehr über RTDETRv2

Modellübersicht: YOLOv8#

Seit seiner Veröffentlichung hat sich Ultralytics YOLOv8 als weit verbreiteter Standard für Computer Vision in der Produktion etabliert und verbindet eine einfache Entwicklererfahrung mit hoher Genauigkeit.

Wichtige technische Details:

Architektur und Stärken#

YOLOv8 verwendet eine ankerfreie CNN-Architektur mit einem entkoppelten Head. Dadurch verbessert sich die Genauigkeit bei der Objektlokalisierung und Klassifizierung gegenüber früheren YOLO-Generationen. Zu den wichtigsten Stärken des Modells zählen Effizienz und Vielseitigkeit. Die Architektur benötigt beim Training weniger Speicher als Vision-Transformer. So können Anwender auf handelsüblichen GPUs größere Batch-Größen verwenden. Das Ultralytics-Ökosystem bietet außerdem einen optimierten Workflow: Mit der einheitlichen Python-API kannst du Hyperparameter mit wenigen Codezeilen abstimmen, trainieren, validieren und exportieren.

Schwächen#

YOLOv8 verwendet in der Nachverarbeitungsphase weiterhin die herkömmliche NMS. Die Ultralytics-Engine erledigt diesen Schritt zwar effizient im Hintergrund, dennoch entsteht dadurch im Vergleich zu Architekturen ohne native NMS ein geringfügiger zusätzlicher Zeitaufwand bei der Nachverarbeitung.

Leistungs- und Metrikvergleich#

Die folgende Tabelle vergleicht die Genauigkeit auf COCO-Validierungsdaten (mAP), die CPU- und T4-TensorRT-Geschwindigkeit, die Parameterzahl und die FLOPs. Die beiden Modellfamilien setzen unterschiedliche Schwerpunkte in der Bereitstellungspipeline.

ModellGröße
(Pixel)
mAPval50-95Geschwindigkeit
CPU ONNX
(ms)
Geschwindigkeit
T4 TensorRT10
(ms)
Parameter
(M)
FLOPs
(B)
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259
YOLOv8n64037.380.41.473.28.7
YOLOv8s64044.9128.42.6611.228.6
YOLOv8m64050.2234.75.8625.978.9
YOLOv8l64052.9375.29.0643.7165.1
YOLOv8x64053.9479.114.3768.2257.8
Die Kennzahlen richtig interpretieren

RTDETRv2-x erreicht mit 54,3 eine geringfügig höhere Spitzen-mAP als YOLOv8x mit 53,9. Außerdem ist RTDETRv2 bei jeder vergleichbaren Modellgröße genauer. Bei kleineren Modellen ist YOLOv8 schneller: YOLOv8s läuft mit TensorRT fast doppelt so schnell wie RTDETRv2-s (2,66 ms gegenüber 5,03 ms), hat nahezu halb so viele Parameter, liegt bei der mAP aber 3,2 Punkte niedriger. Bei großen Modellen sind YOLOv8l und RTDETRv2-l hinsichtlich Geschwindigkeit und Größe ähnlich. Nur für YOLOv8 werden hier CPU-Geschwindigkeiten mit ONNX angegeben.

Speicherbedarf und Trainingseffizienz#

Die Trainingskosten sind sowohl für unabhängige Entwickler als auch für Unternehmensteams wichtig. Ultralytics-YOLO-Modelle benötigen während des Trainings typischerweise weniger CUDA-Speicher als Transformer-Architekturen. Ein standardmäßiges RTDETRv2-Modell kann zum Engpass auf einer Consumer-GPU werden, während YOLOv8 zuverlässig auf Hardware wie der NVIDIA RTX 4070 trainiert.

Ökosystem, API und Benutzerfreundlichkeit#

Auch das unterstützende Software-Framework ist ein wichtiger Unterscheidungsfaktor. Das Ultralytics-Ökosystem nimmt dir einen Großteil der technischen Arbeit ab. Aktive Entwicklung, umfassende Dokumentation und Unterstützung durch die Community auf Discord helfen dabei, Projekte voranzubringen.

YOLOv8 geht über die Objekterkennung hinaus und unterstützt von Haus aus Instanzsegmentierung, Bildklassifizierung, Posenschätzung und orientierte Begrenzungsrahmen (OBB). RTDETRv2 konzentriert sich ausschließlich auf die Erkennung.

Codebeispiel: Einheitliche Einfachheit#

Die Ultralytics-Python-API unterstützt beide Modellfamilien mit derselben Schnittstelle.

from ultralytics import RTDETR, YOLO

# Ein RT-DETR-Modell und ein YOLOv8-Modell laden
model_transformer = RTDETR("rtdetr-l.pt")
model_cnn = YOLO("yolov8l.pt")

# Vorhersage für ein Beispielbild mit derselben API ausführen
results_transformer = model_transformer("https://ultralytics.com/images/bus.jpg")
results_cnn = model_cnn("https://ultralytics.com/images/bus.jpg")

# YOLOv8 für den schnellen Edge-Einsatz nach ONNX exportieren
model_cnn.export(format="onnx")

Nach dem Training lässt sich YOLOv8 mit einer Codezeile in ONNX, TensorRT und OpenVINO exportieren, um hardwareübergreifend effizient Inferenz auszuführen.

Anwendungsfälle und Empfehlungen#

Die Wahl zwischen RT-DETR und YOLOv8 hängt von deinen konkreten Projektanforderungen, Deployment-Einschränkungen und Ökosystempräferenzen ab.

Wann du RT-DETR wählen solltest#

RT-DETR eignet sich besonders für:

  • Forschung zu Transformer-basierter Erkennung: Projekte, die Aufmerksamkeitsmechanismen und Transformer-Architekturen für die End-to-End-Objekterkennung ohne NMS untersuchen.
  • Anwendungsfälle mit hohen Genauigkeitsanforderungen und flexibler Latenz: Anwendungen, bei denen die Erkennungsgenauigkeit oberste Priorität hat und eine etwas höhere Inferenzlatenz akzeptabel ist.
  • Erkennung großer Objekte: Szenen mit überwiegend mittelgroßen bis großen Objekten, bei denen der globale Aufmerksamkeitsmechanismus von Transformern einen natürlichen Vorteil bietet.

Wann du YOLOv8 wählen solltest#

YOLOv8 empfiehlt sich für:

  • Vielseitige Bereitstellung für mehrere Aufgaben: Projekte, die ein bewährtes Modell für Erkennung, Segmentierung, Klassifizierung und Posenschätzung innerhalb des Ultralytics-Ökosystems erfordern.
  • Etablierte Produktivsysteme: Bestehende Produktivumgebungen, die bereits auf der YOLOv8-Architektur und stabilen, umfassend getesteten Bereitstellungspipelines basieren.
  • Umfangreiche Unterstützung durch Community und Ökosystem: Anwendungen, die von den zahlreichen YOLOv8-Anleitungen, Integrationen von Drittanbietern und aktiven Community-Ressourcen profitieren.

Wann du Ultralytics (YOLO26) wählen solltest#

Für die meisten neuen Projekte bietet Ultralytics YOLO26 die beste Kombination aus Leistung und Entwicklererfahrung:

  • NMS-freie Bereitstellung auf Edge-Geräten: Anwendungen, die eine gleichbleibende Inferenz mit geringer Latenz ohne die Komplexität der Nachbearbeitung durch Non-Maximum Suppression erfordern.
  • Umgebungen ohne GPU: Geräte ohne dedizierte GPU-Beschleunigung, bei denen die bis zu 43 % schnellere CPU-Inferenz von YOLO26n gegenüber YOLO11n einen entscheidenden Vorteil bietet.
  • Erkennung kleiner Objekte: Anspruchsvolle Szenarien wie Luftaufnahmen von Drohnen oder die Analyse von IoT-Sensordaten, bei denen ProgLoss und STAL die Genauigkeit bei kleinen Objekten verbessern.

Ein Blick in die Zukunft: Die Vorteile von YOLO26#

YOLOv8 ist nach wie vor ein Meilensteinmodell, doch die Computer Vision entwickelt sich schnell weiter. Für Teams, die 2026 neue Projekte beginnen, ist Ultralytics YOLO26 der empfohlene Nachfolger.

Wenn dich das NMS-freie Design von RTDETRv2 anspricht, bietet YOLO26 ein optionales End-to-End-Design ohne NMS (nms=False). Es verbindet die unkomplizierte Nachverarbeitung von Transformern mit der Geschwindigkeit von CNNs. YOLO26 verwendet außerdem den MuSGD-Optimierer, der Trainingstechniken für große Sprachmodelle (LLMs) auf Bildverarbeitungsmodelle überträgt und für stabileres Training sowie schnellere Konvergenz sorgt. Dank des Wegfalls von DFL (Distribution Focal Loss) wird der Export vereinfacht und die Kompatibilität mit Edge-Geräten und Geräten mit geringem Stromverbrauch verbessert. YOLO26n erzielt dadurch eine bis zu 43 % schnellere CPU-Inferenz als YOLO11n. Zusammen mit ProgLoss + STAL (Progressive Loss und Small-Target-Aware Label Assignment) für eine bessere Erkennung kleiner Objekte ist YOLO26 der empfohlene nächste Schritt nach YOLOv8 und RTDETRv2.

Weitere Modelloptionen findest du unter YOLO11. Oder lies den ausführlichen Vergleich von YOLOv10 und YOLOv8, um zu erfahren, wie sich die NMS-freie Architektur in der YOLO-Familie weiterentwickelt hat.

Kommentare1

Stell eine Frage, teile deine Ergebnisse oder hilf jemand anderem.

  1. CathyFisherGitHub(bearbeitet)

    Excellent technical comparison! RTDETRv2’s transformer-based architecture brings impressive accuracy and end-to-end detection without the need for NMS, which is quite innovative. However, this YOLOv8 comparison shows that v8 still excels in real-time performance, lighter deployment, and ease of customization. It’s clear that RTDETRv2 is pushing boundaries, but YOLOv8 remains a go-to for many practical applications due to its balance of speed and flexibility.