Baidus RT-DETR: Ein auf Vision Transformer basierender Objektdetektor für Echtzeitverarbeitung#

Übersicht#

Der von Baidu entwickelte Echtzeit-Erkennungstransformer (RT-DETR) ist ein moderner End-to-End-Objektdetektor, der Echtzeitleistung bei gleichzeitig hoher Genauigkeit bietet. Er basiert auf dem Konzept von DETR (dem NMS-freien Framework) und führt zugleich ein faltungsbasiertes Backbone sowie einen effizienten hybriden Encoder ein, um Echtzeitgeschwindigkeit zu erreichen. RT-DETR verarbeitet Merkmale aus mehreren Maßstäben effizient, indem Interaktionen innerhalb eines Maßstabs und die Fusion zwischen Maßstäben entkoppelt werden. Das Modell ist äußerst anpassungsfähig und unterstützt die flexible Anpassung der Inferenzgeschwindigkeit durch unterschiedliche Decoder-Schichten, ohne dass ein erneutes Training erforderlich ist. RT-DETR erzielt auf beschleunigten Backends wie CUDA mit TensorRT hervorragende Ergebnisse und übertrifft viele andere Objektdetektoren für Echtzeitanwendungen.

Übersicht über Baidus RT-DETR. Das Diagramm der RT-DETR-Modellarchitektur zeigt die letzten drei Stufen des Backbones {S3, S4, S5} als Eingabe für den Encoder. Der effiziente hybride Encoder wandelt Merkmale aus mehreren Maßstäben mithilfe der Interaktion von Merkmalen innerhalb eines Maßstabs (AIFI) und des Moduls zur Fusion von Merkmalen zwischen Maßstäben (CCFM) in eine Sequenz von Bildmerkmalen um. Die IoU-bewusste Auswahl von Abfragen wird verwendet, um eine feste Anzahl von Bildmerkmalen auszuwählen, die als anfängliche Objektabfragen für den Decoder dienen. Schließlich optimiert der Decoder mit zusätzlichen Vorhersageköpfen die Objektabfragen iterativ, um Boxen und Konfidenzwerte zu erzeugen (Quelle).

Wichtige Funktionen#

• Effizienter hybrider Encoder: Baidus RT-DETR verwendet einen effizienten hybriden Encoder, der Merkmale aus mehreren Maßstäben verarbeitet, indem Interaktionen innerhalb eines Maßstabs und die Fusion zwischen Maßstäben entkoppelt werden. Dieses einzigartige, auf Vision Transformer basierende Design senkt den Rechenaufwand und ermöglicht eine Objekterkennung in Echtzeit.
• IoU-bewusste Auswahl von Abfragen: Baidus RT-DETR verbessert die Initialisierung von Objektabfragen durch die Verwendung einer IoU-bewussten Auswahl von Abfragen. Dadurch kann sich das Modell auf die relevantesten Objekte in der Szene konzentrieren und die Erkennungsgenauigkeit verbessern.
• Anpassbare Inferenzgeschwindigkeit: Baidus RT-DETR unterstützt die flexible Anpassung der Inferenzgeschwindigkeit durch die Verwendung unterschiedlicher Decoder-Schichten, ohne dass ein erneutes Training erforderlich ist. Diese Anpassungsfähigkeit erleichtert den praktischen Einsatz in verschiedenen Szenarien der Echtzeitobjekterkennung.
• NMS-freies Framework: RT-DETR basiert auf DETR und macht eine Nachverarbeitung durch Non-Maximum Suppression überflüssig. Dadurch wird die Erkennungspipeline vereinfacht und möglicherweise die Effizienz verbessert.
• Ankerfreie Erkennung: Als ankerfreier Detektor vereinfacht RT-DETR den Erkennungsprozess und kann die Generalisierung über verschiedene Datensätze hinweg verbessern.

Vortrainierte Modelle#

Die Ultralytics Python API stellt vortrainierte RT-DETR-Modelle für PaddlePaddle in verschiedenen Größen bereit:

• RT-DETR-L: 53,0 % AP auf COCO val2017, 114 FPS auf einer T4-GPU
• RT-DETR-X: 54,8 % AP auf COCO val2017, 74 FPS auf einer T4-GPU

Zusätzlich hat Baidu im Juli 2024 RTDETRv2 veröffentlicht, das die ursprüngliche Architektur mit verbesserten Leistungskennzahlen weiter optimiert.

Verwendungsbeispiele#

Dieses Beispiel enthält einfache Beispiele für das Training und die Inferenz mit RT-DETR. Eine vollständige Dokumentation dieser und weiterer Modi findest du auf den Dokumentationsseiten zu Predict, Train, Val und Export. Modelle können außerdem über Ultralytics Platform auf Cloud-GPUs trainiert werden.

from ultralytics import RTDETR

# Load a COCO-pretrained RT-DETR-l model
model = RTDETR("rtdetr-l.pt")

# Display model information (optional)
model.info()

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the RT-DETR-l model on the 'bus.jpg' image
results = model("path/to/bus.jpg")

from ultralytics import RTDETR

rtdetr = RTDETR("rtdetr-l.pt")
head = rtdetr.model.model[-1]

# Choose one or both settings after validating the speed/accuracy trade-off.
head.decoder.eval_idx = 3  # Use 4 of 6 decoder layers.
head.num_queries = 100  # Use fewer object queries.

results = rtdetr("path/to/image.jpg")

# Export uses the same decoder and query settings, including TensorRT exports.
rtdetr.export(format="engine", device=0, quantize=16)

Unterstützte Aufgaben und Modi#

Diese Tabelle zeigt die Modelltypen, die spezifischen vortrainierten Gewichte, die von jedem Modell unterstützten Aufgaben und die verschiedenen unterstützten Modi (Train, Val, Predict, Export), die durch ✅-Emojis gekennzeichnet sind.

Ideale Anwendungsfälle#

RT-DETR eignet sich besonders für Anwendungen, die sowohl hohe Genauigkeit als auch Echtzeitleistung erfordern:

• Autonomes Fahren: Für eine zuverlässige Wahrnehmung der Umgebung in selbstfahrenden Systemen, bei denen sowohl Geschwindigkeit als auch Genauigkeit entscheidend sind. Erfahre mehr über KI in selbstfahrenden Autos.
• Fortgeschrittene Robotik: Ermöglicht Robotern die Ausführung komplexer Aufgaben, die eine präzise Objekterkennung und Interaktion in dynamischen Umgebungen erfordern. Erfahre mehr über die Rolle von KI in der Robotik.
• Medizinische Bildgebung: Für Anwendungen im Gesundheitswesen, bei denen Präzision bei der Objekterkennung für die Diagnostik entscheidend sein kann. Entdecke KI im Gesundheitswesen.
• Überwachungssysteme: Für Sicherheitsanwendungen, die eine Überwachung in Echtzeit mit hoher Erkennungsgenauigkeit erfordern. Erfahre mehr über Sicherheitsalarmsysteme.
• Analyse von Satellitenbildern: Für die detaillierte Analyse hochauflösender Bilder, bei der das Verständnis globaler Zusammenhänge wichtig ist. Lies mehr über Computer Vision in Satellitenbildern.

Zitate und Danksagungen#

Wenn du Baidus RT-DETR in deiner Forschungs- oder Entwicklungsarbeit verwendest, zitiere bitte das Originalpapier:

@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Für RTDETRv2 kannst du das Paper von 2024 zitieren:

@misc{lv2024rtdetrv2,
      title={RTDETRv2: All-in-One Detection Transformer Beats YOLO and DINO},
      author={Wenyu Lv and Yian Zhao and Qinyao Chang and Kui Huang and Guanzhong Wang and Yi Liu},
      year={2024},
      eprint={2407.17140},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Wir möchten Baidu und dem PaddlePaddle-Team für die Erstellung und Pflege dieser wertvollen Ressource für die Computer-Vision-Community danken. Ihr Beitrag zu diesem Bereich durch die Entwicklung des auf Vision Transformer basierenden Echtzeit-Objektdetektors RT-DETR wird sehr geschätzt.

FAQ#