RT-DETR von Baidu: Ein auf einem Vision-Transformer basierender Echtzeit-Objektdetektor#

Übersicht#

Der Echtzeit-Detektions-Transformer (RT-DETR), entwickelt von Baidu, ist ein hochmoderner, durchgängiger Objektdetektor, der Echtzeit-Leistung bei gleichzeitig hoher Genauigkeit bietet. Er basiert auf der Idee von DETR (dem NMS-freien Framework) und führt zugleich ein konvolutionsbasiertes Backbone sowie einen effizienten hybriden Encoder ein, um Echtzeitgeschwindigkeit zu erreichen. RT-DETR verarbeitet Merkmale verschiedener Maßstäbe effizient, indem die Interaktion innerhalb eines Maßstabs von der Fusion über mehrere Maßstäbe hinweg entkoppelt wird. Das Modell ist sehr anpassungsfähig und unterstützt die flexible Anpassung der Inferenzgeschwindigkeit über verschiedene Decoder-Schichten, ohne dass ein erneutes Training erforderlich ist. RT-DETR zeichnet sich auf beschleunigten Backends wie CUDA mit TensorRT aus und übertrifft viele andere Echtzeit-Objektdetektoren.

Übersicht über Baidus RT-DETR. Das Diagramm der RT-DETR-Modellarchitektur zeigt die letzten drei Stufen des Backbones {S3, S4, S5} als Eingabe für den Encoder. Der effiziente hybride Encoder wandelt Merkmale verschiedener Maßstäbe durch die Interaktion von Merkmalen innerhalb eines Maßstabs (AIFI) und das Modul zur Fusion von Merkmalen über mehrere Maßstäbe hinweg (CCFM) in eine Sequenz von Bildmerkmalen um. Die IoU-gestützte Auswahl von Abfragen wählt eine feste Anzahl von Bildmerkmalen als anfängliche Objektabfragen für den Decoder aus. Schließlich optimiert der Decoder mit zusätzlichen Vorhersageköpfen die Objektabfragen iterativ, um Boxen und Konfidenzwerte zu erzeugen (Quelle).

Wichtige Funktionen#

• Effizienter hybrider Encoder: RT-DETR von Baidu verwendet einen effizienten hybriden Encoder, der Merkmale verschiedener Maßstäbe verarbeitet, indem er die Interaktion innerhalb eines Maßstabs von der Fusion über mehrere Maßstäbe hinweg entkoppelt. Dieses einzigartige, auf Vision Transformers basierende Design senkt den Rechenaufwand und ermöglicht die Objekterkennung in Echtzeit.
• IoU-gestützte Auswahl von Abfragen: RT-DETR von Baidu verbessert die Initialisierung von Objektabfragen durch eine IoU-gestützte Auswahl von Abfragen. Dadurch kann sich das Modell auf die relevantesten Objekte in der Szene konzentrieren und die Erkennungsgenauigkeit erhöhen.
• Anpassbare Inferenzgeschwindigkeit: RT-DETR von Baidu unterstützt die flexible Anpassung der Inferenzgeschwindigkeit durch verschiedene Decoder-Schichten, ohne dass ein erneutes Training erforderlich ist. Diese Anpassungsfähigkeit erleichtert den praktischen Einsatz in verschiedenen Szenarien der Echtzeit-Objekterkennung.
• NMS-freies Framework: RT-DETR basiert auf DETR und macht eine Nachbearbeitung durch Non-Maximum Suppression überflüssig. Das vereinfacht die Erkennungspipeline und kann die Effizienz verbessern.
• Ankerfreie Erkennung: Als ankerfreier Detektor vereinfacht RT-DETR den Erkennungsprozess und kann die Verallgemeinerungsfähigkeit auf verschiedene Datensätze verbessern.

Vortrainierte Modelle#

Die Ultralytics Python-API stellt vortrainierte PaddlePaddle-RT-DETR-Modelle in verschiedenen Größen bereit:

• RT-DETR-L: 53,0 % AP auf COCO val2017, 114 FPS auf einer T4-GPU
• RT-DETR-X: 54,8 % AP auf COCO val2017, 74 FPS auf einer T4-GPU

Außerdem veröffentlichte Baidu im Juli 2024 RTDETRv2, das die ursprüngliche Architektur mit verbesserten Leistungskennzahlen weiter optimiert.

Anwendungsbeispiele#

Dieses Beispiel enthält einfache Beispiele für das Training und die Inferenz mit RT-DETR. Die vollständige Dokumentation zu diesen und weiteren Modi findest du auf den Dokumentationsseiten zu Vorhersage, Training, Validierung und Export. Modelle können auch auf Cloud-GPUs über die Ultralytics-Plattform trainiert werden.

from ultralytics import RTDETR

# Ein auf COCO vortrainiertes RT-DETR-l-Modell laden
model = RTDETR("rtdetr-l.pt")

# Modellinformationen anzeigen (optional)
model.info()

# Das Modell 100 Epochen lang mit dem COCO8-Beispieldatensatz trainieren
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Mit dem RT-DETR-l-Modell eine Inferenz für das Bild „bus.jpg“ ausführen
results = model("path/to/bus.jpg")

from ultralytics import RTDETR

rtdetr = RTDETR("rtdetr-l.pt")
head = rtdetr.model.model[-1]

# Wähle nach Prüfung des Verhältnisses zwischen Geschwindigkeit und Genauigkeit eine oder beide Einstellungen aus.
head.decoder.eval_idx = 3  # 4 von 6 Decoder-Schichten verwenden.
head.num_queries = 100  # Weniger Objektabfragen verwenden.

results = rtdetr("path/to/image.jpg")

# Beim Export werden dieselben Decoder- und Abfrageeinstellungen verwendet, auch bei TensorRT-Exporten.
rtdetr.export(format="engine", device=0, quantize=16)

Unterstützte Aufgaben und Modi#

Diese Tabelle zeigt die Modelltypen, die jeweiligen vortrainierten Gewichte, die von jedem Modell unterstützten Aufgaben sowie die unterstützten Modi (Training, Validierung, Vorhersage, Export), die durch ✅-Emojis gekennzeichnet sind.

Ideale Anwendungsfälle#

RT-DETR eignet sich besonders gut für Anwendungen, die sowohl hohe Genauigkeit als auch Echtzeit-Leistung erfordern:

• Autonomes Fahren: Für eine zuverlässige Umgebungswahrnehmung in selbstfahrenden Systemen, in denen sowohl Geschwindigkeit als auch Genauigkeit entscheidend sind. Erfahre mehr über KI in selbstfahrenden Autos.
• Fortgeschrittene Robotik: Damit Roboter komplexe Aufgaben ausführen können, die eine präzise Objekterkennung und Interaktion in dynamischen Umgebungen erfordern. Entdecke die Rolle von KI in der Robotik.
• Medizinische Bildgebung: Für Anwendungen im Gesundheitswesen, bei denen eine präzise Objekterkennung für die Diagnose entscheidend sein kann. Entdecke KI im Gesundheitswesen.
• Überwachungssysteme: Für Sicherheitsanwendungen, die eine Echtzeitüberwachung mit hoher Erkennungsgenauigkeit erfordern. Erfahre mehr über Sicherheitsalarmsysteme.
• Satellitenbildanalyse: Für die detaillierte Analyse hochauflösender Bilder, bei der das Verständnis des globalen Kontexts wichtig ist. Lies mehr über Computer Vision bei Satellitenbildern.

Zitate und Danksagungen#

Wenn du RT-DETR von Baidu in deiner Forschung oder Entwicklungsarbeit verwendest, zitiere bitte die Originalarbeit:

@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Für RTDETRv2 kannst du die Arbeit aus dem Jahr 2024 zitieren:

@misc{lv2024rtdetrv2,
      title={RTDETRv2: All-in-One Detection Transformer Beats YOLO and DINO},
      author={Wenyu Lv and Yian Zhao and Qinyao Chang and Kui Huang and Guanzhong Wang and Yi Liu},
      year={2024},
      eprint={2407.17140},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Wir möchten Baidu und dem PaddlePaddle-Team dafür danken, dass sie diese wertvolle Ressource für die Computer-Vision-Community entwickelt haben und pflegen. Ihr Beitrag zum Fachgebiet durch die Entwicklung des auf Vision Transformers basierenden Echtzeit-Objektdetektors RT-DETR wird sehr geschätzt.

Häufig gestellte Fragen#