RT-DETR von Baidu: Ein echtzeitfähiger Objektdetektor auf Basis eines Vision Transformers
Übersicht#
Der von Baidu entwickelte Real-Time Detection Transformer (RT-DETR) ist ein End-to-End-Objektdetektor, der Echtzeitleistung bei hoher Genauigkeit bietet. Er baut auf DETR auf, einem Transformer-Erkennungsframework ohne NMS, und ergänzt es um ein faltungsbasiertes Backbone sowie einen effizienten hybriden Encoder, um Echtzeitgeschwindigkeit zu erreichen. RT-DETR verarbeitet Merkmale verschiedener Maßstäbe effizient, indem es Interaktionen innerhalb eines Maßstabs von der Fusion über mehrere Maßstäbe hinweg trennt. Das Modell lässt sich flexibel anpassen: Die Inferenzgeschwindigkeit kann über verschiedene Decoderschichten geändert werden, ohne das Modell neu zu trainieren. RT-DETR erzielt die beste Leistung auf beschleunigten Backend-Systemen wie CUDA mit TensorRT.
Video ansehen: So verwendest du RT-DETR von Baidu zur Objekterkennung | Inferenz und Benchmarking mit Ultralytics
Übersicht über Baidus RT-DETR. Das Diagramm der RT-DETR-Modellarchitektur zeigt die letzten drei Stufen des Backbones {S3, S4, S5} als Eingabe für den Encoder. Der effiziente hybride Encoder wandelt Merkmale verschiedener Maßstäbe durch die Interaktion von Merkmalen innerhalb eines Maßstabs (AIFI) und das Modul zur Fusion von Merkmalen über mehrere Maßstäbe hinweg (CCFM) in eine Sequenz von Bildmerkmalen um. Die IoU-gestützte Auswahl von Abfragen wählt eine feste Anzahl von Bildmerkmalen als anfängliche Objektabfragen für den Decoder aus. Schließlich optimiert der Decoder mit zusätzlichen Vorhersageköpfen die Objektabfragen iterativ, um Boxen und Konfidenzwerte zu erzeugen (Quelle).
Wichtige Funktionen#
- Effizienter hybrider Encoder: RT-DETR von Baidu verwendet einen effizienten hybriden Encoder, der Merkmale verschiedener Maßstäbe verarbeitet, indem er Interaktionen innerhalb eines Maßstabs von der Fusion über mehrere Maßstäbe hinweg trennt. Dieses auf einem Transformer basierende Design senkt die Rechenkosten und ermöglicht Objekterkennung in Echtzeit.
- IoU-bewusste Auswahl von Abfragen: RT-DETR von Baidu verbessert die Initialisierung von Objektabfragen durch eine IoU-bewusste Auswahl. So kann sich das Modell auf die relevantesten Objekte in der Szene konzentrieren und die Erkennungsgenauigkeit verbessern.
- Anpassbare Inferenzgeschwindigkeit: RT-DETR von Baidu unterstützt die flexible Anpassung der Inferenzgeschwindigkeit durch verschiedene Decoder-Schichten, ohne dass ein erneutes Training erforderlich ist. Diese Anpassungsfähigkeit erleichtert den praktischen Einsatz in verschiedenen Szenarien der Echtzeit-Objekterkennung.
- NMS-freies Framework: RT-DETR basiert auf DETR und macht eine Nachbearbeitung durch Non-Maximum Suppression überflüssig. Das vereinfacht die Erkennungspipeline und kann die Effizienz verbessern.
- Ankerfreie Erkennung: Als ankerfreier Detektor vereinfacht RT-DETR den Erkennungsprozess und kann die Verallgemeinerungsfähigkeit auf verschiedene Datensätze verbessern.
Vortrainierte Modelle#
Die Ultralytics Python-API stellt vortrainierte PaddlePaddle-RT-DETR-Modelle in verschiedenen Größen bereit:
- RT-DETR-L: 53,0 % AP auf COCO val2017, 114 FPS auf einer T4-GPU
- RT-DETR-X: 54,8 % AP auf COCO val2017, 74 FPS auf einer T4-GPU
Baidu veröffentlichte RTDETRv2 im Juli 2024. Diese Version verbessert die ursprüngliche Architektur weiter.
Anwendungsbeispiele#
Die folgenden Beispiele zeigen einfaches Training und einfache Inferenz mit RT-DETR. Modelle lassen sich außerdem über die Ultralytics Platform auf Cloud-GPUs trainieren.
from ultralytics import RTDETR
# Ein auf COCO vortrainiertes RT-DETR-l-Modell laden
model = RTDETR("rtdetr-l.pt")
# Modellinformationen anzeigen (optional)
model.info()
# Das Modell 100 Epochen lang mit dem COCO8-Beispieldatensatz trainieren
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)
# Mit dem RT-DETR-l-Modell eine Inferenz für das Bild „bus.jpg“ ausführen
results = model("path/to/bus.jpg")Setze deterministic=False, wenn du RT-DETR mit CUDA und PyTorch 2.0 oder höher trainierst. Die deformierbare Attention verwendet F.grid_sample, für das kein deterministischer CUDA-Backward-Pass verfügbar ist. Daher kann deterministic=True den Lauf nicht reproduzierbar machen und den Trainingsdurchsatz verringern. seed steuert weiterhin die Initialisierung der Gewichte, die Datenreihenfolge und die Auswahl der Augmentierungen.
Die vortrainierten RT-DETR-Gewichte unterstützen zwei Einstellungen zur Verringerung der Latenz während der Inferenz, ohne dass ein erneutes Training erforderlich ist:
eval_idx: Beende das Decoding früher. Verwende beim standardmäßigen Decoder mit 6 Schichten einen nullbasierten Index (0–5).eval_idx=5verwendet alle Schichten;eval_idx=3verwendet 4 Schichten. Auf einer T4-GPU mit TensorRT v10.11 verbessert sich RT-DETR-L von 8,0 ms / 52,7 mAP auf 7,4 ms / 52,5 mAP mit 4 Schichten.num_queries: Verringere die Anzahl der Objektabfragen (Standard: 300). Eine Verringerung auf 100 kann COCO in derselben Konfiguration auf 7,4 ms / 51,7 mAP beschleunigen. Bei Datensätzen mit weniger Objekten pro Bild ist der Rückgang von mAP normalerweise geringer; der Wert sollte jedoch über der maximal erwarteten Objektanzahl pro Bild liegen.
Beide Einstellungen können mAP verringern – prüfe die Abwägung anhand deines Datensatzes, bevor du das Modell einsetzt.
from ultralytics import RTDETR
rtdetr = RTDETR("rtdetr-l.pt")
head = rtdetr.model.model[-1]
# Wähle nach Prüfung des Verhältnisses zwischen Geschwindigkeit und Genauigkeit eine oder beide Einstellungen aus.
head.decoder.eval_idx = 3 # 4 von 6 Decoder-Schichten verwenden.
head.num_queries = 100 # Weniger Objektabfragen verwenden.
results = rtdetr("path/to/image.jpg")
# Beim Export werden dieselben Decoder- und Abfrageeinstellungen verwendet, auch bei TensorRT-Exporten.
rtdetr.export(format="engine", device=0, quantize=16)Unterstützte Aufgaben und Modi#
Diese Tabelle zeigt die Modelltypen, die jeweiligen vortrainierten Gewichte, die von den einzelnen Modellen unterstützten Aufgaben und die unterstützten Modi (Train, Val, Predict, Export), die mit ✅-Emojis gekennzeichnet sind.
| Modelltyp | Vortrainierte Gewichte | Unterstützte Aufgaben | Training | Validierung | Inferenz | Exportieren |
|---|---|---|---|---|---|---|
| RT-DETR Large | rtdetr-l.pt | Objekterkennung | ✅ | ✅ | ✅ | ✅ |
| RT-DETR Extra-Large | rtdetr-x.pt | Objekterkennung | ✅ | ✅ | ✅ | ✅ |
rtdetr-resnet50.yaml und rtdetr-resnet101.yaml werden nur als YAML-Architekturen bereitgestellt. Ultralytics veröffentlicht vortrainierte Gewichte nur für rtdetr-l und rtdetr-x. Erstelle Instanzen der ResNet-Varianten aus YAML (zum Beispiel RTDETR("rtdetr-resnet50.yaml")) und trainiere oder feinabstimme sie nach Bedarf.
Ideale Anwendungsfälle#
RT-DETR eignet sich besonders gut für Anwendungen, die sowohl hohe Genauigkeit als auch Echtzeit-Leistung erfordern:
- Autonomes Fahren: Für eine zuverlässige Umgebungswahrnehmung in selbstfahrenden Systemen, bei denen sowohl Geschwindigkeit als auch Genauigkeit entscheidend sind.
- Fortschrittliche Robotik: Ermöglicht Robotern, komplexe Aufgaben auszuführen, bei denen eine genaue Objekterkennung und Interaktion in dynamischen Umgebungen erforderlich sind.
- Medizinische Bildgebung: Für Anwendungen im Gesundheitswesen, bei denen eine präzise Objekterkennung für die Diagnostik entscheidend sein kann.
- Überwachungssysteme: Für Sicherheitsanwendungen, die eine Echtzeitüberwachung mit hoher Erkennungsgenauigkeit erfordern. Erfahre mehr über Sicherheitsalarmsysteme.
- Satellitenbildanalyse: Für die detaillierte Analyse hochauflösender Bilder, bei der das Verständnis des globalen Kontexts wichtig ist. Lies mehr über Computer Vision bei Satellitenbildern.
Zitate und Danksagungen#
Wenn du RT-DETR von Baidu in deiner Forschung oder Entwicklungsarbeit verwendest, zitiere bitte die Originalarbeit:
@misc{lv2023detrs,
title={DETRs Beat YOLOs on Real-time Object Detection},
author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
year={2023},
eprint={2304.08069},
archivePrefix={arXiv},
primaryClass={cs.CV}
}Für RTDETRv2 kannst du die Arbeit aus dem Jahr 2024 zitieren:
@misc{lv2024rtdetrv2,
title={RT-DETRv2: Improved Baseline with Bag-of-Freebies for Real-Time Detection Transformer},
author={Wenyu Lv and Yian Zhao and Qinyao Chang and Kui Huang and Guanzhong Wang and Yi Liu},
year={2024},
eprint={2407.17140},
archivePrefix={arXiv},
primaryClass={cs.CV}
}Wir möchten Baidu und dem PaddlePaddle-Team dafür danken, dass sie diese wertvolle Ressource für die Computer-Vision-Community entwickelt haben und pflegen. Ihre Entwicklung des transformerbasierten Echtzeit-Objektdetektors RT-DETR wissen wir sehr zu schätzen.
Häufig gestellte Fragen#
RT-DETR (Echtzeit-Detektions-Transformer) von Baidu ist ein echtzeitfähiger, Transformer-basierter Objektdetektor. Der effiziente hybride Encoder verarbeitet Merkmale verschiedener Skalen, indem er Interaktionen innerhalb einer Skala von der Fusion zwischen Skalen entkoppelt. Durch die Abfrageauswahl unter Berücksichtigung des IoU konzentriert sich das Modell auf die relevantesten Objekte und verbessert so die Erkennungsgenauigkeit. Die Inferenzgeschwindigkeit lässt sich durch Anpassen der Decoder-Schichten ohne erneutes Training verändern. Dadurch eignet sich RT-DETR für verschiedene Szenarien der Echtzeit-Objekterkennung.
Verwende die Ultralytics-Python-API, um die vortrainierten PaddlePaddle-RT-DETR-Modelle zu laden. So lädst du beispielsweise das auf COCO vortrainierte Modell RT-DETR-l, optimierst es weiter und führst eine Inferenz aus:
Beispielfrom ultralytics import RTDETR # Ein auf COCO vortrainiertes RT-DETR-l-Modell laden model = RTDETR("rtdetr-l.pt") # Modellinformationen anzeigen (optional) model.info() # Das Modell 100 Epochen lang mit dem COCO8-Beispieldatensatz trainieren results = model.train(data="coco8.yaml", epochs=100, imgsz=640) # Mit dem RT-DETR-l-Modell eine Inferenz für das Bild „bus.jpg“ ausführen results = model("path/to/bus.jpg")RT-DETR von Baidu kombiniert einen effizienten hybriden Encoder mit einer IoU-bewussten Auswahl von Abfragen. Dadurch sinken die Rechenkosten bei gleichzeitig hoher Genauigkeit. Die Inferenzgeschwindigkeit lässt sich durch verschiedene Decoderschichten ohne erneutes Training anpassen. Das bietet Flexibilität, die bei Echtzeitanwendungen auf beschleunigten Backend-Systemen wie CUDA mit TensorRT nützlich ist. Außerdem erfasst die Transformer-Architektur mehr globalen Kontext als herkömmliche CNN-basierte Detektoren.
Mit RT-DETR von Baidu lässt sich die Inferenzgeschwindigkeit flexibel anpassen, indem verschiedene Decoderschichten verwendet werden, ohne das Modell erneut zu trainieren. So kannst du bei Echtzeit-Objekterkennungsaufgaben Geschwindigkeit und Genauigkeit gegeneinander abwägen: Verwende weniger Decoderschichten für eine schnellere Verarbeitung bei etwas geringerer Genauigkeit oder alle Schichten für möglichst genaue Erkennungen. Diese Funktion ist besonders nützlich, wenn Modelle auf Geräten mit unterschiedlichen Rechenkapazitäten eingesetzt werden.
Nein. Bei RT-DETR begrenzt
max_detdie Anzahl der nach der Inferenz zurückgegebenen Vorhersagen, erhöht aber nicht die Anzahl der vom Decoder erzeugten Objektabfragen. Die vortrainierten Ultralytics-RT-DETR-Prüfpunkte verwenden 300 Objektabfragen. Daher können sie pro Bild nicht mehr als 300 Erkennungen zurückgeben, selbst wenn dumax_detauf einen höheren Wert setzt.Verwende
max_det, um weniger Erkennungen zurückzugeben, zum Beispielmax_det=100, wenn du nur wenige Vorhersagen mit hoher Konfidenz benötigst. Wenn dein Datensatz mehr als 300 Objekte pro Bild enthalten kann, trainiere ein eigenes RT-DETR-Modell mit einer höheren Anzahl von Decoder-Abfragen (nq) in der Modell-YAML-Datei. Diesen Wert nach dem Training in einem vortrainierten Prüfpunkt zu ändern, ist nicht gleichwertig; damit die zusätzlichen Abfragen gelernt werden, ist ein erneutes Training erforderlich.Ja, RT-DETR-Modelle unterstützen die Ultralytics-Modi Training, Validierung, Vorhersage und Export. Das Ultralytics-Framework bietet über verschiedene Modellarchitekturen hinweg eine einheitliche API, sodass RT-DETR denselben Arbeitsablauf wie YOLO-Modelle verwendet.
Kommentare148
Stell eine Frage, teile deine Ergebnisse oder hilf jemand anderem.
PhucPhamSy
Hi all, Could you please let me know how to use all parameters in the appendix of the original paper, "https://arxiv.org/pdf/2304.08069"? Thanks!
1
Glenn JocherUltralyticsHey there! 👋
We're really glad you're interested in diving deep into the parameters detailed in the original paper. Specifically, for utilizing parameters as mentioned in the RT-DETR paper ("DETRs Beat YOLOs on Real-time Object Detection"), I recommend focusing on the key components such as the Efficient Hybrid Encoder, IoU-aware Query Selection, and adaptability in Inference Speed adjustments that make RT-DETR efficient.
Details on these components can be extrapolated to parameter usage within your model through our Python API. For instance, when initializing the RT-DETR model or adjusting inference speed, you would consider the different scales of pre-trained models available:
from ultralytics import RTDETR # For a larger model with potentially higher accuracy but lower FPS (Frames Per Second) model = RTDETR('rtdetr-l.pt') # For an extra-large model prioritizing accuracy over speed model_x = RTDETR('rtdetr-x.pt')Adjustments for inference speed and applying IoU-aware query selection can directly correlate with your focus during the
.train()or.predict()processes, especially understanding what goes behind each configuration setting in these functions.Unfortunately, we don't provide a direct mapping for every parameter mentioned in the appendix to code-level argument settings as the implementation abstracts many complexities for user convenience and to maintain the API's simplicity. However, understanding the RT-DETR's key features and translating that understanding into practical API usage is a great way to leverage the power of RT-DETR. 😊
For more tailored guidance, always feel free to ask or refer to our official documentation for specific examples and deeper insights.
Happy coding! 🚀
Murat Raimbekovhey @wba-zzu, thanks for raising this.
quick rundown of where things stand:
resnet50 / resnet101 - the architectures are already shipped as yaml configs:
you can build and train them straight from yaml:
from ultralytics import RTDETR model = RTDETR("rtdetr-resnet50.yaml") model.train(data="coco.yaml", epochs=100, imgsz=640)however, ultralytics does not publish pretrained weights for these. the only official rt-detr checkpoints in the ultralytics/assets releases are
rtdetr-l.ptandrtdetr-x.pt, both of which use the hgnetv2 backbone (not resnet). this is also flagged in the model docs under "architecture-only variants".resnet18 - not shipped. there is no
rtdetr-resnet18.yamlin the repo, so a resnet18 variant would need its own yaml and corresponding modules added.loading external pretrained weights: ultralytics builds the model from yaml, so the state_dict keys follow a pattern like
model.<index>.layer.<...>.conv.weight. weights from another implementation will not load directly - they would need a key-mapping / conversion step to match this layout.hope this helps!
Boao Wang想要将原版RT-DETR中的ResNet50和ResNet18以及ResNet101完全移植到Ultralytics,并且获得其预训练模型
995742853
您好,我想请问一下,在哪里有基于rtdetr-resnet50的预训练pt权重,我知道看到rtdetr-l以及x的预训练权重
Glenn JocherUltralytics目前 RT-DETR 文档 里公开提供的 Ultralytics 预训练权重只有
rtdetr-l.pt和rtdetr-x.pt;如果你找的是 ResNet50 版本,建议查看 Baidu 官方的 RT-DETR PyTorch 权重列表,其中提供的是rtdetr_r50vd_*.pth,不是 Ultralytics 直接发布的rtdetr-resnet50.pt,也欢迎直接在这里继续提问,方便 Ultralytics 团队跟进。 (docs.ultralytics.com)995742853
谢谢您的回复
maitianstudio-arch
How to use RT-DETRv2?
Glenn JocherUltralyticsUltralytics currently exposes the original RT-DETR pretrained weights (
rtdetr-l.pt,rtdetr-x.pt) via theRTDETRAPI; RT-DETRv2 pretrained weights/configs aren’t packaged inultralyticsyet, so if you share what RT-DETRv2 checkpoint you have (Paddle vs PyTorch) and how you’re trying to run it, we can point you to the right conversion/workflow—meanwhile you can use RT-DETR as shown in the RT-DETR docs.from ultralytics import RTDETR model = RTDETR("rtdetr-l.pt") results = model("path/to/image.jpg")
fxc0627
你好,请问RE-DETR模型适用于小目标工业缺陷检测吗?对于小目标检测有什么天然的优势?
wang18382140151-hub
你好,最近deim,dfine等对于rtdetr有了很好的改进,尤其是deim能很好的加速训练的速度,能将其整合进rtdetr中吗?
yuwencool
您好RT-DETR模型的推理支持model.track模式吗?
liyansong123456
RT-DETRv3 has been released. Does Ultralytics have plans to integrate it?
AK993
你好,rt-detr支持在转为rknn格式,并在rk3588上部署吗