RT-DETR de Baidu : un détecteur d’objets en temps réel basé sur un Vision Transformer
Présentation#
Real-Time Detection Transformer (RT-DETR), développé par Baidu, est un détecteur d’objets de bout en bout qui offre des performances en temps réel tout en conservant une grande précision. Il s’appuie sur DETR, un cadre de détection par transformeur sans NMS, auquel il ajoute un réseau de base convolutionnel et un encodeur hybride efficace pour atteindre une vitesse en temps réel. RT-DETR traite efficacement les caractéristiques multi-échelles en dissociant les interactions intra-échelle de la fusion inter-échelles. Le modèle est hautement adaptable : il permet d’ajuster la vitesse d’inférence en modifiant les couches du décodeur, sans réentraînement. RT-DETR donne les meilleurs résultats sur des moteurs accélérés tels que CUDA avec TensorRT.
À voir : Comment utiliser RT-DETR de Baidu pour la détection d’objets | Inférence et benchmarking avec Ultralytics
Présentation de Baidu RT-DETR. Le schéma d’architecture du modèle RT-DETR montre les trois dernières étapes du backbone {S3, S4, S5} comme entrée de l’encodeur. L’encodeur hybride efficace transforme les caractéristiques multi-échelles en une séquence de caractéristiques d’image grâce à l’interaction des caractéristiques intra-échelle (AIFI) et au module de fusion des caractéristiques inter-échelles (CCFM). La sélection de requêtes basée sur l’IoU sert à sélectionner un nombre fixe de caractéristiques d’image qui serviront de requêtes d’objet initiales pour le décodeur. Enfin, le décodeur et ses têtes de prédiction auxiliaires optimisent de manière itérative les requêtes d’objet pour générer des boîtes et des scores de confiance (source).
Fonctionnalités clés#
- Encodeur hybride efficace : RT-DETR de Baidu utilise un encodeur hybride efficace qui traite les caractéristiques multi-échelles en dissociant les interactions intra-échelle de la fusion inter-échelles. Cette conception basée sur les transformeurs réduit les coûts de calcul et permet la détection d’objets en temps réel.
- Sélection de requêtes tenant compte de l’IoU : RT-DETR de Baidu améliore l’initialisation des requêtes d’objets grâce à une sélection de requêtes tenant compte de l’IoU. Le modèle peut ainsi se concentrer sur les objets les plus pertinents de la scène, ce qui améliore la précision de détection.
- Vitesse d’inférence adaptable : RT-DETR de Baidu permet d’ajuster la vitesse d’inférence en utilisant différentes couches du décodeur, sans réentraînement. Cette adaptabilité facilite son application pratique dans divers scénarios de détection d’objets en temps réel.
- Framework sans NMS : basé sur DETR, RT-DETR élimine le post-traitement par suppression non maximale, ce qui simplifie le pipeline de détection et peut améliorer son efficacité.
- Détection sans ancres : en tant que détecteur sans ancres, RT-DETR simplifie le processus de détection et peut améliorer la généralisation à différents jeux de données.
Modèles préentraînés#
L’API Python d’Ultralytics fournit des modèles RT-DETR préentraînés avec PaddlePaddle, disponibles à différentes échelles :
- RT-DETR-L : 53,0 % AP sur COCO val2017, 114 FPS sur GPU T4
- RT-DETR-X : 54,8 % AP sur COCO val2017, 74 FPS sur GPU T4
Baidu a publié RTDETRv2 en juillet 2024 ; cette version améliore encore l’architecture originale.
Exemples d'utilisation#
Les exemples ci-dessous présentent du code simple d’entraînement et d’inférence avec RT-DETR. Les modèles peuvent également être entraînés sur des GPU cloud via Ultralytics Platform.
from ultralytics import RTDETR
# Charger un modèle RT-DETR-l préentraîné sur COCO
model = RTDETR("rtdetr-l.pt")
# Afficher les informations du modèle (facultatif)
model.info()
# Entraîner le modèle sur le jeu de données d'exemple COCO8 pendant 100 époques
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)
# Lancer l’inférence avec le modèle RT-DETR-l sur l’image 'bus.jpg'
results = model("path/to/bus.jpg")Définis deterministic=False lors de l’entraînement de RT-DETR sur CUDA avec PyTorch 2.0 ou une version ultérieure. Son attention déformable utilise F.grid_sample, qui ne dispose pas d’une rétropropagation CUDA déterministe ; deterministic=True ne peut donc pas rendre l’exécution reproductible et peut réduire le débit d’entraînement. seed contrôle toujours l’initialisation des poids, l’ordre des données et l’échantillonnage des augmentations.
Les poids préentraînés de RT-DETR prennent en charge deux paramètres d’inférence permettant de réduire la latence sans réentraînement :
eval_idx: arrête le décodage plus tôt. Pour le décodeur par défaut à 6 couches, utilise un index commençant à zéro (0–5).eval_idx=5utilise toutes les couches ;eval_idx=3en utilise 4. Sur un GPU T4 avec TensorRT v10.11, RT-DETR-L passe de 8,0 ms / 52,7 mAP à 7,4 ms / 52,5 mAP avec 4 couches.num_queries: réduit le nombre de requêtes d’objet (300 par défaut). En le ramenant à 100, tu peux atteindre 7,4 ms / 51,7 mAP sur COCO avec la même configuration. Sur les jeux de données qui contiennent moins d’objets par image, la baisse de mAP est généralement plus faible, mais veille à garder une valeur supérieure au nombre maximal d’objets attendu par image.
Ces deux paramètres peuvent réduire le mAP : valide le compromis sur ton jeu de données avant le déploiement.
from ultralytics import RTDETR
rtdetr = RTDETR("rtdetr-l.pt")
head = rtdetr.model.model[-1]
# Choisis l’un ou les deux paramètres après avoir validé le compromis entre vitesse et précision.
head.decoder.eval_idx = 3 # Utiliser 4 des 6 couches du décodeur.
head.num_queries = 100 # Utiliser moins de requêtes d’objet.
results = rtdetr("path/to/image.jpg")
# L’exportation utilise les mêmes paramètres de décodeur et de requêtes, y compris pour les exportations TensorRT.
rtdetr.export(format="engine", device=0, quantize=16)Tâches et modes pris en charge#
Ce tableau présente les types de modèles, les poids préentraînés spécifiques, les tâches prises en charge par chaque modèle et les modes disponibles (Train, Val, Predict, Export), indiqués par des émojis ✅.
| Type de modèle | Poids préentraînés | Tâches prises en charge | Entraînement | Validation | Inférence | Export |
|---|---|---|---|---|---|---|
| RT-DETR Large | rtdetr-l.pt | Détection d'objets | ✅ | ✅ | ✅ | ✅ |
| RT-DETR Extra-Large | rtdetr-x.pt | Détection d'objets | ✅ | ✅ | ✅ | ✅ |
rtdetr-resnet50.yaml et rtdetr-resnet101.yaml sont fournis uniquement sous forme d’architectures YAML. Ultralytics ne publie des poids préentraînés que pour rtdetr-l et rtdetr-x. Instancie les variantes ResNet à partir du YAML (par exemple, RTDETR("rtdetr-resnet50.yaml")), puis entraîne-les ou affine-les selon tes besoins.
Cas d’utilisation idéaux#
RT-DETR convient particulièrement aux applications qui nécessitent à la fois une grande précision et des performances en temps réel :
- Conduite autonome : pour une perception fiable de l’environnement dans les systèmes de conduite autonome, où la vitesse et la précision sont essentielles.
- Robotique avancée : permet aux robots d’effectuer des tâches complexes qui nécessitent une reconnaissance précise des objets et des interactions dans des environnements dynamiques.
- Imagerie médicale : pour les applications dans le secteur de la santé, où la précision de la détection d’objets peut être déterminante pour le diagnostic.
- Systèmes de surveillance : pour les applications de sécurité nécessitant une surveillance en temps réel avec une grande précision de détection. En savoir plus sur les systèmes d’alarme de sécurité.
- Analyse d’images satellite : pour analyser en détail des images haute résolution, lorsque la compréhension du contexte global est importante. Lire l’article sur la vision par ordinateur appliquée aux images satellite.
Citations et remerciements#
Si tu utilises RT-DETR de Baidu dans le cadre de tes recherches ou de ton développement, cite l’article original :
@misc{lv2023detrs,
title={DETRs Beat YOLOs on Real-time Object Detection},
author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
year={2023},
eprint={2304.08069},
archivePrefix={arXiv},
primaryClass={cs.CV}
}Pour RTDETRv2, tu peux citer l’article de 2024 :
@misc{lv2024rtdetrv2,
title={RT-DETRv2: Improved Baseline with Bag-of-Freebies for Real-Time Detection Transformer},
author={Wenyu Lv and Yian Zhao and Qinyao Chang and Kui Huang and Guanzhong Wang and Yi Liu},
year={2024},
eprint={2407.17140},
archivePrefix={arXiv},
primaryClass={cs.CV}
}Nous tenons à remercier Baidu et l’équipe PaddlePaddle pour la création et la maintenance de cette ressource précieuse pour la communauté de la vision par ordinateur. Nous leur sommes très reconnaissants d’avoir développé RT-DETR, un détecteur d’objets en temps réel basé sur les transformeurs.
FAQ#
RT-DETR (Real-Time Detection Transformer) de Baidu est un détecteur d’objets en temps réel fondé sur un Transformer. Il traite efficacement les caractéristiques multi-échelles en dissociant les interactions intra-échelle de la fusion inter-échelle grâce à son encodeur hybride efficace. En utilisant une sélection de requêtes tenant compte de l’IoU, le modèle se concentre sur les objets les plus pertinents, ce qui améliore la précision de la détection. Sa vitesse d’inférence adaptable, obtenue en ajustant les couches du décodeur sans réentraînement, rend RT-DETR adapté à divers scénarios de détection d’objets en temps réel.
Utilise l’API Python d’Ultralytics pour charger les modèles RT-DETR PaddlePaddle préentraînés. Voici, par exemple, comment charger le modèle RT-DETR-l préentraîné sur COCO, l’affiner et exécuter l’inférence :
Exemplefrom ultralytics import RTDETR # Charger un modèle RT-DETR-l préentraîné sur COCO model = RTDETR("rtdetr-l.pt") # Afficher les informations du modèle (facultatif) model.info() # Entraîner le modèle sur le jeu de données d'exemple COCO8 pendant 100 époques results = model.train(data="coco8.yaml", epochs=100, imgsz=640) # Lancer l’inférence avec le modèle RT-DETR-l sur l’image 'bus.jpg' results = model("path/to/bus.jpg")RT-DETR de Baidu associe un encodeur hybride efficace à une sélection de requêtes tenant compte de l’IoU, ce qui réduit les coûts de calcul tout en conservant une grande précision. La possibilité d’ajuster la vitesse d’inférence en utilisant différentes couches du décodeur, sans réentraînement, apporte une flexibilité utile aux applications en temps réel sur des moteurs accélérés comme CUDA avec TensorRT. L’architecture basée sur les transformeurs capture également davantage de contexte global que les détecteurs traditionnels basés sur les réseaux neuronaux convolutifs.
RT-DETR de Baidu permet d’ajuster la vitesse d’inférence en utilisant différentes couches du décodeur, sans avoir à réentraîner le modèle. Tu peux ainsi trouver le bon compromis entre vitesse et précision pour les tâches de détection d’objets en temps réel : utilise moins de couches du décodeur pour accélérer le traitement au prix d’une légère baisse de précision, ou toutes les couches pour obtenir les détections les plus précises. Cette fonctionnalité est particulièrement utile pour déployer des modèles sur des appareils aux capacités de calcul variées.
Non. Pour RT-DETR,
max_detlimite le nombre de prédictions renvoyées après l’inférence, mais n’augmente pas le nombre de requêtes d’objet produites par le décodeur. Les points de contrôle RT-DETR préentraînés d’Ultralytics utilisent 300 requêtes d’objet et ne peuvent donc pas renvoyer plus de 300 détections par image, même si tu définismax_detsur une valeur supérieure.Utilise
max_detpour réduire le nombre de détections renvoyées, par exemplemax_det=100, si tu n’as besoin que de quelques prédictions avec une grande confiance. Si ton jeu de données peut contenir plus de 300 objets par image, entraîne un modèle RT-DETR personnalisé avec un nombre de requêtes du décodeur plus élevé (nq) dans le YAML du modèle ; modifier cette valeur sur un point de contrôle préentraîné après l’entraînement n’est pas équivalent et nécessite un nouvel entraînement pour que le modèle apprenne les requêtes supplémentaires.Oui, les modèles RT-DETR prennent en charge les modes d’entraînement, de validation, de prédiction et d’export d’Ultralytics. Le framework Ultralytics fournit une API cohérente entre les architectures de modèles ; RT-DETR utilise donc le même workflow que les modèles YOLO.
Commentaires148
Pose une question, partage tes résultats ou aide quelqu’un d’autre.
PhucPhamSy
Hi all, Could you please let me know how to use all parameters in the appendix of the original paper, "https://arxiv.org/pdf/2304.08069"? Thanks!
1
Glenn JocherUltralyticsHey there! 👋
We're really glad you're interested in diving deep into the parameters detailed in the original paper. Specifically, for utilizing parameters as mentioned in the RT-DETR paper ("DETRs Beat YOLOs on Real-time Object Detection"), I recommend focusing on the key components such as the Efficient Hybrid Encoder, IoU-aware Query Selection, and adaptability in Inference Speed adjustments that make RT-DETR efficient.
Details on these components can be extrapolated to parameter usage within your model through our Python API. For instance, when initializing the RT-DETR model or adjusting inference speed, you would consider the different scales of pre-trained models available:
from ultralytics import RTDETR # For a larger model with potentially higher accuracy but lower FPS (Frames Per Second) model = RTDETR('rtdetr-l.pt') # For an extra-large model prioritizing accuracy over speed model_x = RTDETR('rtdetr-x.pt')Adjustments for inference speed and applying IoU-aware query selection can directly correlate with your focus during the
.train()or.predict()processes, especially understanding what goes behind each configuration setting in these functions.Unfortunately, we don't provide a direct mapping for every parameter mentioned in the appendix to code-level argument settings as the implementation abstracts many complexities for user convenience and to maintain the API's simplicity. However, understanding the RT-DETR's key features and translating that understanding into practical API usage is a great way to leverage the power of RT-DETR. 😊
For more tailored guidance, always feel free to ask or refer to our official documentation for specific examples and deeper insights.
Happy coding! 🚀
Murat Raimbekovhey @wba-zzu, thanks for raising this.
quick rundown of where things stand:
resnet50 / resnet101 - the architectures are already shipped as yaml configs:
you can build and train them straight from yaml:
from ultralytics import RTDETR model = RTDETR("rtdetr-resnet50.yaml") model.train(data="coco.yaml", epochs=100, imgsz=640)however, ultralytics does not publish pretrained weights for these. the only official rt-detr checkpoints in the ultralytics/assets releases are
rtdetr-l.ptandrtdetr-x.pt, both of which use the hgnetv2 backbone (not resnet). this is also flagged in the model docs under "architecture-only variants".resnet18 - not shipped. there is no
rtdetr-resnet18.yamlin the repo, so a resnet18 variant would need its own yaml and corresponding modules added.loading external pretrained weights: ultralytics builds the model from yaml, so the state_dict keys follow a pattern like
model.<index>.layer.<...>.conv.weight. weights from another implementation will not load directly - they would need a key-mapping / conversion step to match this layout.hope this helps!
Boao Wang想要将原版RT-DETR中的ResNet50和ResNet18以及ResNet101完全移植到Ultralytics,并且获得其预训练模型
995742853
您好,我想请问一下,在哪里有基于rtdetr-resnet50的预训练pt权重,我知道看到rtdetr-l以及x的预训练权重
Glenn JocherUltralytics目前 RT-DETR 文档 里公开提供的 Ultralytics 预训练权重只有
rtdetr-l.pt和rtdetr-x.pt;如果你找的是 ResNet50 版本,建议查看 Baidu 官方的 RT-DETR PyTorch 权重列表,其中提供的是rtdetr_r50vd_*.pth,不是 Ultralytics 直接发布的rtdetr-resnet50.pt,也欢迎直接在这里继续提问,方便 Ultralytics 团队跟进。 (docs.ultralytics.com)995742853
谢谢您的回复
maitianstudio-arch
How to use RT-DETRv2?
Glenn JocherUltralyticsUltralytics currently exposes the original RT-DETR pretrained weights (
rtdetr-l.pt,rtdetr-x.pt) via theRTDETRAPI; RT-DETRv2 pretrained weights/configs aren’t packaged inultralyticsyet, so if you share what RT-DETRv2 checkpoint you have (Paddle vs PyTorch) and how you’re trying to run it, we can point you to the right conversion/workflow—meanwhile you can use RT-DETR as shown in the RT-DETR docs.from ultralytics import RTDETR model = RTDETR("rtdetr-l.pt") results = model("path/to/image.jpg")
fxc0627
你好,请问RE-DETR模型适用于小目标工业缺陷检测吗?对于小目标检测有什么天然的优势?
wang18382140151-hub
你好,最近deim,dfine等对于rtdetr有了很好的改进,尤其是deim能很好的加速训练的速度,能将其整合进rtdetr中吗?
yuwencool
您好RT-DETR模型的推理支持model.track模式吗?
liyansong123456
RT-DETRv3 has been released. Does Ultralytics have plans to integrate it?
AK993
你好,rt-detr支持在转为rknn格式,并在rk3588上部署吗