Le RT-DETR de Baidu : un détecteur d’objets en temps réel basé sur un Transformer de vision#

Présentation#

Le Transformer de détection en temps réel (RT-DETR), développé par Baidu, est un détecteur d’objets de bout en bout de pointe qui offre des performances en temps réel tout en conservant une précision élevée. Il repose sur l’idée de DETR (le framework sans NMS), tout en introduisant un backbone basé sur des convolutions et un encodeur hybride efficace afin d’atteindre une vitesse en temps réel. RT-DETR traite efficacement les caractéristiques multi-échelles en découplant l’interaction intra-échelle et la fusion inter-échelles. Le modèle est hautement adaptable et permet d’ajuster la vitesse d’inférence de manière flexible à l’aide de différentes couches du décodeur, sans réentraînement. RT-DETR est particulièrement performant sur les backends accélérés comme CUDA avec TensorRT, dépassant de nombreux autres détecteurs d’objets en temps réel.

Vue d’ensemble du RT-DETR de Baidu. Le diagramme de l’architecture du modèle RT-DETR montre les trois dernières étapes du backbone {S3, S4, S5} en entrée de l’encodeur. L’encodeur hybride efficace transforme les caractéristiques multi-échelles en une séquence de caractéristiques d’image grâce à l’interaction des caractéristiques intra-échelle (AIFI) et au module de fusion des caractéristiques inter-échelles (CCFM). La sélection de requêtes prenant en compte l’IoU est utilisée pour sélectionner un nombre fixe de caractéristiques d’image afin de servir de requêtes d’objets initiales pour le décodeur. Enfin, le décodeur et ses têtes de prédiction auxiliaires optimisent itérativement les requêtes d’objets afin de générer les boîtes et les scores de confiance (source).

Fonctionnalités clés#

• Encodeur hybride efficace : Le RT-DETR de Baidu utilise un encodeur hybride efficace qui traite les caractéristiques multi-échelles en découplant l’interaction intra-échelle et la fusion inter-échelles. Cette conception unique basée sur des Vision Transformers réduit les coûts de calcul et permet la détection d’objets en temps réel.
• Sélection de requêtes prenant en compte l’IoU : Le RT-DETR de Baidu améliore l’initialisation des requêtes d’objets en utilisant une sélection de requêtes prenant en compte l’IoU. Cela permet au modèle de se concentrer sur les objets les plus pertinents de la scène et d’améliorer la précision de la détection.
• Vitesse d’inférence adaptable : Le RT-DETR de Baidu permet d’ajuster la vitesse d’inférence de manière flexible en utilisant différentes couches du décodeur, sans réentraînement. Cette adaptabilité facilite son utilisation pratique dans divers scénarios de détection d’objets en temps réel.
• Framework sans NMS : Basé sur DETR, RT-DETR élimine le besoin d’un post-traitement de suppression non maximale, ce qui simplifie le pipeline de détection et peut améliorer l’efficacité.
• Détection sans ancres : En tant que détecteur sans ancres, RT-DETR simplifie le processus de détection et peut améliorer la généralisation sur différents jeux de données.

Modèles préentraînés#

L’API Python d’Ultralytics fournit des modèles RT-DETR préentraînés de PaddlePaddle avec différentes tailles :

• RT-DETR-L : 53,0 % AP sur COCO val2017, 114 FPS sur un GPU T4
• RT-DETR-X : 54,8 % AP sur COCO val2017, 74 FPS sur un GPU T4

De plus, Baidu a publié RTDETRv2 en juillet 2024, qui améliore encore l’architecture originale avec de meilleures métriques de performance.

Exemples d’utilisation#

Cet exemple fournit des exemples simples d’entraînement et d’inférence avec RT-DETR. Pour consulter la documentation complète sur ces modes et les autres, voir les pages de documentation Predict, Train, Val et Export. Les modèles peuvent également être entraînés sur des GPU cloud via Ultralytics Platform.

from ultralytics import RTDETR

# Load a COCO-pretrained RT-DETR-l model
model = RTDETR("rtdetr-l.pt")

# Display model information (optional)
model.info()

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the RT-DETR-l model on the 'bus.jpg' image
results = model("path/to/bus.jpg")

from ultralytics import RTDETR

rtdetr = RTDETR("rtdetr-l.pt")
head = rtdetr.model.model[-1]

# Choose one or both settings after validating the speed/accuracy trade-off.
head.decoder.eval_idx = 3  # Use 4 of 6 decoder layers.
head.num_queries = 100  # Use fewer object queries.

results = rtdetr("path/to/image.jpg")

# Export uses the same decoder and query settings, including TensorRT exports.
rtdetr.export(format="engine", device=0, quantize=16)

Tâches et modes pris en charge#

Ce tableau présente les types de modèles, les poids pré-entraînés spécifiques, les tâches prises en charge par chaque modèle et les différents modes (Train, Val, Predict, Export) pris en charge, indiqués par des émojis ✅.

Cas d’utilisation idéaux#

RT-DETR est particulièrement adapté aux applications nécessitant à la fois une grande précision et des performances en temps réel :

• Conduite autonome : Pour une perception fiable de l’environnement dans les systèmes de conduite autonome, où la vitesse et la précision sont toutes deux essentielles. En savoir plus sur l’IA dans les voitures autonomes.
• Robotique avancée : Permettre aux robots d’effectuer des tâches complexes nécessitant une reconnaissance et une interaction précises avec les objets dans des environnements dynamiques. Découvrir le rôle de l’IA en robotique.
• Imagerie médicale : Pour les applications de santé où la précision de la détection d’objets peut être déterminante pour le diagnostic. Découvrir l’IA dans le domaine de la santé.
• Systèmes de surveillance : Pour les applications de sécurité nécessitant une surveillance en temps réel avec une grande précision de détection. En savoir plus sur les systèmes d’alarme de sécurité.
• Analyse d’images satellitaires : Pour l’analyse détaillée d’images haute résolution, lorsque la compréhension du contexte global est importante. En savoir plus sur la vision par ordinateur appliquée aux images satellitaires.

Citations et remerciements#

Si tu utilises le RT-DETR de Baidu dans tes travaux de recherche ou de développement, cite l’article original :

@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Pour RTDETRv2, tu peux citer l’article de 2024 :

@misc{lv2024rtdetrv2,
      title={RTDETRv2: All-in-One Detection Transformer Beats YOLO and DINO},
      author={Wenyu Lv and Yian Zhao and Qinyao Chang and Kui Huang and Guanzhong Wang and Yi Liu},
      year={2024},
      eprint={2407.17140},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Nous tenons à remercier Baidu et l’équipe PaddlePaddle pour la création et la maintenance de cette ressource précieuse pour la communauté de la vision par ordinateur. Leur contribution au domaine, avec le développement du détecteur d’objets en temps réel basé sur des Vision Transformers, RT-DETR, est vivement appréciée.

FAQ#