RT-DETR de Baidu : un détecteur d’objets en temps réel basé sur Transformer#

Présentation#

Le transformeur de détection en temps réel (RT-DETR), développé par Baidu, est un détecteur d’objets de pointe de bout en bout qui offre des performances en temps réel tout en conservant une grande précision. Il repose sur l’idée de DETR (le framework sans NMS), tout en introduisant un backbone à base de convolutions et un encodeur hybride efficace pour atteindre une vitesse en temps réel. RT-DETR traite efficacement les caractéristiques multi-échelles en dissociant les interactions intra-échelle de la fusion inter-échelles. Le modèle est très adaptable et permet d’ajuster la vitesse d’inférence en modifiant les couches du décodeur, sans réentraînement. RT-DETR excelle sur les backends accélérés comme CUDA avec TensorRT et surpasse de nombreux autres détecteurs d’objets en temps réel.

Présentation de Baidu RT-DETR. Le schéma d’architecture du modèle RT-DETR montre les trois dernières étapes du backbone {S3, S4, S5} comme entrée de l’encodeur. L’encodeur hybride efficace transforme les caractéristiques multi-échelles en une séquence de caractéristiques d’image grâce à l’interaction des caractéristiques intra-échelle (AIFI) et au module de fusion des caractéristiques inter-échelles (CCFM). La sélection de requêtes basée sur l’IoU sert à sélectionner un nombre fixe de caractéristiques d’image qui serviront de requêtes d’objet initiales pour le décodeur. Enfin, le décodeur et ses têtes de prédiction auxiliaires optimisent de manière itérative les requêtes d’objet pour générer des boîtes et des scores de confiance (source).

Fonctionnalités clés#

• Encodeur hybride efficace : RT-DETR de Baidu utilise un encodeur hybride efficace qui traite les caractéristiques multi-échelles en dissociant les interactions intra-échelle de la fusion inter-échelles. Cette conception unique, basée sur les Vision Transformers, réduit les coûts de calcul et permet la détection d’objets en temps réel.
• Sélection de requêtes basée sur l’IoU : RT-DETR de Baidu améliore l’initialisation des requêtes d’objet en utilisant une sélection de requêtes basée sur l’IoU. Le modèle peut ainsi se concentrer sur les objets les plus pertinents de la scène et améliorer la précision de détection.
• Vitesse d’inférence adaptable : RT-DETR de Baidu permet d’ajuster la vitesse d’inférence en utilisant différentes couches du décodeur, sans réentraînement. Cette adaptabilité facilite son application pratique dans divers scénarios de détection d’objets en temps réel.
• Framework sans NMS : basé sur DETR, RT-DETR élimine le post-traitement par suppression non maximale, ce qui simplifie le pipeline de détection et peut améliorer son efficacité.
• Détection sans ancres : en tant que détecteur sans ancres, RT-DETR simplifie le processus de détection et peut améliorer la généralisation à différents jeux de données.

Modèles préentraînés#

L’API Python d’Ultralytics fournit des modèles RT-DETR préentraînés avec PaddlePaddle, disponibles à différentes échelles :

• RT-DETR-L : 53,0 % AP sur COCO val2017, 114 FPS sur GPU T4
• RT-DETR-X : 54,8 % AP sur COCO val2017, 74 FPS sur GPU T4

En juillet 2024, Baidu a également publié RTDETRv2, qui améliore encore l’architecture d’origine et ses indicateurs de performance.

Exemples d'utilisation#

Cet exemple présente des exemples simples d’entraînement et d’inférence avec RT-DETR. Pour la documentation complète sur ces modes et les autres modes, consulte les pages de documentation Prédire, Entraîner, Valider et Exporter. Tu peux aussi entraîner les modèles sur des GPU cloud via Ultralytics Platform.

from ultralytics import RTDETR

# Charger un modèle RT-DETR-l préentraîné sur COCO
model = RTDETR("rtdetr-l.pt")

# Afficher les informations du modèle (facultatif)
model.info()

# Entraîner le modèle sur le jeu de données d'exemple COCO8 pendant 100 époques
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Lancer l’inférence avec le modèle RT-DETR-l sur l’image 'bus.jpg'
results = model("path/to/bus.jpg")

from ultralytics import RTDETR

rtdetr = RTDETR("rtdetr-l.pt")
head = rtdetr.model.model[-1]

# Choisis l’un ou les deux paramètres après avoir validé le compromis entre vitesse et précision.
head.decoder.eval_idx = 3  # Utiliser 4 des 6 couches du décodeur.
head.num_queries = 100  # Utiliser moins de requêtes d’objet.

results = rtdetr("path/to/image.jpg")

# L’exportation utilise les mêmes paramètres de décodeur et de requêtes, y compris pour les exportations TensorRT.
rtdetr.export(format="engine", device=0, quantize=16)

Tâches et modes pris en charge#

Ce tableau présente les types de modèles, les poids préentraînés correspondants, les tâches prises en charge par chaque modèle et les différents modes compatibles (Entraîner, Valider, Prédire, Exporter), signalés par des émojis ✅.

Cas d’utilisation idéaux#

RT-DETR convient particulièrement aux applications qui nécessitent à la fois une grande précision et des performances en temps réel :

• Conduite autonome : pour une perception fiable de l’environnement dans les systèmes de conduite autonome, où la vitesse et la précision sont toutes deux essentielles. En savoir plus sur l’IA dans les voitures autonomes.
• Robotique avancée : permet aux robots d’effectuer des tâches complexes nécessitant une reconnaissance précise des objets et des interactions dans des environnements dynamiques. Découvrir le rôle de l’IA en robotique.
• Imagerie médicale : pour les applications de santé où la précision de la détection d’objets peut être cruciale pour le diagnostic. Découvrir l’IA dans le secteur de la santé.
• Systèmes de surveillance : pour les applications de sécurité nécessitant une surveillance en temps réel avec une grande précision de détection. En savoir plus sur les systèmes d’alarme de sécurité.
• Analyse d’images satellite : pour analyser en détail des images haute résolution, lorsque la compréhension du contexte global est importante. Lire l’article sur la vision par ordinateur appliquée aux images satellite.

Citations et remerciements#

Si tu utilises RT-DETR de Baidu dans le cadre de tes recherches ou de ton développement, cite l’article original :

@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Pour RTDETRv2, tu peux citer l’article de 2024 :

@misc{lv2024rtdetrv2,
      title={RTDETRv2: All-in-One Detection Transformer Beats YOLO and DINO},
      author={Wenyu Lv and Yian Zhao and Qinyao Chang and Kui Huang and Guanzhong Wang and Yi Liu},
      year={2024},
      eprint={2407.17140},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Nous tenons à remercier Baidu et l’équipe PaddlePaddle d’avoir créé et maintenu cette ressource précieuse pour la communauté de la vision par ordinateur. Nous apprécions vivement leur contribution au domaine avec le développement de RT-DETR, un détecteur d’objets en temps réel basé sur les Vision Transformers.

FAQ#