RT-DETR di Baidu: un rilevatore di oggetti in tempo reale basato su Transformer visivo#

Panoramica#

Real-Time Detection Transformer (RT-DETR), sviluppato da Baidu, è un rilevatore di oggetti end-to-end all'avanguardia che offre prestazioni in tempo reale mantenendo un'elevata accuratezza. Si basa sull'idea di DETR (il framework senza NMS) e introduce al contempo un backbone basato su convoluzioni e un encoder ibrido efficiente per raggiungere velocità in tempo reale. RT-DETR elabora in modo efficiente le feature multiscala separando l'interazione tra le scale dalla fusione tra le scale. Il modello è altamente adattabile e supporta la regolazione flessibile della velocità di inferenza tramite diversi livelli del decoder, senza riaddestramento. RT-DETR eccelle sui backend accelerati come CUDA con TensorRT, superando molti altri rilevatori di oggetti in tempo reale.

Panoramica di RT-DETR di Baidu. Il diagramma dell'architettura del modello RT-DETR mostra le ultime tre fasi del backbone {S3, S4, S5} come input dell'encoder. L'encoder ibrido efficiente trasforma le feature multiscala in una sequenza di feature dell'immagine mediante l'interazione delle feature intrascala (AIFI) e il modulo di fusione delle feature tra le scale (CCFM). La selezione delle query basata su IoU viene usata per selezionare un numero fisso di feature dell'immagine da usare come query iniziali degli oggetti per il decoder. Infine, il decoder con teste di predizione ausiliarie ottimizza iterativamente le query degli oggetti per generare box e punteggi di confidenza (fonte).

Funzionalità principali#

• Encoder ibrido efficiente: RT-DETR di Baidu utilizza un encoder ibrido efficiente che elabora le feature multiscala separando l'interazione tra le scale dalla fusione tra le scale. Questo design esclusivo basato su Vision Transformer riduce i costi computazionali e consente il rilevamento degli oggetti in tempo reale.
• Selezione delle query basata su IoU: RT-DETR di Baidu migliora l'inizializzazione delle query degli oggetti utilizzando la selezione delle query basata su IoU. In questo modo il modello può concentrarsi sugli oggetti più rilevanti nella scena, migliorando l'accuratezza del rilevamento.
• Velocità di inferenza adattabile: RT-DETR di Baidu supporta la regolazione flessibile della velocità di inferenza mediante diversi livelli del decoder, senza dover riaddestrare il modello. Questa adattabilità ne facilita l'applicazione pratica in vari scenari di rilevamento degli oggetti in tempo reale.
• Framework senza NMS: Basato su DETR, RT-DETR elimina la necessità della post-elaborazione di soppressione non massima, semplificando la pipeline di rilevamento e migliorando potenzialmente l'efficienza.
• Rilevamento senza anchor: In quanto rilevatore senza anchor, RT-DETR semplifica il processo di rilevamento e può migliorare la generalizzazione tra dataset diversi.

Modelli preaddestrati#

L'API Python di Ultralytics offre modelli RT-DETR PaddlePaddle preaddestrati con scale diverse:

• RT-DETR-L: 53.0% AP su COCO val2017, 114 FPS su GPU T4
• RT-DETR-X: 54.8% AP su COCO val2017, 74 FPS su GPU T4

Inoltre, Baidu ha rilasciato RTDETRv2 a luglio 2024, che migliora ulteriormente l'architettura originale con metriche di prestazione superiori.

Esempi d'uso#

Questo esempio illustra semplici esempi di addestramento e inferenza con RT-DETR. Per la documentazione completa su queste e altre modalità, consulta le pagine della documentazione Predict, Train, Val ed Export. Puoi anche addestrare i modelli su GPU cloud tramite Ultralytics Platform.

from ultralytics import RTDETR

# Carica un modello RT-DETR-l preaddestrato su COCO
model = RTDETR("rtdetr-l.pt")

# Visualizza le informazioni sul modello (facoltativo)
model.info()

# Addestra il modello sul dataset di esempio COCO8 per 100 epoche
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Esegui l'inferenza con il modello RT-DETR-l sull'immagine 'bus.jpg'
results = model("path/to/bus.jpg")

from ultralytics import RTDETR

rtdetr = RTDETR("rtdetr-l.pt")
head = rtdetr.model.model[-1]

# Scegli una o entrambe le impostazioni dopo aver convalidato il compromesso tra velocità e accuratezza.
head.decoder.eval_idx = 3  # Usa 4 dei 6 livelli del decoder.
head.num_queries = 100  # Usa meno query degli oggetti.

results = rtdetr("path/to/image.jpg")

# L'esportazione usa le stesse impostazioni del decoder e delle query, incluse le esportazioni TensorRT.
rtdetr.export(format="engine", device=0, quantize=16)

Attività e modalità supportate#

Questa tabella presenta i tipi di modello, i relativi pesi preaddestrati specifici, le attività supportate da ciascun modello e le varie modalità (Train, Val, Predict, Export) supportate, indicate con emoji ✅.

Casi d'uso ideali#

RT-DETR è particolarmente adatto alle applicazioni che richiedono sia un'elevata accuratezza sia prestazioni in tempo reale:

• Guida autonoma: per una percezione affidabile dell'ambiente nei sistemi di guida autonoma, in cui velocità e accuratezza sono entrambe fondamentali. Scopri di più sull'IA nelle auto a guida autonoma.
• Robotica avanzata: consente ai robot di svolgere attività complesse che richiedono il riconoscimento accurato degli oggetti e l'interazione in ambienti dinamici. Esplora il ruolo dell'IA nella robotica.
• Imaging medico: per applicazioni sanitarie in cui la precisione del rilevamento degli oggetti può essere fondamentale per la diagnosi. Scopri l'IA in ambito sanitario.
• Sistemi di videosorveglianza: per applicazioni di sicurezza che richiedono un monitoraggio in tempo reale con un'elevata accuratezza di rilevamento. Scopri i sistemi di allarme di sicurezza.
• Analisi di immagini satellitari: per l'analisi dettagliata di immagini ad alta risoluzione, in cui è importante comprendere il contesto globale. Leggi la computer vision nelle immagini satellitari.

Citazioni e ringraziamenti#

Se utilizzi RT-DETR di Baidu nelle tue attività di ricerca o sviluppo, cita il paper originale:

@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Per RTDETRv2, puoi citare il paper del 2024:

@misc{lv2024rtdetrv2,
      title={RTDETRv2: All-in-One Detection Transformer Beats YOLO and DINO},
      author={Wenyu Lv and Yian Zhao and Qinyao Chang and Kui Huang and Guanzhong Wang and Yi Liu},
      year={2024},
      eprint={2407.17140},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Desideriamo ringraziare Baidu e il team PaddlePaddle per aver creato e mantenuto questa preziosa risorsa per la comunità della computer vision. Apprezziamo molto il loro contributo al settore con lo sviluppo del rilevatore di oggetti in tempo reale basato su Vision Transformer, RT-DETR.

Domande frequenti#