RT-DETR di Baidu: un rilevatore di oggetti in tempo reale basato su Vision Transformer#

Panoramica#

Real-Time Detection Transformer (RT-DETR), sviluppato da Baidu, è un rilevatore di oggetti end-to-end all'avanguardia che offre prestazioni in tempo reale mantenendo un'elevata accuratezza. Si basa sull'idea di DETR (il framework senza NMS), introducendo al contempo un backbone basato su convoluzioni e un encoder ibrido efficiente per ottenere velocità in tempo reale. RT-DETR elabora in modo efficiente le feature multiscala separando l'interazione intrascala dalla fusione interscala. Il modello è altamente adattabile e supporta la regolazione flessibile della velocità di inferenza utilizzando diversi layer del decoder senza dover ripetere l'addestramento. RT-DETR offre prestazioni eccellenti su backend accelerati come CUDA con TensorRT, superando molti altri rilevatori di oggetti in tempo reale.

Panoramica di RT-DETR di Baidu. Il diagramma dell'architettura del modello RT-DETR mostra le ultime tre fasi del backbone {S3, S4, S5} come input dell'encoder. L'encoder ibrido efficiente trasforma le feature multiscala in una sequenza di feature dell'immagine tramite l'interazione delle feature intrascala (AIFI) e il modulo di fusione delle feature interscala (CCFM). La selezione delle query consapevole dell'IoU viene utilizzata per selezionare un numero fisso di feature dell'immagine da usare come query iniziali degli oggetti per il decoder. Infine, il decoder con le head di predizione ausiliarie ottimizza iterativamente le query degli oggetti per generare box e punteggi di confidenza (fonte).

Funzionalità principali#

• Encoder ibrido efficiente: RT-DETR di Baidu utilizza un encoder ibrido efficiente che elabora le feature multiscala separando l'interazione intrascala dalla fusione interscala. Questo esclusivo design basato su Vision Transformer riduce i costi computazionali e consente il rilevamento degli oggetti in tempo reale.
• Selezione delle query consapevole dell'IoU: RT-DETR di Baidu migliora l'inizializzazione delle query degli oggetti utilizzando la selezione delle query consapevole dell'IoU. Ciò consente al modello di concentrarsi sugli oggetti più rilevanti nella scena, migliorando l'accuratezza del rilevamento.
• Velocità di inferenza adattabile: RT-DETR di Baidu supporta regolazioni flessibili della velocità di inferenza utilizzando diversi layer del decoder senza dover ripetere l'addestramento. Questa adattabilità facilita l'applicazione pratica in vari scenari di rilevamento degli oggetti in tempo reale.
• Framework senza NMS: Basato su DETR, RT-DETR elimina la necessità del post-processing di soppressione non massima, semplificando la pipeline di rilevamento e migliorando potenzialmente l'efficienza.
• Rilevamento senza anchor: Essendo un rilevatore senza anchor, RT-DETR semplifica il processo di rilevamento e può migliorare la generalizzazione su dataset diversi.

Modelli pre-addestrati#

L'API Python di Ultralytics fornisce modelli RT-DETR pretrained di PaddlePaddle con diverse scale:

• RT-DETR-L: 53.0% AP su COCO val2017, 114 FPS su GPU T4
• RT-DETR-X: 54.8% AP su COCO val2017, 74 FPS su GPU T4

Inoltre, Baidu ha rilasciato RTDETRv2 a luglio 2024, migliorando ulteriormente l'architettura originale con metriche prestazionali superiori.

Esempi di utilizzo#

Questo esempio fornisce semplici esempi di addestramento e inferenza con RT-DETR. Per la documentazione completa su queste e altre modalità, consulta le pagine della documentazione Predict, Train, Val ed Export. I modelli possono anche essere addestrati su GPU cloud tramite Ultralytics Platform.

from ultralytics import RTDETR

# Load a COCO-pretrained RT-DETR-l model
model = RTDETR("rtdetr-l.pt")

# Display model information (optional)
model.info()

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the RT-DETR-l model on the 'bus.jpg' image
results = model("path/to/bus.jpg")

from ultralytics import RTDETR

rtdetr = RTDETR("rtdetr-l.pt")
head = rtdetr.model.model[-1]

# Choose one or both settings after validating the speed/accuracy trade-off.
head.decoder.eval_idx = 3  # Use 4 of 6 decoder layers.
head.num_queries = 100  # Use fewer object queries.

results = rtdetr("path/to/image.jpg")

# Export uses the same decoder and query settings, including TensorRT exports.
rtdetr.export(format="engine", device=0, quantize=16)

Attività e modalità supportate#

Questa tabella presenta i tipi di modello, i pesi preaddestrati specifici, i compiti supportati da ciascun modello e le varie modalità (Train, Val, Predict, Export) supportate, indicate dalle emoji ✅.

Casi d'uso ideali#

RT-DETR è particolarmente adatto alle applicazioni che richiedono sia elevata accuratezza sia prestazioni in tempo reale:

• Guida autonoma: per una percezione affidabile dell'ambiente nei sistemi a guida autonoma, dove velocità e accuratezza sono entrambe fondamentali. Scopri di più sull'AI nelle auto a guida autonoma.
• Robotica avanzata: consente ai robot di eseguire attività complesse che richiedono il riconoscimento e l'interazione accurati con gli oggetti in ambienti dinamici. Scopri il ruolo dell'AI nella robotica.
• Imaging medico: per applicazioni sanitarie in cui la precisione nel rilevamento degli oggetti può essere fondamentale per la diagnosi. Scopri l'AI nell'assistenza sanitaria.
• Sistemi di sorveglianza: per applicazioni di sicurezza che richiedono monitoraggio in tempo reale con elevata accuratezza di rilevamento. Scopri di più sui sistemi di allarme di sicurezza.
• Analisi di immagini satellitari: per l'analisi dettagliata di immagini ad alta risoluzione, in cui è importante comprendere il contesto globale. Leggi di più sulla computer vision nelle immagini satellitari.

Citazioni e ringraziamenti#

Se utilizzi RT-DETR di Baidu nel tuo lavoro di ricerca o sviluppo, cita il paper originale:

@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Per RTDETRv2, puoi citare il paper del 2024:

@misc{lv2024rtdetrv2,
      title={RTDETRv2: All-in-One Detection Transformer Beats YOLO and DINO},
      author={Wenyu Lv and Yian Zhao and Qinyao Chang and Kui Huang and Guanzhong Wang and Yi Liu},
      year={2024},
      eprint={2407.17140},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Desideriamo ringraziare Baidu e il team di PaddlePaddle per aver creato e mantenuto questa preziosa risorsa per la community della computer vision. Il loro contributo al settore, con lo sviluppo del rilevatore di oggetti in tempo reale basato su Vision Transformer, RT-DETR, è molto apprezzato.

FAQ#