Inizia

RT-DETR di Baidu: un rilevatore di oggetti in tempo reale basato su Vision Transformer

Panoramica#

Real-Time Detection Transformer (RT-DETR), sviluppato da Baidu, è un rilevatore di oggetti end-to-end che offre prestazioni in tempo reale mantenendo un'elevata accuratezza. Si basa su DETR, un framework di rilevamento Transformer senza NMS, e aggiunge un backbone convoluzionale e un encoder ibrido efficiente per raggiungere velocità in tempo reale. RT-DETR elabora in modo efficiente le feature multiscala separando l'interazione all'interno della stessa scala dalla fusione tra scale diverse. Il modello è altamente adattabile e consente di regolare in modo flessibile la velocità di inferenza usando diversi layer del decoder, senza riaddestramento. RT-DETR offre le prestazioni migliori su backend accelerati come CUDA con TensorRT.



Guarda: Come usare RT-DETR di Baidu per il rilevamento degli oggetti | Inferenza e benchmark con Ultralytics

Panoramica dell'architettura del modello Baidu RT-DETR Panoramica di RT-DETR di Baidu. Il diagramma dell'architettura del modello RT-DETR mostra le ultime tre fasi del backbone {S3, S4, S5} come input dell'encoder. L'encoder ibrido efficiente trasforma le feature multiscala in una sequenza di feature dell'immagine mediante l'interazione delle feature intrascala (AIFI) e il modulo di fusione delle feature tra le scale (CCFM). La selezione delle query basata su IoU viene usata per selezionare un numero fisso di feature dell'immagine da usare come query iniziali degli oggetti per il decoder. Infine, il decoder con teste di predizione ausiliarie ottimizza iterativamente le query degli oggetti per generare box e punteggi di confidenza (fonte).

Funzionalità principali#

  • Encoder ibrido efficiente: RT-DETR di Baidu usa un encoder ibrido efficiente che elabora le feature multiscala separando l'interazione all'interno della stessa scala dalla fusione tra scale diverse. Questo design basato su Transformer riduce i costi di calcolo e consente il rilevamento degli oggetti in tempo reale.
  • Selezione delle query basata su IoU: RT-DETR di Baidu migliora l'inizializzazione delle query degli oggetti con una selezione delle query basata su IoU. Questo permette al modello di concentrarsi sugli oggetti più rilevanti nella scena, migliorando l'accuratezza del rilevamento.
  • Velocità di inferenza adattabile: RT-DETR di Baidu supporta la regolazione flessibile della velocità di inferenza mediante diversi livelli del decoder, senza dover riaddestrare il modello. Questa adattabilità ne facilita l'applicazione pratica in vari scenari di rilevamento degli oggetti in tempo reale.
  • Framework senza NMS: Basato su DETR, RT-DETR elimina la necessità della post-elaborazione di soppressione non massima, semplificando la pipeline di rilevamento e migliorando potenzialmente l'efficienza.
  • Rilevamento senza anchor: In quanto rilevatore senza anchor, RT-DETR semplifica il processo di rilevamento e può migliorare la generalizzazione tra dataset diversi.

Modelli preaddestrati#

L'API Python di Ultralytics offre modelli RT-DETR PaddlePaddle preaddestrati con scale diverse:

  • RT-DETR-L: 53,0% AP su COCO val2017, 114 FPS su GPU T4
  • RT-DETR-X: 54.8% AP su COCO val2017, 74 FPS su GPU T4

Baidu ha rilasciato RTDETRv2 nel luglio 2024, migliorando ulteriormente l'architettura originale.

Esempi d'uso#

Gli esempi seguenti mostrano semplici operazioni di addestramento e inferenza con RT-DETR. Puoi anche addestrare i modelli su GPU cloud tramite Ultralytics Platform.

Esempio
from ultralytics import RTDETR

# Carica un modello RT-DETR-l preaddestrato su COCO
model = RTDETR("rtdetr-l.pt")

# Visualizza le informazioni sul modello (facoltativo)
model.info()

# Addestra il modello sul dataset di esempio COCO8 per 100 epoche
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Esegui l'inferenza con il modello RT-DETR-l sull'immagine 'bus.jpg'
results = model("path/to/bus.jpg")
Addestramento deterministico

Imposta deterministic=False quando addestri RT-DETR su CUDA con PyTorch 2.0 o versioni successive. La sua attenzione deformabile usa F.grid_sample, che non dispone di un backward CUDA deterministico, quindi deterministic=True non può rendere riproducibile l'esecuzione e può ridurre il throughput di addestramento. seed continua a controllare l'inizializzazione dei pesi, l'ordine dei dati e il campionamento delle augmentation.

Compromessi per un'inferenza più veloce

I pesi RT-DETR preaddestrati supportano due impostazioni in fase di inferenza per ridurre la latenza senza riaddestramento:

  • eval_idx: interrompi anticipatamente la decodifica. Per il decoder predefinito a 6 livelli, usa un indice a base zero (0–5). eval_idx=5 usa tutti i livelli; eval_idx=3 ne usa 4. Su una GPU T4 con TensorRT v10.11, RT-DETR-L passa da 8.0 ms / 52.7 mAP a 7.4 ms / 52.5 mAP con 4 livelli.
  • num_queries: riduci le query degli oggetti (predefinito: 300). Riducendole a 100 si possono raggiungere 7.4 ms / 51.7 mAP su COCO nella stessa configurazione. Nei dataset con meno oggetti per immagine, il calo di mAP è in genere più contenuto, ma mantieni il valore superiore al numero massimo previsto di oggetti per immagine.

Entrambe le impostazioni possono ridurre mAP: convalida il compromesso sul tuo dataset prima della distribuzione.

from ultralytics import RTDETR

rtdetr = RTDETR("rtdetr-l.pt")
head = rtdetr.model.model[-1]

# Scegli una o entrambe le impostazioni dopo aver convalidato il compromesso tra velocità e accuratezza.
head.decoder.eval_idx = 3  # Usa 4 dei 6 livelli del decoder.
head.num_queries = 100  # Usa meno query degli oggetti.

results = rtdetr("path/to/image.jpg")

# L'esportazione usa le stesse impostazioni del decoder e delle query, incluse le esportazioni TensorRT.
rtdetr.export(format="engine", device=0, quantize=16)

Attività e modalità supportate#

Questa tabella presenta i tipi di modello, i relativi pesi preaddestrati specifici, le attività supportate da ciascun modello e le modalità supportate (Addestramento, Validazione, Predizione, Esportazione), indicate con emoji ✅.

Tipo di modelloPesi preaddestratiAttività supportateAddestramentoValidazioneInferenzaEsporta
RT-DETR Largertdetr-l.ptRilevamento di oggetti✅✅✅✅
RT-DETR Extra-Largertdetr-x.ptRilevamento di oggetti✅✅✅✅
Varianti solo architetturali

rtdetr-resnet50.yaml e rtdetr-resnet101.yaml sono distribuiti solo come architetture YAML. Ultralytics rilascia pesi preaddestrati solo per rtdetr-l e rtdetr-x. Istanzia le varianti ResNet da YAML (ad esempio, RTDETR("rtdetr-resnet50.yaml")) e addestrale o perfezionale secondo necessità.

Casi d'uso ideali#

RT-DETR è particolarmente adatto alle applicazioni che richiedono sia un'elevata accuratezza sia prestazioni in tempo reale:

  • Guida autonoma: per una percezione affidabile dell'ambiente nei sistemi di guida autonoma, in cui velocità e accuratezza sono entrambe fondamentali.
  • Robotica avanzata: consente ai robot di svolgere attività complesse che richiedono un riconoscimento accurato degli oggetti e la loro interazione in ambienti dinamici.
  • Imaging medico: per applicazioni in ambito sanitario, dove la precisione nel rilevamento degli oggetti può essere fondamentale per la diagnostica.
  • Sistemi di videosorveglianza: per applicazioni di sicurezza che richiedono un monitoraggio in tempo reale con un'elevata accuratezza di rilevamento. Scopri i sistemi di allarme di sicurezza.
  • Analisi di immagini satellitari: per l'analisi dettagliata di immagini ad alta risoluzione, in cui è importante comprendere il contesto globale. Leggi la computer vision nelle immagini satellitari.

Citazioni e ringraziamenti#

Se utilizzi RT-DETR di Baidu nelle tue attività di ricerca o sviluppo, cita il paper originale:

Citazione
@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Per RTDETRv2, puoi citare il paper del 2024:

Citazione
@misc{lv2024rtdetrv2,
      title={RT-DETRv2: Improved Baseline with Bag-of-Freebies for Real-Time Detection Transformer},
      author={Wenyu Lv and Yian Zhao and Qinyao Chang and Kui Huang and Guanzhong Wang and Yi Liu},
      year={2024},
      eprint={2407.17140},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Desideriamo ringraziare Baidu e il team PaddlePaddle per aver creato e mantenuto questa preziosa risorsa per la comunità della visione artificiale. Apprezziamo molto lo sviluppo di RT-DETR, il rilevatore di oggetti in tempo reale basato su Transformer.

Domande frequenti#

  • RT-DETR (Real-Time Detection Transformer) di Baidu è un rilevatore di oggetti in tempo reale basato su Transformer. Elabora in modo efficiente le caratteristiche multiscala disaccoppiando l'interazione intra-scala e la fusione inter-scala mediante il suo encoder ibrido efficiente. Selezionando le query in base a IoU, il modello si concentra sugli oggetti più pertinenti e migliora la precisione del rilevamento. La sua velocità di inferenza adattabile, ottenuta regolando i livelli del decoder senza riaddestramento, rende RT-DETR adatto a diversi scenari di rilevamento degli oggetti in tempo reale.

  • Usa l'API Python di Ultralytics per caricare i modelli RT-DETR PaddlePaddle preaddestrati. Per esempio, per caricare il modello RT-DETR-l preaddestrato su COCO, ottimizzarlo con il fine-tuning ed eseguire l'inferenza:

    Esempio
    from ultralytics import RTDETR
    
    # Carica un modello RT-DETR-l preaddestrato su COCO
    model = RTDETR("rtdetr-l.pt")
    
    # Visualizza le informazioni sul modello (facoltativo)
    model.info()
    
    # Addestra il modello sul dataset di esempio COCO8 per 100 epoche
    results = model.train(data="coco8.yaml", epochs=100, imgsz=640)
    
    # Esegui l'inferenza con il modello RT-DETR-l sull'immagine 'bus.jpg'
    results = model("path/to/bus.jpg")
  • RT-DETR di Baidu combina un encoder ibrido efficiente con la selezione delle query basata su IoU, riducendo i costi di calcolo e mantenendo un'elevata accuratezza. La possibilità di regolare la velocità di inferenza usando diversi layer del decoder senza riaddestramento offre flessibilità, utile per le applicazioni in tempo reale su backend accelerati come CUDA con TensorRT. L'architettura Transformer cattura inoltre un contesto più globale rispetto ai rilevatori tradizionali basati su CNN.

  • RT-DETR di Baidu consente di regolare in modo flessibile la velocità di inferenza usando diversi layer del decoder senza richiedere un riaddestramento. Questo ti permette di bilanciare velocità e accuratezza nelle attività di rilevamento degli oggetti in tempo reale: usa meno layer del decoder per elaborare più velocemente con un'accuratezza leggermente inferiore, oppure tutti i layer per ottenere i rilevamenti più accurati. Questa funzionalità è particolarmente utile quando distribuisci modelli su dispositivi con capacità di calcolo diverse.

  • No. Per RT-DETR, max_det limita il numero di predizioni restituite dopo l'inferenza, ma non aumenta il numero di query degli oggetti generate dal decoder. I checkpoint RT-DETR preaddestrati di Ultralytics usano 300 query degli oggetti, quindi non possono restituire più di 300 rilevamenti per immagine, anche se imposti max_det su un valore maggiore.

    Usa max_det per ridurre i rilevamenti restituiti, ad esempio max_det=100, quando ti servono solo poche predizioni ad alta confidenza. Se il tuo dataset può contenere più di 300 oggetti per immagine, addestra un modello RT-DETR personalizzato con un numero maggiore di query del decoder (nq) nel file YAML del modello; modificare questo valore su un checkpoint preaddestrato dopo l'addestramento non è equivalente e richiede un riaddestramento per apprendere le query aggiuntive.

  • Sì, i modelli RT-DETR supportano le modalità di addestramento, validazione, predizione ed esportazione di Ultralytics. Il framework Ultralytics offre un'API coerente tra le diverse architetture di modello, quindi RT-DETR utilizza lo stesso flusso di lavoro dei modelli YOLO.

Commenti148

Fai una domanda, condividi i tuoi risultati o aiuta qualcun altro.

    1. Glenn JocherUltralytics

      Hey there! 👋

      We're really glad you're interested in diving deep into the parameters detailed in the original paper. Specifically, for utilizing parameters as mentioned in the RT-DETR paper ("DETRs Beat YOLOs on Real-time Object Detection"), I recommend focusing on the key components such as the Efficient Hybrid Encoder, IoU-aware Query Selection, and adaptability in Inference Speed adjustments that make RT-DETR efficient.

      Details on these components can be extrapolated to parameter usage within your model through our Python API. For instance, when initializing the RT-DETR model or adjusting inference speed, you would consider the different scales of pre-trained models available:

      from ultralytics import RTDETR
      
      # For a larger model with potentially higher accuracy but lower FPS (Frames Per Second)
      model = RTDETR('rtdetr-l.pt')  
      
      # For an extra-large model prioritizing accuracy over speed
      model_x = RTDETR('rtdetr-x.pt')

      Adjustments for inference speed and applying IoU-aware query selection can directly correlate with your focus during the .train() or .predict() processes, especially understanding what goes behind each configuration setting in these functions.

      Unfortunately, we don't provide a direct mapping for every parameter mentioned in the appendix to code-level argument settings as the implementation abstracts many complexities for user convenience and to maintain the API's simplicity. However, understanding the RT-DETR's key features and translating that understanding into practical API usage is a great way to leverage the power of RT-DETR. 😊

      For more tailored guidance, always feel free to ask or refer to our official documentation for specific examples and deeper insights.

      Happy coding! 🚀

  1. Murat Raimbekov

    hey @wba-zzu, thanks for raising this.

    quick rundown of where things stand:

    resnet50 / resnet101 - the architectures are already shipped as yaml configs:

    you can build and train them straight from yaml:

    from ultralytics import RTDETR
    
    model = RTDETR("rtdetr-resnet50.yaml")
    model.train(data="coco.yaml", epochs=100, imgsz=640)

    however, ultralytics does not publish pretrained weights for these. the only official rt-detr checkpoints in the ultralytics/assets releases are rtdetr-l.pt and rtdetr-x.pt, both of which use the hgnetv2 backbone (not resnet). this is also flagged in the model docs under "architecture-only variants".

    resnet18 - not shipped. there is no rtdetr-resnet18.yaml in the repo, so a resnet18 variant would need its own yaml and corresponding modules added.

    loading external pretrained weights: ultralytics builds the model from yaml, so the state_dict keys follow a pattern like model.<index>.layer.<...>.conv.weight. weights from another implementation will not load directly - they would need a key-mapping / conversion step to match this layout.

    hope this helps!

  2. Boao Wang

    想要将原版RT-DETR中的ResNet50和ResNet18以及ResNet101完全移植到Ultralytics,并且获得其预训练模型

  3. 995742853GitHub

    您好,我想请问一下,在哪里有基于rtdetr-resnet50的预训练pt权重,我知道看到rtdetr-l以及x的预训练权重

    1. Glenn JocherUltralytics

      目前 RT-DETR 文档 里公开提供的 Ultralytics 预训练权重只有 rtdetr-l.pt 和 rtdetr-x.pt;如果你找的是 ResNet50 版本,建议查看 Baidu 官方的 RT-DETR PyTorch 权重列表,其中提供的是 rtdetr_r50vd_*.pth,不是 Ultralytics 直接发布的 rtdetr-resnet50.pt,也欢迎直接在这里继续提问,方便 Ultralytics 团队跟进。 (docs.ultralytics.com)

    1. Glenn JocherUltralytics

      Ultralytics currently exposes the original RT-DETR pretrained weights (rtdetr-l.pt, rtdetr-x.pt) via the RTDETR API; RT-DETRv2 pretrained weights/configs aren’t packaged in ultralytics yet, so if you share what RT-DETRv2 checkpoint you have (Paddle vs PyTorch) and how you’re trying to run it, we can point you to the right conversion/workflow—meanwhile you can use RT-DETR as shown in the RT-DETR docs.

      from ultralytics import RTDETR
      
      model = RTDETR("rtdetr-l.pt")
      results = model("path/to/image.jpg")
  4. fxc0627GitHub

    你好,请问RE-DETR模型适用于小目标工业缺陷检测吗?对于小目标检测有什么天然的优势?

  5. wang18382140151-hubGitHub

    你好,最近deim,dfine等对于rtdetr有了很好的改进,尤其是deim能很好的加速训练的速度,能将其整合进rtdetr中吗?

  6. AK993GitHub

    你好,rt-detr支持在转为rknn格式,并在rk3588上部署吗