Başla

Baidu'nun RT-DETR'si: Vision Transformer tabanlı, gerçek zamanlı nesne algılayıcısı

Genel Bakış#

Baidu tarafından geliştirilen Gerçek Zamanlı Algılama Transformer'ı (RT-DETR), yüksek doğruluğu korurken gerçek zamanlı performans sunan uçtan uca bir nesne algılayıcısıdır. NMS içermeyen bir Transformer algılama çerçevesi olan DETR'yi temel alır ve gerçek zamanlı hıza ulaşmak için evrişimli bir omurga ağ ile verimli bir hibrit kodlayıcı ekler. RT-DETR, ölçek içi etkileşimi ölçekler arası birleştirmeden ayırarak çok ölçekli özellikleri verimli biçimde işler. Model son derece uyarlanabilirdir; yeniden eğitim yapmadan farklı kod çözücü katmanları kullanarak çıkarım hızının esnek biçimde ayarlanmasını destekler. RT-DETR, CUDA ve TensorRT gibi hızlandırılmış arka uçlarda en iyi performansı gösterir.



İzle: Nesne Algılama için Baidu'nun RT-DETR'si nasıl kullanılır | Ultralytics ile çıkarım ve kıyaslama

Baidu RT-DETR model mimarisine genel bakış Baidu'nun RT-DETR modeline genel bakış. RT-DETR model mimarisi şeması, omurganın son üç aşamasını {S3, S4, S5} kodlayıcı girdisi olarak gösterir. Verimli hibrit kodlayıcı, ölçek içi özellik etkileşimi (AIFI) ve ölçekler arası özellik birleştirme modülü (CCFM) aracılığıyla çok ölçekli özellikleri bir görüntü özellikleri dizisine dönüştürür. Kod çözücü için ilk nesne sorguları olarak kullanılacak sabit sayıda görüntü özelliğini seçmek amacıyla IoU farkındalıklı sorgu seçimi kullanılır. Son olarak, yardımcı tahmin başlıklarına sahip kod çözücü, kutular ve güven puanları oluşturmak için nesne sorgularını yinelemeli olarak optimize eder (kaynak).

Temel Özellikler#

  • Verimli Hibrit Kodlayıcı: Baidu'nun RT-DETR'si, ölçek içi etkileşimi ölçekler arası birleştirmeden ayırarak çok ölçekli özellikleri işleyen verimli bir hibrit kodlayıcı kullanır. Transformer tabanlı bu tasarım, hesaplama maliyetlerini azaltır ve gerçek zamanlı nesne algılamaya olanak tanır.
  • IoU Farkındalıklı Sorgu Seçimi: Baidu'nun RT-DETR'si, IoU farkındalıklı sorgu seçimiyle nesne sorgusu başlatma işlemini iyileştirir. Bu, modelin sahnedeki en ilgili nesnelere odaklanmasını sağlayarak algılama doğruluğunu artırır.
  • Uyarlanabilir Çıkarım Hızı: Baidu'nun RT-DETR'si, yeniden eğitim gerektirmeden farklı kod çözücü katmanları kullanarak çıkarım hızının esnek biçimde ayarlanmasını destekler. Bu uyarlanabilirlik, çeşitli gerçek zamanlı nesne algılama senaryolarında pratik uygulamaları kolaylaştırır.
  • NMS İçermeyen Çerçeve: DETR'yi temel alan RT-DETR, maksimum olmayan değer bastırma son işlemesine duyulan ihtiyacı ortadan kaldırarak algılama işlem hattını basitleştirir ve verimliliği artırabilir.
  • Çapasız Algılama: Çapasız bir algılayıcı olan RT-DETR, algılama sürecini basitleştirir ve farklı veri kümelerine genellemeyi iyileştirebilir.

Önceden Eğitilmiş Modeller#

Ultralytics Python API, farklı ölçeklerde önceden eğitilmiş PaddlePaddle RT-DETR modelleri sunar:

  • RT-DETR-L: COCO val2017'de %53,0 AP, T4 GPU'da 114 FPS
  • RT-DETR-X: COCO val2017'de %54.8 AP, T4 GPU'da 74 FPS

Baidu, Temmuz 2024'te orijinal mimariyi daha da geliştiren RTDETRv2'yi yayımladı.

Kullanım Örnekleri#

Aşağıdaki örneklerde RT-DETR için basit eğitim ve çıkarım kodları gösterilmektedir. Modelleri Ultralytics Platform üzerinden bulut GPU'larında da eğitebilirsin.

Örnek
from ultralytics import RTDETR

# COCO üzerinde önceden eğitilmiş RT-DETR-l modelini yükle
model = RTDETR("rtdetr-l.pt")

# Model bilgilerini görüntüle (isteğe bağlı)
model.info()

# Modeli COCO8 örnek veri kümesinde 100 dönem boyunca eğit
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# 'bus.jpg' görüntüsünde RT-DETR-l modeliyle çıkarım yap
results = model("path/to/bus.jpg")
Deterministik Eğitim

PyTorch 2.0 veya sonraki sürümlerle CUDA üzerinde RT-DETR eğitirken deterministic=False değerini ayarla. Deformable attention özelliği F.grid_sample kullanır; bu işlemde deterministik CUDA geri yayılımı bulunmadığından deterministic=True çalıştırmayı tekrarlanabilir hâle getiremez ve eğitim verimini düşürebilir. seed ise ağırlık başlatmayı, veri sırasını ve artırma örneklemesini kontrol etmeye devam eder.

Daha Hızlı Çıkarımın Getirdiği Ödünleşimler

RT-DETR'nin önceden eğitilmiş ağırlıkları, yeniden eğitim yapmadan gecikmeyi azaltmak için çıkarım sırasında iki ayarı destekler:

  • eval_idx: Kod çözmeyi erkenden durdur. Varsayılan 6 katmanlı kod çözücü için sıfır tabanlı bir dizin kullan (0–5). eval_idx=5 tüm katmanları, eval_idx=3 ise 4 katmanı kullanır. TensorRT v10.11 ile T4 GPU'da RT-DETR-L, 8.0 ms / 52.7 mAP değerinden 4 katmanla 7.4 ms / 52.5 mAP değerine ulaşır.
  • num_queries: Nesne sorgularının sayısını azalt (varsayılan: 300). Bu sayıyı 100'e düşürmek aynı kurulumda COCO üzerinde 7.4 ms / 51.7 mAP değerine ulaşabilir. Görüntü başına daha az nesne içeren veri kümelerinde mAP düşüşü genellikle daha az olur; ancak değeri görüntü başına beklenen en yüksek nesne sayısının üzerinde tut.

Her iki ayar da mAP değerini düşürebilir; dağıtıma almadan önce bu ödünleşimi kendi veri kümen üzerinde doğrula.

from ultralytics import RTDETR

rtdetr = RTDETR("rtdetr-l.pt")
head = rtdetr.model.model[-1]

# Hız/doğruluk ödünleşimini doğruladıktan sonra ayarlardan birini veya ikisini seç.
head.decoder.eval_idx = 3  # 6 kod çözücü katmanından 4'ünü kullan.
head.num_queries = 100  # Daha az nesne sorgusu kullan.

results = rtdetr("path/to/image.jpg")

# Dışa aktarma işlemi, TensorRT dışa aktarımları da dâhil olmak üzere aynı kod çözücü ve sorgu ayarlarını kullanır.
rtdetr.export(format="engine", device=0, quantize=16)

Desteklenen Görevler ve Modlar#

Bu tabloda model türleri, belirli önceden eğitilmiş ağırlıklar, her modelin desteklediği görevler ve ✅ emojileriyle gösterilen desteklenen modlar (Eğit, Doğrula, Tahmin Et, Dışa Aktar) sunulmaktadır.

Model TürüÖnceden Eğitilmiş AğırlıklarDesteklenen GörevlerEğitimDoğrulamaÇıkarımDışa aktar
RT-DETR Büyükrtdetr-l.ptNesne Algılama✅✅✅✅
RT-DETR Ekstra Büyükrtdetr-x.ptNesne Algılama✅✅✅✅
Yalnızca mimari varyantları

rtdetr-resnet50.yaml ve rtdetr-resnet101.yaml yalnızca YAML mimarileri olarak sunulur. Ultralytics, önceden eğitilmiş ağırlıkları yalnızca rtdetr-l ve rtdetr-x için yayımlar. ResNet varyantlarını YAML'den örneğin RTDETR("rtdetr-resnet50.yaml") ile oluşturup gerektiği şekilde eğit veya ince ayar yap.

İdeal Kullanım Alanları#

RT-DETR, özellikle hem yüksek doğruluk hem de gerçek zamanlı performans gerektiren uygulamalar için uygundur:

Atıflar ve Teşekkürler#

Baidu'nun RT-DETR'sini araştırma veya geliştirme çalışmalarında kullanıyorsan lütfen özgün makaleye atıfta bulun:

Atıf
@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

RTDETRv2 için 2024 tarihli makaleye atıfta bulunabilirsin:

Atıf
@misc{lv2024rtdetrv2,
      title={RT-DETRv2: Improved Baseline with Bag-of-Freebies for Real-Time Detection Transformer},
      author={Wenyu Lv and Yian Zhao and Qinyao Chang and Kui Huang and Guanzhong Wang and Yi Liu},
      year={2024},
      eprint={2407.17140},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Bu değerli kaynağı bilgisayarlı görü topluluğu için oluşturup sürdürdükleri için Baidu'ya ve PaddlePaddle ekibine teşekkür ederiz. Transformer tabanlı gerçek zamanlı nesne algılayıcısı RT-DETR'yi geliştirmiş olmaları büyük takdir görüyor.

Sık Sorulan Sorular#

  • Baidu'nun RT-DETR'si (Gerçek Zamanlı Algılama Dönüştürücüsü), Transformer tabanlı gerçek zamanlı bir nesne algılayıcıdır. Verimli karma kodlayıcısı aracılığıyla ölçek içi etkileşimi ve ölçekler arası birleştirmeyi ayrıştırarak çok ölçekli özellikleri verimli biçimde işler. IoU farkındalıklı sorgu seçimiyle model, en alakalı nesnelere odaklanarak algılama doğruluğunu artırır. Yeniden eğitim gerektirmeden kod çözücü katmanlarını ayarlayarak elde edilen uyarlanabilir çıkarım hızı, RT-DETR'yi çeşitli gerçek zamanlı nesne algılama senaryolarına uygun hâle getirir.

  • Önceden eğitilmiş PaddlePaddle RT-DETR modellerini yüklemek için Ultralytics Python API'sini kullan. Örneğin, COCO üzerinde önceden eğitilmiş RT-DETR-l modelini yüklemek, ince ayar yapmak ve çıkarım çalıştırmak için:

    Örnek
    from ultralytics import RTDETR
    
    # COCO üzerinde önceden eğitilmiş RT-DETR-l modelini yükle
    model = RTDETR("rtdetr-l.pt")
    
    # Model bilgilerini görüntüle (isteğe bağlı)
    model.info()
    
    # Modeli COCO8 örnek veri kümesinde 100 dönem boyunca eğit
    results = model.train(data="coco8.yaml", epochs=100, imgsz=640)
    
    # 'bus.jpg' görüntüsünde RT-DETR-l modeliyle çıkarım yap
    results = model("path/to/bus.jpg")
  • Baidu'nun RT-DETR'si, yüksek doğruluğu korurken hesaplama maliyetini azaltan verimli bir hibrit kodlayıcıyı IoU farkındalıklı sorgu seçimiyle birleştirir. Yeniden eğitim yapmadan farklı kod çözücü katmanları kullanarak çıkarım hızını ayarlayabilmesi esneklik sağlar; bu özellik, CUDA ve TensorRT gibi hızlandırılmış arka uçlardaki gerçek zamanlı uygulamalarda faydalıdır. Transformer mimarisi ayrıca geleneksel CNN tabanlı algılayıcılara kıyasla daha geniş bir bağlamı yakalar.

  • Baidu'nun RT-DETR'si, yeniden eğitim gerektirmeden farklı kod çözücü katmanlarını kullanarak çıkarım hızının esnek biçimde ayarlanmasına olanak tanır. Bu özellik, gerçek zamanlı nesne algılama görevlerinde hız ile doğruluk arasında denge kurmanı sağlar: biraz daha düşük doğrulukla daha hızlı işleme için daha az kod çözücü katmanı, en doğru algılamalar içinse tüm katmanları kullan. Bu özellik, modelleri hesaplama kapasiteleri farklı cihazlarda dağıtırken özellikle değerlidir.

  • Hayır. RT-DETR'de max_det, çıkarım sonrasında döndürülen tahmin sayısını sınırlar; ancak kod çözücünün ürettiği nesne sorgularının sayısını artırmaz. Ultralytics'in önceden eğitilmiş RT-DETR kontrol noktaları 300 nesne sorgusu kullanır; bu nedenle max_det değerini daha yüksek ayarlasan bile görüntü başına 300'den fazla algılama döndüremezler.

    Yalnızca daha az sayıda, güven düzeyi yüksek tahmine ihtiyaç duyduğunda döndürülen algılamaları azaltmak için örneğin max_det=100 değerini kullanarak max_det ayarını yap. Veri kümen görüntü başına 300'den fazla nesne içerebiliyorsa model YAML dosyasındaki daha yüksek bir kod çözücü sorgu sayısıyla (nq) özel bir RT-DETR modeli eğit. Eğitimden sonra önceden eğitilmiş bir kontrol noktasında bu değeri değiştirmek aynı sonucu vermez; ek sorguların öğrenilmesi için yeniden eğitim gerekir.

  • Evet, RT-DETR modelleri Ultralytics eğitim, doğrulama, tahmin ve dışa aktarma modlarını destekler. Ultralytics çerçevesi, model mimarileri arasında tutarlı bir API sunar; bu nedenle RT-DETR, YOLO modelleriyle aynı iş akışını kullanır.

Yorumlar148

Bir soru sor, sonuçlarını paylaş veya başka birine yardım et.

    1. Glenn JocherUltralytics

      Hey there! 👋

      We're really glad you're interested in diving deep into the parameters detailed in the original paper. Specifically, for utilizing parameters as mentioned in the RT-DETR paper ("DETRs Beat YOLOs on Real-time Object Detection"), I recommend focusing on the key components such as the Efficient Hybrid Encoder, IoU-aware Query Selection, and adaptability in Inference Speed adjustments that make RT-DETR efficient.

      Details on these components can be extrapolated to parameter usage within your model through our Python API. For instance, when initializing the RT-DETR model or adjusting inference speed, you would consider the different scales of pre-trained models available:

      from ultralytics import RTDETR
      
      # For a larger model with potentially higher accuracy but lower FPS (Frames Per Second)
      model = RTDETR('rtdetr-l.pt')  
      
      # For an extra-large model prioritizing accuracy over speed
      model_x = RTDETR('rtdetr-x.pt')

      Adjustments for inference speed and applying IoU-aware query selection can directly correlate with your focus during the .train() or .predict() processes, especially understanding what goes behind each configuration setting in these functions.

      Unfortunately, we don't provide a direct mapping for every parameter mentioned in the appendix to code-level argument settings as the implementation abstracts many complexities for user convenience and to maintain the API's simplicity. However, understanding the RT-DETR's key features and translating that understanding into practical API usage is a great way to leverage the power of RT-DETR. 😊

      For more tailored guidance, always feel free to ask or refer to our official documentation for specific examples and deeper insights.

      Happy coding! 🚀

  1. Murat Raimbekov

    hey @wba-zzu, thanks for raising this.

    quick rundown of where things stand:

    resnet50 / resnet101 - the architectures are already shipped as yaml configs:

    you can build and train them straight from yaml:

    from ultralytics import RTDETR
    
    model = RTDETR("rtdetr-resnet50.yaml")
    model.train(data="coco.yaml", epochs=100, imgsz=640)

    however, ultralytics does not publish pretrained weights for these. the only official rt-detr checkpoints in the ultralytics/assets releases are rtdetr-l.pt and rtdetr-x.pt, both of which use the hgnetv2 backbone (not resnet). this is also flagged in the model docs under "architecture-only variants".

    resnet18 - not shipped. there is no rtdetr-resnet18.yaml in the repo, so a resnet18 variant would need its own yaml and corresponding modules added.

    loading external pretrained weights: ultralytics builds the model from yaml, so the state_dict keys follow a pattern like model.<index>.layer.<...>.conv.weight. weights from another implementation will not load directly - they would need a key-mapping / conversion step to match this layout.

    hope this helps!

  2. Boao Wang

    想要将原版RT-DETR中的ResNet50和ResNet18以及ResNet101完全移植到Ultralytics,并且获得其预训练模型

  3. 995742853GitHub

    您好,我想请问一下,在哪里有基于rtdetr-resnet50的预训练pt权重,我知道看到rtdetr-l以及x的预训练权重

    1. Glenn JocherUltralytics

      目前 RT-DETR 文档 里公开提供的 Ultralytics 预训练权重只有 rtdetr-l.pt 和 rtdetr-x.pt;如果你找的是 ResNet50 版本,建议查看 Baidu 官方的 RT-DETR PyTorch 权重列表,其中提供的是 rtdetr_r50vd_*.pth,不是 Ultralytics 直接发布的 rtdetr-resnet50.pt,也欢迎直接在这里继续提问,方便 Ultralytics 团队跟进。 (docs.ultralytics.com)

    1. Glenn JocherUltralytics

      Ultralytics currently exposes the original RT-DETR pretrained weights (rtdetr-l.pt, rtdetr-x.pt) via the RTDETR API; RT-DETRv2 pretrained weights/configs aren’t packaged in ultralytics yet, so if you share what RT-DETRv2 checkpoint you have (Paddle vs PyTorch) and how you’re trying to run it, we can point you to the right conversion/workflow—meanwhile you can use RT-DETR as shown in the RT-DETR docs.

      from ultralytics import RTDETR
      
      model = RTDETR("rtdetr-l.pt")
      results = model("path/to/image.jpg")
  4. fxc0627GitHub

    你好,请问RE-DETR模型适用于小目标工业缺陷检测吗?对于小目标检测有什么天然的优势?

  5. wang18382140151-hubGitHub

    你好,最近deim,dfine等对于rtdetr有了很好的改进,尤其是deim能很好的加速训练的速度,能将其整合进rtdetr中吗?

  6. AK993GitHub

    你好,rt-detr支持在转为rknn格式,并在rk3588上部署吗