Baidu'nun RT-DETR'si: Vision Transformer tabanlı, gerçek zamanlı nesne algılayıcısı
Genel Bakış#
Baidu tarafından geliştirilen Gerçek Zamanlı Algılama Transformer'ı (RT-DETR), yüksek doğruluğu korurken gerçek zamanlı performans sunan uçtan uca bir nesne algılayıcısıdır. NMS içermeyen bir Transformer algılama çerçevesi olan DETR'yi temel alır ve gerçek zamanlı hıza ulaşmak için evrişimli bir omurga ağ ile verimli bir hibrit kodlayıcı ekler. RT-DETR, ölçek içi etkileşimi ölçekler arası birleştirmeden ayırarak çok ölçekli özellikleri verimli biçimde işler. Model son derece uyarlanabilirdir; yeniden eğitim yapmadan farklı kod çözücü katmanları kullanarak çıkarım hızının esnek biçimde ayarlanmasını destekler. RT-DETR, CUDA ve TensorRT gibi hızlandırılmış arka uçlarda en iyi performansı gösterir.
İzle: Nesne Algılama için Baidu'nun RT-DETR'si nasıl kullanılır | Ultralytics ile çıkarım ve kıyaslama
Baidu'nun RT-DETR modeline genel bakış. RT-DETR model mimarisi şeması, omurganın son üç aşamasını {S3, S4, S5} kodlayıcı girdisi olarak gösterir. Verimli hibrit kodlayıcı, ölçek içi özellik etkileşimi (AIFI) ve ölçekler arası özellik birleştirme modülü (CCFM) aracılığıyla çok ölçekli özellikleri bir görüntü özellikleri dizisine dönüştürür. Kod çözücü için ilk nesne sorguları olarak kullanılacak sabit sayıda görüntü özelliğini seçmek amacıyla IoU farkındalıklı sorgu seçimi kullanılır. Son olarak, yardımcı tahmin başlıklarına sahip kod çözücü, kutular ve güven puanları oluşturmak için nesne sorgularını yinelemeli olarak optimize eder (kaynak).
Temel Özellikler#
- Verimli Hibrit Kodlayıcı: Baidu'nun RT-DETR'si, ölçek içi etkileşimi ölçekler arası birleştirmeden ayırarak çok ölçekli özellikleri işleyen verimli bir hibrit kodlayıcı kullanır. Transformer tabanlı bu tasarım, hesaplama maliyetlerini azaltır ve gerçek zamanlı nesne algılamaya olanak tanır.
- IoU Farkındalıklı Sorgu Seçimi: Baidu'nun RT-DETR'si, IoU farkındalıklı sorgu seçimiyle nesne sorgusu başlatma işlemini iyileştirir. Bu, modelin sahnedeki en ilgili nesnelere odaklanmasını sağlayarak algılama doğruluğunu artırır.
- Uyarlanabilir Çıkarım Hızı: Baidu'nun RT-DETR'si, yeniden eğitim gerektirmeden farklı kod çözücü katmanları kullanarak çıkarım hızının esnek biçimde ayarlanmasını destekler. Bu uyarlanabilirlik, çeşitli gerçek zamanlı nesne algılama senaryolarında pratik uygulamaları kolaylaştırır.
- NMS İçermeyen Çerçeve: DETR'yi temel alan RT-DETR, maksimum olmayan değer bastırma son işlemesine duyulan ihtiyacı ortadan kaldırarak algılama işlem hattını basitleştirir ve verimliliği artırabilir.
- Çapasız Algılama: Çapasız bir algılayıcı olan RT-DETR, algılama sürecini basitleştirir ve farklı veri kümelerine genellemeyi iyileştirebilir.
Önceden Eğitilmiş Modeller#
Ultralytics Python API, farklı ölçeklerde önceden eğitilmiş PaddlePaddle RT-DETR modelleri sunar:
- RT-DETR-L: COCO val2017'de %53,0 AP, T4 GPU'da 114 FPS
- RT-DETR-X: COCO val2017'de %54.8 AP, T4 GPU'da 74 FPS
Baidu, Temmuz 2024'te orijinal mimariyi daha da geliştiren RTDETRv2'yi yayımladı.
Kullanım Örnekleri#
Aşağıdaki örneklerde RT-DETR için basit eğitim ve çıkarım kodları gösterilmektedir. Modelleri Ultralytics Platform üzerinden bulut GPU'larında da eğitebilirsin.
from ultralytics import RTDETR
# COCO üzerinde önceden eğitilmiş RT-DETR-l modelini yükle
model = RTDETR("rtdetr-l.pt")
# Model bilgilerini görüntüle (isteğe bağlı)
model.info()
# Modeli COCO8 örnek veri kümesinde 100 dönem boyunca eğit
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)
# 'bus.jpg' görüntüsünde RT-DETR-l modeliyle çıkarım yap
results = model("path/to/bus.jpg")PyTorch 2.0 veya sonraki sürümlerle CUDA üzerinde RT-DETR eğitirken deterministic=False değerini ayarla. Deformable attention özelliği F.grid_sample kullanır; bu işlemde deterministik CUDA geri yayılımı bulunmadığından deterministic=True çalıştırmayı tekrarlanabilir hâle getiremez ve eğitim verimini düşürebilir. seed ise ağırlık başlatmayı, veri sırasını ve artırma örneklemesini kontrol etmeye devam eder.
RT-DETR'nin önceden eğitilmiş ağırlıkları, yeniden eğitim yapmadan gecikmeyi azaltmak için çıkarım sırasında iki ayarı destekler:
eval_idx: Kod çözmeyi erkenden durdur. Varsayılan 6 katmanlı kod çözücü için sıfır tabanlı bir dizin kullan (0–5).eval_idx=5tüm katmanları,eval_idx=3ise 4 katmanı kullanır. TensorRT v10.11 ile T4 GPU'da RT-DETR-L, 8.0 ms / 52.7 mAP değerinden 4 katmanla 7.4 ms / 52.5 mAP değerine ulaşır.num_queries: Nesne sorgularının sayısını azalt (varsayılan: 300). Bu sayıyı 100'e düşürmek aynı kurulumda COCO üzerinde 7.4 ms / 51.7 mAP değerine ulaşabilir. Görüntü başına daha az nesne içeren veri kümelerinde mAP düşüşü genellikle daha az olur; ancak değeri görüntü başına beklenen en yüksek nesne sayısının üzerinde tut.
Her iki ayar da mAP değerini düşürebilir; dağıtıma almadan önce bu ödünleşimi kendi veri kümen üzerinde doğrula.
from ultralytics import RTDETR
rtdetr = RTDETR("rtdetr-l.pt")
head = rtdetr.model.model[-1]
# Hız/doğruluk ödünleşimini doğruladıktan sonra ayarlardan birini veya ikisini seç.
head.decoder.eval_idx = 3 # 6 kod çözücü katmanından 4'ünü kullan.
head.num_queries = 100 # Daha az nesne sorgusu kullan.
results = rtdetr("path/to/image.jpg")
# Dışa aktarma işlemi, TensorRT dışa aktarımları da dâhil olmak üzere aynı kod çözücü ve sorgu ayarlarını kullanır.
rtdetr.export(format="engine", device=0, quantize=16)Desteklenen Görevler ve Modlar#
Bu tabloda model türleri, belirli önceden eğitilmiş ağırlıklar, her modelin desteklediği görevler ve ✅ emojileriyle gösterilen desteklenen modlar (Eğit, Doğrula, Tahmin Et, Dışa Aktar) sunulmaktadır.
| Model Türü | Önceden Eğitilmiş Ağırlıklar | Desteklenen Görevler | Eğitim | Doğrulama | Çıkarım | Dışa aktar |
|---|---|---|---|---|---|---|
| RT-DETR Büyük | rtdetr-l.pt | Nesne Algılama | ✅ | ✅ | ✅ | ✅ |
| RT-DETR Ekstra Büyük | rtdetr-x.pt | Nesne Algılama | ✅ | ✅ | ✅ | ✅ |
rtdetr-resnet50.yaml ve rtdetr-resnet101.yaml yalnızca YAML mimarileri olarak sunulur. Ultralytics, önceden eğitilmiş ağırlıkları yalnızca rtdetr-l ve rtdetr-x için yayımlar. ResNet varyantlarını YAML'den örneğin RTDETR("rtdetr-resnet50.yaml") ile oluşturup gerektiği şekilde eğit veya ince ayar yap.
İdeal Kullanım Alanları#
RT-DETR, özellikle hem yüksek doğruluk hem de gerçek zamanlı performans gerektiren uygulamalar için uygundur:
- Otonom Sürüş: Hem hızın hem de doğruluğun kritik olduğu otonom sürüş sistemlerinde güvenilir çevre algılama için.
- Gelişmiş Robotik: Dinamik ortamlarda doğru nesne tanıma ve etkileşim gerektiren karmaşık görevleri robotların yerine getirmesini sağlar.
- Tıbbi Görüntüleme: Nesne algılamada hassasiyetin tanı koymak için kritik olabileceği sağlık hizmetleri uygulamaları için.
- Gözetim Sistemleri: Yüksek algılama doğruluğuyla gerçek zamanlı izleme gerektiren güvenlik uygulamaları için. Güvenlik alarm sistemleri hakkında bilgi edin.
- Uydu Görüntüsü Analizi: Küresel bağlamı anlamanın önemli olduğu yüksek çözünürlüklü görüntülerin ayrıntılı analizi için. Uydu görüntülerinde bilgisayarlı görü hakkında bilgi edin.
Atıflar ve Teşekkürler#
Baidu'nun RT-DETR'sini araştırma veya geliştirme çalışmalarında kullanıyorsan lütfen özgün makaleye atıfta bulun:
@misc{lv2023detrs,
title={DETRs Beat YOLOs on Real-time Object Detection},
author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
year={2023},
eprint={2304.08069},
archivePrefix={arXiv},
primaryClass={cs.CV}
}RTDETRv2 için 2024 tarihli makaleye atıfta bulunabilirsin:
@misc{lv2024rtdetrv2,
title={RT-DETRv2: Improved Baseline with Bag-of-Freebies for Real-Time Detection Transformer},
author={Wenyu Lv and Yian Zhao and Qinyao Chang and Kui Huang and Guanzhong Wang and Yi Liu},
year={2024},
eprint={2407.17140},
archivePrefix={arXiv},
primaryClass={cs.CV}
}Bu değerli kaynağı bilgisayarlı görü topluluğu için oluşturup sürdürdükleri için Baidu'ya ve PaddlePaddle ekibine teşekkür ederiz. Transformer tabanlı gerçek zamanlı nesne algılayıcısı RT-DETR'yi geliştirmiş olmaları büyük takdir görüyor.
Sık Sorulan Sorular#
Baidu'nun RT-DETR'si (Gerçek Zamanlı Algılama Dönüştürücüsü), Transformer tabanlı gerçek zamanlı bir nesne algılayıcıdır. Verimli karma kodlayıcısı aracılığıyla ölçek içi etkileşimi ve ölçekler arası birleştirmeyi ayrıştırarak çok ölçekli özellikleri verimli biçimde işler. IoU farkındalıklı sorgu seçimiyle model, en alakalı nesnelere odaklanarak algılama doğruluğunu artırır. Yeniden eğitim gerektirmeden kod çözücü katmanlarını ayarlayarak elde edilen uyarlanabilir çıkarım hızı, RT-DETR'yi çeşitli gerçek zamanlı nesne algılama senaryolarına uygun hâle getirir.
Önceden eğitilmiş PaddlePaddle RT-DETR modellerini yüklemek için Ultralytics Python API'sini kullan. Örneğin, COCO üzerinde önceden eğitilmiş RT-DETR-l modelini yüklemek, ince ayar yapmak ve çıkarım çalıştırmak için:
Örnekfrom ultralytics import RTDETR # COCO üzerinde önceden eğitilmiş RT-DETR-l modelini yükle model = RTDETR("rtdetr-l.pt") # Model bilgilerini görüntüle (isteğe bağlı) model.info() # Modeli COCO8 örnek veri kümesinde 100 dönem boyunca eğit results = model.train(data="coco8.yaml", epochs=100, imgsz=640) # 'bus.jpg' görüntüsünde RT-DETR-l modeliyle çıkarım yap results = model("path/to/bus.jpg")Baidu'nun RT-DETR'si, yüksek doğruluğu korurken hesaplama maliyetini azaltan verimli bir hibrit kodlayıcıyı IoU farkındalıklı sorgu seçimiyle birleştirir. Yeniden eğitim yapmadan farklı kod çözücü katmanları kullanarak çıkarım hızını ayarlayabilmesi esneklik sağlar; bu özellik, CUDA ve TensorRT gibi hızlandırılmış arka uçlardaki gerçek zamanlı uygulamalarda faydalıdır. Transformer mimarisi ayrıca geleneksel CNN tabanlı algılayıcılara kıyasla daha geniş bir bağlamı yakalar.
Baidu'nun RT-DETR'si, yeniden eğitim gerektirmeden farklı kod çözücü katmanlarını kullanarak çıkarım hızının esnek biçimde ayarlanmasına olanak tanır. Bu özellik, gerçek zamanlı nesne algılama görevlerinde hız ile doğruluk arasında denge kurmanı sağlar: biraz daha düşük doğrulukla daha hızlı işleme için daha az kod çözücü katmanı, en doğru algılamalar içinse tüm katmanları kullan. Bu özellik, modelleri hesaplama kapasiteleri farklı cihazlarda dağıtırken özellikle değerlidir.
Hayır. RT-DETR'de
max_det, çıkarım sonrasında döndürülen tahmin sayısını sınırlar; ancak kod çözücünün ürettiği nesne sorgularının sayısını artırmaz. Ultralytics'in önceden eğitilmiş RT-DETR kontrol noktaları 300 nesne sorgusu kullanır; bu nedenlemax_detdeğerini daha yüksek ayarlasan bile görüntü başına 300'den fazla algılama döndüremezler.Yalnızca daha az sayıda, güven düzeyi yüksek tahmine ihtiyaç duyduğunda döndürülen algılamaları azaltmak için örneğin
max_det=100değerini kullanarakmax_detayarını yap. Veri kümen görüntü başına 300'den fazla nesne içerebiliyorsa model YAML dosyasındaki daha yüksek bir kod çözücü sorgu sayısıyla (nq) özel bir RT-DETR modeli eğit. Eğitimden sonra önceden eğitilmiş bir kontrol noktasında bu değeri değiştirmek aynı sonucu vermez; ek sorguların öğrenilmesi için yeniden eğitim gerekir.Evet, RT-DETR modelleri Ultralytics eğitim, doğrulama, tahmin ve dışa aktarma modlarını destekler. Ultralytics çerçevesi, model mimarileri arasında tutarlı bir API sunar; bu nedenle RT-DETR, YOLO modelleriyle aynı iş akışını kullanır.
Yorumlar148
Bir soru sor, sonuçlarını paylaş veya başka birine yardım et.
PhucPhamSy
Hi all, Could you please let me know how to use all parameters in the appendix of the original paper, "https://arxiv.org/pdf/2304.08069"? Thanks!
1
Glenn JocherUltralyticsHey there! 👋
We're really glad you're interested in diving deep into the parameters detailed in the original paper. Specifically, for utilizing parameters as mentioned in the RT-DETR paper ("DETRs Beat YOLOs on Real-time Object Detection"), I recommend focusing on the key components such as the Efficient Hybrid Encoder, IoU-aware Query Selection, and adaptability in Inference Speed adjustments that make RT-DETR efficient.
Details on these components can be extrapolated to parameter usage within your model through our Python API. For instance, when initializing the RT-DETR model or adjusting inference speed, you would consider the different scales of pre-trained models available:
from ultralytics import RTDETR # For a larger model with potentially higher accuracy but lower FPS (Frames Per Second) model = RTDETR('rtdetr-l.pt') # For an extra-large model prioritizing accuracy over speed model_x = RTDETR('rtdetr-x.pt')Adjustments for inference speed and applying IoU-aware query selection can directly correlate with your focus during the
.train()or.predict()processes, especially understanding what goes behind each configuration setting in these functions.Unfortunately, we don't provide a direct mapping for every parameter mentioned in the appendix to code-level argument settings as the implementation abstracts many complexities for user convenience and to maintain the API's simplicity. However, understanding the RT-DETR's key features and translating that understanding into practical API usage is a great way to leverage the power of RT-DETR. 😊
For more tailored guidance, always feel free to ask or refer to our official documentation for specific examples and deeper insights.
Happy coding! 🚀
Murat Raimbekovhey @wba-zzu, thanks for raising this.
quick rundown of where things stand:
resnet50 / resnet101 - the architectures are already shipped as yaml configs:
you can build and train them straight from yaml:
from ultralytics import RTDETR model = RTDETR("rtdetr-resnet50.yaml") model.train(data="coco.yaml", epochs=100, imgsz=640)however, ultralytics does not publish pretrained weights for these. the only official rt-detr checkpoints in the ultralytics/assets releases are
rtdetr-l.ptandrtdetr-x.pt, both of which use the hgnetv2 backbone (not resnet). this is also flagged in the model docs under "architecture-only variants".resnet18 - not shipped. there is no
rtdetr-resnet18.yamlin the repo, so a resnet18 variant would need its own yaml and corresponding modules added.loading external pretrained weights: ultralytics builds the model from yaml, so the state_dict keys follow a pattern like
model.<index>.layer.<...>.conv.weight. weights from another implementation will not load directly - they would need a key-mapping / conversion step to match this layout.hope this helps!
Boao Wang想要将原版RT-DETR中的ResNet50和ResNet18以及ResNet101完全移植到Ultralytics,并且获得其预训练模型
995742853
您好,我想请问一下,在哪里有基于rtdetr-resnet50的预训练pt权重,我知道看到rtdetr-l以及x的预训练权重
Glenn JocherUltralytics目前 RT-DETR 文档 里公开提供的 Ultralytics 预训练权重只有
rtdetr-l.pt和rtdetr-x.pt;如果你找的是 ResNet50 版本,建议查看 Baidu 官方的 RT-DETR PyTorch 权重列表,其中提供的是rtdetr_r50vd_*.pth,不是 Ultralytics 直接发布的rtdetr-resnet50.pt,也欢迎直接在这里继续提问,方便 Ultralytics 团队跟进。 (docs.ultralytics.com)995742853
谢谢您的回复
maitianstudio-arch
How to use RT-DETRv2?
Glenn JocherUltralyticsUltralytics currently exposes the original RT-DETR pretrained weights (
rtdetr-l.pt,rtdetr-x.pt) via theRTDETRAPI; RT-DETRv2 pretrained weights/configs aren’t packaged inultralyticsyet, so if you share what RT-DETRv2 checkpoint you have (Paddle vs PyTorch) and how you’re trying to run it, we can point you to the right conversion/workflow—meanwhile you can use RT-DETR as shown in the RT-DETR docs.from ultralytics import RTDETR model = RTDETR("rtdetr-l.pt") results = model("path/to/image.jpg")
fxc0627
你好,请问RE-DETR模型适用于小目标工业缺陷检测吗?对于小目标检测有什么天然的优势?
wang18382140151-hub
你好,最近deim,dfine等对于rtdetr有了很好的改进,尤其是deim能很好的加速训练的速度,能将其整合进rtdetr中吗?
yuwencool
您好RT-DETR模型的推理支持model.track模式吗?
liyansong123456
RT-DETRv3 has been released. Does Ultralytics have plans to integrate it?
AK993
你好,rt-detr支持在转为rknn格式,并在rk3588上部署吗