Baidu'nun RT-DETR Modeli: Görsel Transformer Tabanlı Gerçek Zamanlı Nesne Dedektörü#

Genel Bakış#

Baidu tarafından geliştirilen Gerçek Zamanlı Algılama Transformer'ı (RT-DETR), yüksek doğruluğu korurken gerçek zamanlı performans sunan son teknoloji uçtan uca bir nesne dedektörüdür. DETR (NMS içermeyen çerçeve) fikrine dayanmakta olup, aynı zamanda gerçek zamanlı hız elde etmek için konvülsiyon tabanlı omurga ve verimli bir hibrit kodlayıcı sunar. RT-DETR, ölçek içi etkileşimi ve ölçekler arası füzyonu ayırarak çok ölçekli özellikleri verimli bir çıkarımla işler. Model, yeniden eğitim gerektirmeden farklı kodlayıcı katmanları kullanarak çıkarım hızının esnek bir şekilde ayarlanmasını destekleyerek yüksek derecede uyarlanabilirdir. RT-DETR, TensorRT ile CUDA gibi hızlandırılmış arka uçlarda üstün başarı göstererek diğer birçok gerçek zamanlı nesne dedektörünü geride bırakır.

Baidu'nun RT-DETR Modeline Genel Bakış. RT-DETR model mimarisi diyagramı, kodlayıcıya giriş olarak omurganın son üç aşamasını {S3, S4, S5} göstermektedir. Verimli hibrit kodlayıcı, ölçek içi özellik etkileşimi (AIFI) ve ölçekler arası özellik füzyon modülü (CCFM) aracılığıyla çok ölçekli özellikleri bir dizi görüntü özelliğine dönüştürür. Kodlayıcı için başlangıç nesne sorguları olarak hizmet edecek sabit sayıda görüntü özelliğini seçmek üzere IoU farkındalıklı sorgu seçimi kullanılır. Son olarak, yardımcı tahmin kafalarına sahip kodlayıcı, kutular ve güven skorları üretmek için nesne sorgularını yinelemeli olarak optimize eder (kaynak).

Temel Özellikler#

• Verimli Hibrit Kodlayıcı: Baidu'nun RT-DETR modeli, ölçek içi etkileşimi ve ölçekler arası füzyonu ayırarak çok ölçekli özellikleri işleyen verimli bir hibrit kodlayıcı kullanır. Vizyon Transformer'larına dayanan bu benzersiz tasarım, hesaplama maliyetlerini düşürür ve gerçek zamanlı nesne tespiti yapılmasını sağlar.
• IoU Duyarlı Sorgu Seçimi: Baidu'nun RT-DETR modeli, IoU duyarlı sorgu seçimini kullanarak nesne sorgusu başlatma sürecini iyileştirir. Bu, modelin sahnedeki en alakalı nesnelere odaklanmasını sağlayarak algılama doğruluğunu artırır.
• Uyarlanabilir Çıkarım Hızı: Baidu'nun RT-DETR modeli, yeniden eğitime ihtiyaç duymadan farklı kodlayıcı katmanları kullanılarak çıkarım hızında esnek ayarlamalar yapılmasını destekler. Bu uyarlanabilirlik, çeşitli gerçek zamanlı nesne algılama senaryolarında pratik uygulamayı kolaylaştırır.
• NMS İçermeyen Çerçeve: DETR'yi temel alan RT-DETR, maksimum olmama bastırma sonrası işlemine olan ihtiyacı ortadan kaldırarak tespit boru hattını basitleştirir ve potansiyel olarak verimliliği artırır.
• Çapasız Tespit: Çapasız bir dedektör olan RT-DETR, tespit sürecini basitleştirir ve farklı veri kümelerindeki genellemeyi iyileştirebilir.

Önceden Eğitilmiş Modeller#

Ultralytics Python API, farklı ölçeklerde önceden eğitilmiş PaddlePaddle RT-DETR modelleri sunar:

• RT-DETR-L: COCO val2017 üzerinde %53.0 AP, T4 GPU üzerinde 114 FPS
• RT-DETR-X: COCO val2017 üzerinde %54.8 AP, T4 GPU üzerinde 74 FPS

Ayrıca Baidu, Temmuz 2024'te orijinal mimariyi gelişmiş performans metrikleriyle daha da ileriye taşıyan RTDETRv2'yi yayınladı.

Kullanım Örnekleri#

Bu örnek, basit RT-DETR eğitimi ve çıkarımı örnekleri sağlar. Bunlar ve diğer modlar hakkındaki eksiksiz belgeler için Tahmin, Eğitim, Doğrulama ve Dışa Aktarma belgeleri sayfalarına göz atabilirsin. Modeller ayrıca Ultralytics Platform aracılığıyla bulut GPU'larında eğitilebilir.

from ultralytics import RTDETR

# Load a COCO-pretrained RT-DETR-l model
model = RTDETR("rtdetr-l.pt")

# Display model information (optional)
model.info()

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the RT-DETR-l model on the 'bus.jpg' image
results = model("path/to/bus.jpg")

from ultralytics import RTDETR

rtdetr = RTDETR("rtdetr-l.pt")
head = rtdetr.model.model[-1]

# Choose one or both settings after validating the speed/accuracy trade-off.
head.decoder.eval_idx = 3  # Use 4 of 6 decoder layers.
head.num_queries = 100  # Use fewer object queries.

results = rtdetr("path/to/image.jpg")

# Export uses the same decoder and query settings, including TensorRT exports.
rtdetr.export(format="engine", device=0, quantize=16)

Desteklenen Görevler ve Modlar#

Bu tablo, model türlerini, belirli ön eğitilmiş ağırlıkları, her model tarafından desteklenen görevleri ve ✅ emojileriyle belirtilen desteklenen çeşitli modları (Train , Val, Predict, Export) sunar.

İdeal Kullanım Senaryoları#

RT-DETR, hem yüksek doğruluk hem de gerçek zamanlı performans gerektiren uygulamalar için özellikle uygundur:

• Otonom Sürüş: Hem hızın hem de doğruluğun kritik olduğu otonom sürüş sistemlerinde güvenilir çevresel algılama için. Otonom araçlarda yapay zeka hakkında daha fazla bilgi edin.
• Gelişmiş Robotik: Robotların dinamik ortamlarda doğru nesne tanıma ve etkileşim gerektiren karmaşık görevleri gerçekleştirmesini sağlamak. Yapay zekanın robotiğindeki rolünü keşfet.
• Tıbbi Görüntüleme: Sağlık hizmetlerinde, nesne tespitindeki hassasiyetin teşhis için çok önemli olabileceği uygulamalar için. Sağlık hizmetlerinde yapay zekayı keşfet.
• Gözetim Sistemleri: Yüksek tespit doğruluğu ile gerçek zamanlı izleme gerektiren güvenlik uygulamaları için. Güvenlik alarm sistemleri hakkında bilgi edin.
• Uydu Görüntü Analizi: Küresel bağlam anlayışının önemli olduğu yüksek çözünürlüklü görüntülerin ayrıntılı analizi için. Uydu görüntülerinde bilgisayarlı görü hakkında bilgi oku.

Alıntılar ve Teşekkür#

Baidu'nun RT-DETR modelini araştırmanızda veya geliştirme çalışmalarınızda kullanıyorsanız, lütfen orijinal makaleye atıfta bulunun:

@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

RTDETRv2 için 2024 tarihli makaleye atıfta bulunabilirsin:

@misc{lv2024rtdetrv2,
      title={RTDETRv2: All-in-One Detection Transformer Beats YOLO and DINO},
      author={Wenyu Lv and Yian Zhao and Qinyao Chang and Kui Huang and Guanzhong Wang and Yi Liu},
      year={2024},
      eprint={2407.17140},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

computer vision topluluğu için bu değerli kaynagi oluşturan ve koruyan Baidu ekibine ve PaddlePaddle ekibine teşekkür ederiz. Vision Transformer tabanlı gerçek zamanlı nesne dedektörü RT-DETR'nin geliştirilmesiyle alana yaptıkları katkı çok takdir edilmektedir.

SSS#