Baidu'nun RT-DETR'ı: Vision Transformer tabanlı gerçek zamanlı nesne dedektörü#

Genel Bakış#

Baidu tarafından geliştirilen Gerçek Zamanlı Tespit Transformer'ı (RT-DETR), yüksek doğruluğu korurken gerçek zamanlı performans sunan, son teknoloji ürünü uçtan uca bir nesne dedektörüdür. DETR (NMS içermeyen çerçeve) fikrini temel alırken gerçek zamanlı hız elde etmek için konvolüsyon tabanlı bir omurga ve verimli bir hibrit kodlayıcı kullanır. RT-DETR, ölçek içi etkileşimi ve ölçekler arası birleştirmeyi birbirinden ayırarak çok ölçekli özellikleri verimli bir şekilde işler. Model, yeniden eğitime gerek kalmadan farklı kod çözücü katmanları kullanarak çıkarım hızının esnek biçimde ayarlanmasını destekler. RT-DETR, TensorRT ile CUDA gibi hızlandırılmış arka uçlarda üstün performans göstererek diğer birçok gerçek zamanlı nesne dedektörünü geride bırakır.

Baidu'nun RT-DETR modeline genel bakış. RT-DETR model mimarisi diyagramı, omurganın son üç aşamasını {S3, S4, S5} kodlayıcıya girdi olarak gösterir. Verimli hibrit kodlayıcı, ölçek içi özellik etkileşimi (AIFI) ve ölçekler arası özellik birleştirme modülü (CCFM) aracılığıyla çok ölçekli özellikleri bir görüntü özellikleri dizisine dönüştürür. IoU farkındalıklı sorgu seçimi, kod çözücü için başlangıç nesne sorguları olarak kullanılacak sabit sayıda görüntü özelliğini seçer. Son olarak, yardımcı tahmin başlıklarına sahip kod çözücü, kutular ve güven skorları oluşturmak için nesne sorgularını yinelemeli olarak optimize eder (kaynak).

Temel Özellikler#

• Verimli Hibrit Kodlayıcı: Baidu'nun RT-DETR'ı, ölçek içi etkileşimi ve ölçekler arası birleştirmeyi birbirinden ayırarak çok ölçekli özellikleri işleyen verimli bir hibrit kodlayıcı kullanır. Bu benzersiz Vision Transformers tabanlı tasarım, hesaplama maliyetlerini azaltır ve gerçek zamanlı nesne algılamaya olanak tanır.
• IoU Farkındalıklı Sorgu Seçimi: Baidu'nun RT-DETR'ı, IoU farkındalıklı sorgu seçimini kullanarak nesne sorgusu başlatma işlemini iyileştirir. Bu sayede model, sahnedeki en ilgili nesnelere odaklanarak algılama doğruluğunu artırır.
• Uyarlanabilir Çıkarım Hızı: Baidu'nun RT-DETR'ı, yeniden eğitime gerek kalmadan farklı kod çözücü katmanlarını kullanarak çıkarım hızının esnek biçimde ayarlanmasını destekler. Bu uyarlanabilirlik, çeşitli gerçek zamanlı nesne algılama senaryolarında pratik uygulamayı kolaylaştırır.
• NMS İçermeyen Çerçeve: DETR'ı temel alan RT-DETR, maksimum olmayan bastırma son işlemine duyulan ihtiyacı ortadan kaldırarak algılama işlem hattını basitleştirir ve verimliliği potansiyel olarak artırır.
• Çapa İçermeyen Algılama: Bir çapa içermeyen dedektör olarak RT-DETR, algılama sürecini basitleştirir ve farklı veri kümeleri genelinde genellemeyi iyileştirebilir.

Önceden Eğitilmiş Modeller#

Ultralytics Python API, farklı ölçeklere sahip önceden eğitilmiş PaddlePaddle RT-DETR modelleri sunar:

• RT-DETR-L: COCO val2017 üzerinde %53,0 AP, T4 GPU üzerinde 114 FPS
• RT-DETR-X: COCO val2017 üzerinde %54,8 AP, T4 GPU üzerinde 74 FPS

Ayrıca Baidu, Temmuz 2024'te özgün mimariyi geliştirilmiş performans ölçümleriyle daha da iyileştiren RTDETRv2'yi yayımladı.

Kullanım Örnekleri#

Bu örnek, basit RT-DETR eğitimi ve çıkarımı örnekleri sunar. Bunlar ve diğer modlar hakkında eksiksiz belgeler için Predict, Train, Val ve Export belge sayfalarına bak. Modeller ayrıca Ultralytics Platform aracılığıyla bulut GPU'larında eğitilebilir.

from ultralytics import RTDETR

# Load a COCO-pretrained RT-DETR-l model
model = RTDETR("rtdetr-l.pt")

# Display model information (optional)
model.info()

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the RT-DETR-l model on the 'bus.jpg' image
results = model("path/to/bus.jpg")

from ultralytics import RTDETR

rtdetr = RTDETR("rtdetr-l.pt")
head = rtdetr.model.model[-1]

# Choose one or both settings after validating the speed/accuracy trade-off.
head.decoder.eval_idx = 3  # Use 4 of 6 decoder layers.
head.num_queries = 100  # Use fewer object queries.

results = rtdetr("path/to/image.jpg")

# Export uses the same decoder and query settings, including TensorRT exports.
rtdetr.export(format="engine", device=0, quantize=16)

Desteklenen Görevler ve Modlar#

Bu tablo model türlerini, belirli ön eğitilmiş ağırlıkları, her modelin desteklediği görevleri ve ✅ emojileriyle belirtilen desteklenen çeşitli modları (Train, Val, Predict, Export) sunar.

İdeal Kullanım Alanları#

RT-DETR, özellikle hem yüksek doğruluk hem de gerçek zamanlı performans gerektiren uygulamalar için uygundur:

• Otonom Sürüş: Hız ve doğruluğun kritik olduğu sürücüsüz sistemlerde güvenilir çevre algılama için. Sürücüsüz otomobillerde yapay zekâ hakkında daha fazla bilgi edin.
• İleri Düzey Robotik: Dinamik ortamlarda doğru nesne tanıma ve etkileşim gerektiren karmaşık görevleri robotların gerçekleştirmesini sağlar. Yapay zekânın robotikteki rolünü keşfet.
• Tıbbi Görüntüleme: Nesne algılama hassasiyetinin tanı açısından kritik olabileceği sağlık uygulamaları için. Sağlık hizmetlerinde yapay zekâyı keşfet.
• Gözetim Sistemleri: Yüksek algılama doğruluğuyla gerçek zamanlı izleme gerektiren güvenlik uygulamaları için. Güvenlik alarm sistemleri hakkında bilgi edin.
• Uydu Görüntüsü Analizi: Küresel bağlamın anlaşılmasının önemli olduğu yüksek çözünürlüklü görüntülerin ayrıntılı analizi için. Uydu görüntülerinde bilgisayarlı görü hakkında bilgi edin.

Atıflar ve Teşekkürler#

Baidu'nun RT-DETR'ını araştırma veya geliştirme çalışmalarında kullanıyorsan lütfen özgün makaleye atıfta bulun:

@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

RTDETRv2 için 2024 tarihli makaleye atıfta bulunabilirsin:

@misc{lv2024rtdetrv2,
      title={RTDETRv2: All-in-One Detection Transformer Beats YOLO and DINO},
      author={Wenyu Lv and Yian Zhao and Qinyao Chang and Kui Huang and Guanzhong Wang and Yi Liu},
      year={2024},
      eprint={2407.17140},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Bu değerli kaynağı bilgisayarlı görü topluluğu için oluşturan ve sürdüren Baidu ile PaddlePaddle ekibine teşekkür ederiz. Vision Transformers tabanlı gerçek zamanlı nesne dedektörü RT-DETR'ın geliştirilmesiyle alana yaptıkları katkı büyük takdir görmektedir.

SSS#