Baidu'nun RT-DETR'si: Vision Transformer Tabanlı Gerçek Zamanlı Nesne Algılayıcı#

Genel Bakış#

Baidu tarafından geliştirilen Gerçek Zamanlı Algılama Transformer'ı (RT-DETR), yüksek doğruluğu korurken gerçek zamanlı performans sunan, son teknoloji ürünü uçtan uca bir nesne algılayıcıdır. DETR (NMS içermeyen çerçeve) fikrini temel alırken gerçek zamanlı hız elde etmek için evrişim tabanlı bir omurga ve verimli bir hibrit kodlayıcı kullanır. RT-DETR, ölçek içi etkileşimi ölçekler arası birleştirmeden ayırarak çok ölçekli özellikleri verimli biçimde işler. Model, yeniden eğitim gerektirmeden farklı kod çözücü katmanları kullanılarak çıkarım hızının esnek biçimde ayarlanmasını destekler. RT-DETR, TensorRT ile CUDA gibi hızlandırılmış arka uçlarda üstün performans göstererek diğer birçok gerçek zamanlı nesne algılayıcıyı geride bırakır.

Baidu'nun RT-DETR modeline genel bakış. RT-DETR model mimarisi şeması, omurganın son üç aşamasını {S3, S4, S5} kodlayıcı girdisi olarak gösterir. Verimli hibrit kodlayıcı, ölçek içi özellik etkileşimi (AIFI) ve ölçekler arası özellik birleştirme modülü (CCFM) aracılığıyla çok ölçekli özellikleri bir görüntü özellikleri dizisine dönüştürür. Kod çözücü için ilk nesne sorguları olarak kullanılacak sabit sayıda görüntü özelliğini seçmek amacıyla IoU farkındalıklı sorgu seçimi kullanılır. Son olarak, yardımcı tahmin başlıklarına sahip kod çözücü, kutular ve güven puanları oluşturmak için nesne sorgularını yinelemeli olarak optimize eder (kaynak).

Temel Özellikler#

• Verimli Hibrit Kodlayıcı: Baidu'nun RT-DETR'si, ölçek içi etkileşimi ölçekler arası birleştirmeden ayırarak çok ölçekli özellikleri işleyen verimli bir hibrit kodlayıcı kullanır. Vision Transformer tabanlı bu özgün tasarım, hesaplama maliyetlerini düşürür ve gerçek zamanlı nesne algılamayı mümkün kılar.
• IoU Farkındalıklı Sorgu Seçimi: Baidu'nun RT-DETR'si, IoU farkındalıklı sorgu seçimi kullanarak nesne sorgularının başlatılma biçimini iyileştirir. Böylece model sahnedeki en ilgili nesnelere odaklanarak algılama doğruluğunu artırır.
• Uyarlanabilir Çıkarım Hızı: Baidu'nun RT-DETR'si, yeniden eğitim gerektirmeden farklı kod çözücü katmanları kullanarak çıkarım hızının esnek biçimde ayarlanmasını destekler. Bu uyarlanabilirlik, çeşitli gerçek zamanlı nesne algılama senaryolarında pratik uygulamaları kolaylaştırır.
• NMS İçermeyen Çerçeve: DETR'yi temel alan RT-DETR, maksimum olmayan değer bastırma son işlemesine duyulan ihtiyacı ortadan kaldırarak algılama işlem hattını basitleştirir ve verimliliği artırabilir.
• Çapasız Algılama: Çapasız bir algılayıcı olan RT-DETR, algılama sürecini basitleştirir ve farklı veri kümelerine genellemeyi iyileştirebilir.

Önceden Eğitilmiş Modeller#

Ultralytics Python API, farklı ölçeklerde önceden eğitilmiş PaddlePaddle RT-DETR modelleri sunar:

• RT-DETR-L: COCO val2017'de %53.0 AP, T4 GPU'da 114 FPS
• RT-DETR-X: COCO val2017'de %54.8 AP, T4 GPU'da 74 FPS

Ayrıca Baidu, Temmuz 2024'te özgün mimariyi daha da geliştiren ve performans ölçütlerini iyileştiren RTDETRv2'yi yayımladı.

Kullanım Örnekleri#

Bu örnekte RT-DETR eğitimi ve çıkarımı için basit örnekler sunulmaktadır. Bu ve diğer modların tüm belgeleri için Tahmin, Eğitim, Doğrulama ve Dışa Aktarma belgelerine bak. Modeller, Ultralytics Platform aracılığıyla bulut GPU'larında da eğitilebilir.

from ultralytics import RTDETR

# COCO üzerinde önceden eğitilmiş RT-DETR-l modelini yükle
model = RTDETR("rtdetr-l.pt")

# Model bilgilerini görüntüle (isteğe bağlı)
model.info()

# Modeli COCO8 örnek veri kümesinde 100 dönem boyunca eğit
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# 'bus.jpg' görüntüsünde RT-DETR-l modeliyle çıkarım yap
results = model("path/to/bus.jpg")

from ultralytics import RTDETR

rtdetr = RTDETR("rtdetr-l.pt")
head = rtdetr.model.model[-1]

# Hız/doğruluk ödünleşimini doğruladıktan sonra ayarlardan birini veya ikisini seç.
head.decoder.eval_idx = 3  # 6 kod çözücü katmanından 4'ünü kullan.
head.num_queries = 100  # Daha az nesne sorgusu kullan.

results = rtdetr("path/to/image.jpg")

# Dışa aktarma işlemi, TensorRT dışa aktarımları da dâhil olmak üzere aynı kod çözücü ve sorgu ayarlarını kullanır.
rtdetr.export(format="engine", device=0, quantize=16)

Desteklenen Görevler ve Modlar#

Bu tabloda model türleri, belirli önceden eğitilmiş ağırlıklar, her modelin desteklediği görevler ve desteklenen çeşitli modlar (Eğitim, Doğrulama, Tahmin, Dışa Aktarma) gösterilir; desteklenen modlar ✅ emojisiyle belirtilir.

İdeal Kullanım Alanları#

RT-DETR, özellikle hem yüksek doğruluk hem de gerçek zamanlı performans gerektiren uygulamalar için uygundur:

• Otonom Sürüş: Hızın ve doğruluğun kritik olduğu sürücüsüz sistemlerde güvenilir çevresel algılama için. Sürücüsüz araçlarda yapay zekâ hakkında daha fazla bilgi edin.
• İleri Robotik: Robotların dinamik ortamlarda doğru nesne tanıma ve etkileşim gerektiren karmaşık görevleri yerine getirmesini sağlar. Robotikte yapay zekânın rolünü keşfet.
• Tıbbi Görüntüleme: Nesne algılama doğruluğunun tanı için kritik olabileceği sağlık uygulamalarında kullanılır. Sağlıkta yapay zekâyı keşfet.
• Gözetim Sistemleri: Yüksek algılama doğruluğuyla gerçek zamanlı izleme gerektiren güvenlik uygulamaları için. Güvenlik alarm sistemleri hakkında bilgi edin.
• Uydu Görüntüsü Analizi: Küresel bağlamı anlamanın önemli olduğu yüksek çözünürlüklü görüntülerin ayrıntılı analizi için. Uydu görüntülerinde bilgisayarlı görü hakkında bilgi edin.

Atıflar ve Teşekkürler#

Baidu'nun RT-DETR'sini araştırma veya geliştirme çalışmalarında kullanıyorsan lütfen özgün makaleye atıfta bulun:

@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

RTDETRv2 için 2024 tarihli makaleye atıfta bulunabilirsin:

@misc{lv2024rtdetrv2,
      title={RTDETRv2: All-in-One Detection Transformer Beats YOLO and DINO},
      author={Wenyu Lv and Yian Zhao and Qinyao Chang and Kui Huang and Guanzhong Wang and Yi Liu},
      year={2024},
      eprint={2407.17140},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Bu değerli kaynağı bilgisayarlı görü topluluğu için oluşturup sürdüren Baidu'ya ve PaddlePaddle ekibine teşekkür ederiz. Vision Transformer tabanlı gerçek zamanlı nesne algılayıcı RT-DETR'yi geliştirerek bu alana yaptıkları katkı için kendilerine minnettarız.

Sık Sorulan Sorular#