RT-DETR من Baidu: كاشف أجسام آني قائم على Transformer للرؤية#

نظرة عامة#

يُعدّ محوّل الكشف الآني (RT-DETR)، الذي طورته Baidu، كاشف أجسام متطورًا من البداية إلى النهاية، يوفّر أداءً آنيًا مع الحفاظ على الدقة العالية. يستند إلى فكرة DETR (إطار عمل خالٍ من NMS)، مع تقديم عمود فقري قائم على الالتفاف ومشفّر هجين فعّال لتحقيق السرعة الآنية. يعالج RT-DETR الميزات متعددة المقاييس بكفاءة عبر فصل التفاعل داخل المقياس عن الدمج بين المقاييس. يتميز النموذج بقدرة عالية على التكيّف، إذ يدعم الضبط المرن لسرعة الاستدلال باستخدام طبقات مفكّك ترميز مختلفة من دون إعادة التدريب. ويتفوق RT-DETR على واجهات خلفية مسرّعة مثل CUDA مع TensorRT، متجاوزًا العديد من كواشف الأجسام الآنية الأخرى.

نظرة عامة على RT-DETR من Baidu. يوضّح مخطط بنية نموذج RT-DETR المراحل الثلاث الأخيرة من العمود الفقري {S3, S4, S5} بوصفها مدخلات للمشفّر. يحوّل المشفّر الهجين الفعّال الميزات متعددة المقاييس إلى سلسلة من ميزات الصور من خلال التفاعل بين الميزات على المقياس نفسه (AIFI) ووحدة دمج الميزات عبر المقاييس (CCFM). ويُستخدم اختيار الاستعلامات المراعي لـ IoU لاختيار عدد ثابت من ميزات الصور لتكون استعلامات الأجسام الأولية لمفكّك الترميز. وأخيرًا، يعمل مفكّك الترميز المزود برؤوس تنبؤ مساعدة على تحسين استعلامات الأجسام تكراريًا لإنشاء الصناديق ودرجات الثقة (المصدر).

الميزات الرئيسية#

• المشفّر الهجين الفعّال: يستخدم RT-DETR من Baidu مشفّرًا هجينًا فعّالًا يعالج الميزات متعددة المقاييس عبر فصل التفاعل داخل المقياس عن الدمج بين المقاييس. يقلل هذا التصميم الفريد القائم على محوّلات الرؤية التكاليف الحسابية، ويتيح الكشف الآني عن الأجسام.
• اختيار الاستعلامات المراعي لـ IoU: يحسّن RT-DETR من Baidu تهيئة استعلامات الأجسام باستخدام اختيار الاستعلامات المراعي لـ IoU. وهذا يمكّن النموذج من التركيز على الأجسام الأهم في المشهد، ما يعزز دقة الكشف.
• سرعة استدلال قابلة للتكيّف: يدعم RT-DETR من Baidu الضبط المرن لسرعة الاستدلال باستخدام طبقات مفكّك ترميز مختلفة من دون الحاجة إلى إعادة التدريب. وتسهّل هذه القدرة على التكيّف تطبيق النموذج عمليًا في سيناريوهات مختلفة للكشف الآني عن الأجسام.
• إطار عمل خالٍ من NMS: استنادًا إلى DETR، يلغي RT-DETR الحاجة إلى المعالجة اللاحقة عبر كبت غير الأعظميات، ما يبسّط مسار الكشف وقد يحسّن الكفاءة.
• الكشف الخالي من المراسي: يبسّط RT-DETR، بوصفه كاشفًا خاليًا من المراسي، عملية الكشف وقد يحسّن التعميم على مجموعات البيانات المختلفة.

النماذج المدربة مسبقًا#

توفر واجهة Python البرمجية من Ultralytics نماذج RT-DETR من PaddlePaddle مدرّبة مسبقًا وبمقاييس مختلفة:

• RT-DETR-L: ‏53.0% AP على COCO val2017، و114 إطارًا في الثانية على وحدة GPU من طراز T4
• RT-DETR-X: ‏54.8% AP على COCO val2017، و74 إطارًا في الثانية على وحدة GPU من طراز T4

بالإضافة إلى ذلك، أصدرت Baidu الإصدار RTDETRv2 في يوليو 2024، الذي يطوّر البنية الأصلية أكثر مع تحسين مقاييس الأداء.

أمثلة الاستخدام#

يقدّم هذا المثال أمثلة بسيطة على تدريب RT-DETR والاستدلال به. للاطلاع على الوثائق الكاملة لهذه الأوضاع وغيرها، راجع صفحات التوثيق الخاصة بـالتنبؤ والتدريب والتحقق والتصدير. ويمكن أيضًا تدريب النماذج على وحدات GPU سحابية عبر منصة Ultralytics.

from ultralytics import RTDETR

# ⁨تحميل نموذج RT-DETR-l مدرّب مسبقًا على COCO⁩
model = RTDETR("rtdetr-l.pt")

# ⁨عرض معلومات النموذج (اختياري)⁩
model.info()

# ⁨تدريب النموذج على مجموعة بيانات المثال COCO8 لمدة 100 حقبة⁩
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# ⁨إجراء الاستدلال باستخدام نموذج RT-DETR-l على الصورة 'bus.jpg'⁩
results = model("path/to/bus.jpg")

from ultralytics import RTDETR

rtdetr = RTDETR("rtdetr-l.pt")
head = rtdetr.model.model[-1]

# ⁨اختر أحد الإعدادين أو كليهما بعد التحقق من مقايضة السرعة والدقة.⁩
head.decoder.eval_idx = 3  # ⁨استخدم 4 من أصل 6 طبقات لمفكّك الترميز.⁩
head.num_queries = 100  # ⁨استخدم عددًا أقل من استعلامات الأجسام.⁩

results = rtdetr("path/to/image.jpg")

# ⁨يستخدم التصدير إعدادات مفكّك الترميز والاستعلامات نفسها، بما في ذلك عمليات التصدير إلى TensorRT.⁩
rtdetr.export(format="engine", device=0, quantize=16)

المهام والأوضاع المدعومة#

يعرض هذا الجدول أنواع النماذج، والأوزان المحددة المدرّبة مسبقًا، والمهام التي يدعمها كل نموذج، وأنماط التشغيل المدعومة المختلفة (التدريب، التحقق، التنبؤ، التصدير)، والمشار إليها برموز ✅.

حالات الاستخدام المثالية#

يناسب RT-DETR على نحو خاص التطبيقات التي تتطلب دقة عالية وأداءً آنيًا معًا:

• القيادة الذاتية: لإدراك البيئة بشكل موثوق في أنظمة المركبات ذاتية القيادة، حيث تُعد السرعة والدقة عاملين حاسمين. تعرّف على المزيد حول الذكاء الاصطناعي في السيارات ذاتية القيادة.
• الروبوتات المتقدمة: تمكين الروبوتات من تنفيذ مهام معقدة تتطلب التعرّف الدقيق على الأجسام والتفاعل معها في بيئات ديناميكية. استكشف دور الذكاء الاصطناعي في الروبوتات.
• التصوير الطبي: للتطبيقات في مجال الرعاية الصحية، حيث قد تكون دقة الكشف عن الأجسام حاسمة في التشخيص. اكتشف الذكاء الاصطناعي في الرعاية الصحية.
• أنظمة المراقبة: للتطبيقات الأمنية التي تتطلب مراقبة آنية بدقة كشف عالية. تعرّف على أنظمة الإنذار الأمني.
• تحليل صور الأقمار الصناعية: للتحليل التفصيلي للصور عالية الدقة، حيث يكون فهم السياق العالمي مهمًا. اقرأ عن الرؤية الحاسوبية في صور الأقمار الصناعية.

الاستشهادات والشكر والتقدير#

إذا استخدمت RT-DETR من Baidu في أبحاثك أو أعمال التطوير، فيُرجى الاستشهاد بـالورقة البحثية الأصلية:

@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

يمكنك الاستشهاد بـورقة 2024 الخاصة بـ RTDETRv2:

@misc{lv2024rtdetrv2,
      title={RTDETRv2: All-in-One Detection Transformer Beats YOLO and DINO},
      author={Wenyu Lv and Yian Zhao and Qinyao Chang and Kui Huang and Guanzhong Wang and Yi Liu},
      year={2024},
      eprint={2407.17140},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

نتوجه بالشكر إلى Baidu وفريق PaddlePaddle على إنشاء هذا المورد القيّم لمجتمع الرؤية الحاسوبية وصيانته. ونقدّر كثيرًا إسهامهم في هذا المجال من خلال تطوير كاشف الأجسام الآني RT-DETR القائم على محوّلات الرؤية.

الأسئلة الشائعة#