كاشف الأجسام الآني القائم على Transformer للرؤية من Baidu#

نظرة عامة#

يُعدّ محوّل الكشف الآني (RT-DETR)، الذي طوّرته Baidu، كاشف أجسام متطورًا من طرف إلى طرف، ويوفر أداءً آنيًا مع الحفاظ على دقة عالية. ويستند إلى فكرة DETR (الإطار الخالي من NMS)، مع تقديم عمود فقري قائم على الالتفاف ومشفّر هجين فعّال لتحقيق سرعة آنية. يعالج RT-DETR الميزات متعددة المقاييس بكفاءة من خلال فصل التفاعل داخل المقياس عن الدمج عبر المقاييس. ويتسم النموذج بقدرة عالية على التكيّف، إذ يدعم ضبط سرعة الاستدلال بمرونة باستخدام طبقات فك ترميز مختلفة من دون إعادة التدريب. ويتفوق RT-DETR على الواجهات الخلفية المسرّعة مثل CUDA مع TensorRT، متجاوزًا العديد من كاشفات الأجسام الآنية الأخرى.

نظرة عامة على RT-DETR من Baidu. يوضح مخطط بنية نموذج RT-DETR المراحل الثلاث الأخيرة من العمود الفقري {S3, S4, S5} بوصفها مدخلًا إلى المشفّر. يحوّل المشفّر الهجين الفعّال الميزات متعددة المقاييس إلى تسلسل من ميزات الصورة من خلال تفاعل الميزات داخل المقياس (AIFI) ووحدة دمج الميزات عبر المقاييس (CCFM). ويُستخدم اختيار الاستعلامات الواعي بـ IoU لاختيار عدد ثابت من ميزات الصورة لتكون استعلامات الأجسام الأولية لفك الترميز. وأخيرًا، يعمل فك الترميز المزود برؤوس تنبؤ مساعدة على تحسين استعلامات الأجسام تكراريًا لإنشاء الصناديق ودرجات الثقة (المصدر).

الميزات الرئيسية#

• المشفّر الهجين الفعّال: يستخدم RT-DETR من Baidu مشفّرًا هجينًا فعّالًا يعالج الميزات متعددة المقاييس من خلال فصل التفاعل داخل المقياس عن الدمج عبر المقاييس. ويقلل هذا التصميم الفريد القائم على Transformer للرؤية من التكاليف الحسابية، ويتيح كشف الأجسام في الوقت الفعلي.
• اختيار الاستعلامات الواعي بـ IoU: يحسّن RT-DETR من Baidu تهيئة استعلامات الأجسام باستخدام اختيار الاستعلامات الواعي بـ IoU. ويتيح ذلك للنموذج التركيز على الأجسام الأكثر صلة في المشهد، مما يعزز دقة الكشف.
• سرعة الاستدلال القابلة للتكيّف: يدعم RT-DETR من Baidu ضبط سرعة الاستدلال بمرونة باستخدام طبقات فك ترميز مختلفة من دون الحاجة إلى إعادة التدريب. ويسهّل هذا التكيّف التطبيق العملي في مختلف سيناريوهات كشف الأجسام الآني.
• إطار خالٍ من NMS: استنادًا إلى DETR، يلغي RT-DETR الحاجة إلى المعالجة اللاحقة لـ قمع غير الأعظم، مما يبسط مسار الكشف وقد يحسن الكفاءة.
• كشف خالٍ من المراسي: بصفته كاشفًا خاليًا من المراسي، يبسط RT-DETR عملية الكشف وقد يحسن التعميم عبر مجموعات البيانات المختلفة.

النماذج المدرّبة مسبقًا#

توفر Python API من Ultralytics نماذج RT-DETR مُدرَّبة مسبقًا من PaddlePaddle بمقاييس مختلفة:

• RT-DETR-L: ‏53.0% AP على COCO val2017، و114 FPS على وحدة معالجة الرسومات T4
• RT-DETR-X: ‏54.8% AP على COCO val2017، و74 FPS على وحدة معالجة الرسومات T4

بالإضافة إلى ذلك، أصدرت Baidu الإصدار RTDETRv2 في يوليو 2024، الذي يواصل تحسين البنية الأصلية مع مقاييس أداء محسّنة.

أمثلة على الاستخدام#

يقدم هذا المثال أمثلة بسيطة على تدريب RT-DETR والاستدلال به. للحصول على الوثائق الكاملة لهذه الأوضاع وغيرها، راجع صفحات وثائق Predict وTrain وVal وExport. ويمكن أيضًا تدريب النماذج على وحدات معالجة الرسومات السحابية من خلال Ultralytics Platform.

from ultralytics import RTDETR

# Load a COCO-pretrained RT-DETR-l model
model = RTDETR("rtdetr-l.pt")

# Display model information (optional)
model.info()

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the RT-DETR-l model on the 'bus.jpg' image
results = model("path/to/bus.jpg")

from ultralytics import RTDETR

rtdetr = RTDETR("rtdetr-l.pt")
head = rtdetr.model.model[-1]

# Choose one or both settings after validating the speed/accuracy trade-off.
head.decoder.eval_idx = 3  # Use 4 of 6 decoder layers.
head.num_queries = 100  # Use fewer object queries.

results = rtdetr("path/to/image.jpg")

# Export uses the same decoder and query settings, including TensorRT exports.
rtdetr.export(format="engine", device=0, quantize=16)

المهام والأوضاع المدعومة#

يعرض هذا الجدول أنواع النماذج، وأوزان التدريب المسبق المحددة، والمهام التي يدعمها كل نموذج، والأوضاع المختلفة (Train، وVal، وPredict، وExport) المدعومة، والمشار إليها برمز تعبيري ✅.

حالات الاستخدام المثالية#

يناسب RT-DETR بوجه خاص التطبيقات التي تتطلب دقة عالية وأداءً آنيًا معًا:

• القيادة الذاتية: لإدراك البيئة بصورة موثوقة في أنظمة القيادة الذاتية، حيث تكون السرعة والدقة ضروريتين. تعرّف على المزيد حول الذكاء الاصطناعي في السيارات ذاتية القيادة.
• الروبوتات المتقدمة: تمكين الروبوتات من تنفيذ مهام معقدة تتطلب تعرّفًا دقيقًا على الأجسام وتفاعلًا معها في بيئات ديناميكية. استكشف دور الذكاء الاصطناعي في الروبوتات.
• التصوير الطبي: للتطبيقات في مجال الرعاية الصحية، حيث قد تكون الدقة في كشف الأجسام حاسمة للتشخيص. اكتشف الذكاء الاصطناعي في الرعاية الصحية.
• أنظمة المراقبة: لتطبيقات الأمن التي تتطلب مراقبة آنية مع دقة كشف عالية. تعرّف على أنظمة الإنذار الأمني.
• تحليل صور الأقمار الصناعية: للتحليل التفصيلي للصور عالية الدقة، حيث يكون فهم السياق العام مهمًا. اقرأ عن الرؤية الحاسوبية في صور الأقمار الصناعية.

الاقتباسات والشكر والتقدير#

إذا استخدمت RT-DETR من Baidu في أعمالك البحثية أو التطويرية، فالرجاء الاستشهاد بـالورقة البحثية الأصلية:

@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

بالنسبة إلى RTDETRv2، يمكنك الاستشهاد بـورقة عام 2024:

@misc{lv2024rtdetrv2,
      title={RTDETRv2: All-in-One Detection Transformer Beats YOLO and DINO},
      author={Wenyu Lv and Yian Zhao and Qinyao Chang and Kui Huang and Guanzhong Wang and Yi Liu},
      year={2024},
      eprint={2407.17140},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

نود توجيه الشكر إلى Baidu وفريق PaddlePaddle على إنشاء هذا المورد القيّم لمجتمع الرؤية الحاسوبية وصيانته. ونقدّر تقديرًا كبيرًا إسهامهم في هذا المجال من خلال تطوير كاشف الأجسام الآني القائم على Transformer للرؤية، RT-DETR.

الأسئلة الشائعة#