مُكتشف الكائنات الفوري المستند إلى رؤية محول RT-DETR من Baidu#

نظرة عامة#

يعتبر Real-Time Detection Transformer (RT-DETR)، الذي طورته Baidu، مكتشف كائنات متطور من البداية إلى النهاية يقدم أداءً فورياً مع الحفاظ على دقة عالية. وهو مستند إلى فكرة DETR (الإطار الخالي من NMS)، بينما يقدم عموداً فقرياً قائماً على التدوير ومشفراً هجيناً فعالاً لتحقيق سرعة فورية. يعالج RT-DETR الميزات متعددة المقاييس بكفاءة من خلال فصل التفاعل داخل المقاييس والدمج عبر المقاييس. النموذج قابل للتكيف بدرجة كبيرة، ويدعم التعديل المرن لسرعة الاستدلال باستخدام طبقات فك ترميز مختلفة دون إعادة تدريب. يتفوق RT-DETR على الخلفيات المحسنة مثل CUDA مع TensorRT، متفوقاً على العديد من مكتشفات الكائنات الفورية الأخرى.

نظرة عامة على RT-DETR من Baidu. يوضح مخطط هندسة نموذج RT-DETR المراحل الثلاث الأخيرة للعمود الفقري {S3، S4، S5} كمدخل للمشفر. يقوم المشفر الهجين الفعال بتحويل الميزات متعددة المقاييس إلى تسلسل من ميزات الصور من خلال التفاعل بين الميزات داخل المقياس (AIFI) ووحدة دمج الميزات عبر المقاييس (CCFM). يتم استخدام تحديد الاستعلام الواعي بـ IoU لتحديد عدد ثابت من ميزات الصور لتكون بمثابة استعلامات كائنات أولية لفك التشفير. أخيراً، يقوم فك التشفير مع رؤوس التنبؤ المساعدة بتحسين استعلامات الكائنات بشكل تكراري لتوليد المربعات ودرجات الثقة (المصدر).

الميزات الرئيسية#

• المشفر الهجين الفعال: يستخدم RT-DETR من Baidu مشفراً هجيناً فعالاً يعالج الميزات متعددة المقاييس عن طريق فصل التفاعل داخل المقاييس والدمج عبر المقاييس. يقلل هذا التصميم الفريد القائم على محولات الرؤية من التكاليف الحسابية ويسمح باكتشاف الكائنات الفوري.
• اختيار الاستعلام المدرك لـ IoU: يعمل نموذج RT-DETR من Baidu على تحسين تهيئة استعلام الكائنات باستخدام اختيار الاستعلام المدرك لـ IoU. يسمح هذا للنموذج بالتركيز على الكائنات الأكثر صلة في المشهد، مما يعزز دقة الاكتشاف.
• سرعة استدلال قابلة للتكيف: يدعم نموذج RT-DETR من Baidu تعديلات مرنة لسرعة الاستدلال باستخدام طبقات فك ترميز مختلفة دون الحاجة إلى إعادة التدريب. تسهل هذه القابلية للتكيف التطبيقات العملية في سيناريوهات اكتشاف الكائنات الفورية المختلفة.
• إطار العمل الخالي من NMS: بناءً على DETR، يلغي RT-DETR الحاجة إلى المعالجة اللاحقة لقمع الحد الأقصى غير (NMS)، مما يبسط خط أنابيب الكفاءة ويحتمل أن يحسن الكفاءة.
• الكشف بدون مرساة: كمكتشف بدون مرساة، يبسط RT-DETR عملية الاكتشاف وقد يحسن التعميم عبر مجموعات بيانات مختلفة.

النماذج المدربة مسبقاً#

توفر واجهة برمجة تطبيقات Ultralytics Python نماذج PaddlePaddle RT-DETR مدربة مسبقاً بمقاييس مختلفة:

• RT-DETR-L: دقة AP بنسبة 53.0% على مجموعة COCO val2017، بمعدل 114 إطاراً في الثانية على وحدة معالجة الرسومات T4 GPU
• RT-DETR-X: دقة AP بنسبة 54.8% على مجموعة COCO val2017، بمعدل 74 إطاراً في الثانية على وحدة معالجة الرسومات T4 GPU

بالإضافة إلى ذلك، أصدرت Baidu نموذج RTDETRv2 في يوليو 2024، والذي يعمل على تحسين البنية الأصلية بشكل أكبر مع مقاييس أداء معززة.

أمثلة الاستخدام#

يقدم هذا المثال أمثلة بسيطة للتدريب والاستدلال لـ RT-DETR. للحصول على التوثيق الكامل لهذه والوضعيات الأخرى، راجع صفحة توثيق التنبؤ، والتدريب، والتقييم، والتصدير. يمكن أيضاً تدريب النماذج على وحدات معالجة الرسومات السحابية عبر Ultralytics Platform.

from ultralytics import RTDETR

# Load a COCO-pretrained RT-DETR-l model
model = RTDETR("rtdetr-l.pt")

# Display model information (optional)
model.info()

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the RT-DETR-l model on the 'bus.jpg' image
results = model("path/to/bus.jpg")

from ultralytics import RTDETR

rtdetr = RTDETR("rtdetr-l.pt")
head = rtdetr.model.model[-1]

# Choose one or both settings after validating the speed/accuracy trade-off.
head.decoder.eval_idx = 3  # Use 4 of 6 decoder layers.
head.num_queries = 100  # Use fewer object queries.

results = rtdetr("path/to/image.jpg")

# Export uses the same decoder and query settings, including TensorRT exports.
rtdetr.export(format="engine", device=0, quantize=16)

المهام والأوضاع المدعومة#

يعرض هذا الجدول أنواع النماذج، والأوزان المحددة المدربة مسبقاً، والمهام المدعومة من كل نموذج، والوضعيات المختلفة (التدريب، التقييم، التنبؤ، التصدير) المدعومة، والمشار إليها برموز تعبيرية ✅.

حالات الاستخدام المثالية#

يعد RT-DETR مناسباً بشكل خاص للتطبيقات التي تتطلب كلاً من الدقة العالية والأداء الفوري:

• القيادة الذاتية: لإدراك موثوق للبيئة في الأنظمة ذاتية القيادة حيث تكون السرعة والدقة حاسمتين. تعرف على المزيد حول الذكاء الاصطناعي في السيارات ذاتية القيادة.
• الروبوتات المتقدمة: تمكين الروبوتات من أداء مهام معقدة تتطلب التعرف الدقيق على الكائنات والتفاعل في بيئات ديناميكية. استكشف دور الذكاء الاصطناعي في الروبوتات.
• التصوير الطبي: لتطبيقات الرعاية الصحية حيث يمكن أن تكون الدقة في اكتشاف الكائنات حاسمة للتشخيص. اكتشف الذكاء الاصطناعي في الرعاية الصحية.
• أنظمة المراقبة: لتطبيقات الأمان التي تتطلب مراقبة فورية بدقة اكتشاف عالية. تعرف على أنظمة إنذار الأمان.
• تحليل صور الأقمار الصناعية: للتحليل المفصل للصور عالية الدقة حيث يكون فهم السياق العالمي مهمًا. اقرأ عن الرؤية الحاسوبية في صور الأقمار الصناعية.

الاقتباسات والشكر#

إذا كنت تستخدم RT-DETR من Baidu في عملك البحثي أو التطويري، يرجى الاستشهاد بالورقة الأصلية:

@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

بالنسبة لـ RTDETRv2، يمكنك الاستشهاد بوارقة 2024:

@misc{lv2024rtdetrv2,
      title={RTDETRv2: All-in-One Detection Transformer Beats YOLO and DINO},
      author={Wenyu Lv and Yian Zhao and Qinyao Chang and Kui Huang and Guanzhong Wang and Yi Liu},
      year={2024},
      eprint={2407.17140},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

نود أن نشكر Baidu وفريق PaddlePaddle لإنشاء وصيانة هذا المورد القيم لمجتمع الرؤية الحاسوبية. نحن نقدر بشدة مساهمتهم في هذا المجال من خلال تطوير مكتشف الكائنات الفوري القائم على محولات الرؤية، RT-DETR.

الأسئلة الشائعة#