ابدأ

RT-DETR من Baidu: كاشف كائنات آني قائم على Vision Transformer

نظرة عامة#

محوّل الكشف في الوقت الفعلي (RT-DETR)، الذي طوّرته Baidu، هو كاشف للكائنات يعمل من البداية إلى النهاية ويوفّر أداءً آنيًا مع الحفاظ على دقة عالية. يستند RT-DETR إلى DETR، وهو إطار عمل للكشف خالٍ من NMS وقائم على المحوّل، ويضيف RT-DETR عمودًا فقريًا التفافيًا ومشفّرًا هجينًا فعّالًا للوصول إلى سرعة آنية. يعالج RT-DETR السمات متعددة المقاييس بكفاءة عبر فصل التفاعل داخل المقياس عن الدمج بين المقاييس. يتمتع النموذج بقدرة عالية على التكيّف، إذ يتيح ضبط سرعة الاستدلال بمرونة باستخدام طبقات مختلفة من مفكك الترميز دون إعادة التدريب. يحقق RT-DETR أفضل أداء على الواجهات الخلفية المسرّعة مثل CUDA مع TensorRT.



شاهد: كيفية استخدام RT-DETR من Baidu لكشف الكائنات | الاستدلال وقياس الأداء باستخدام Ultralytics

نظرة عامة على بنية نموذج Baidu RT-DETR نظرة عامة على RT-DETR من Baidu. يوضّح مخطط بنية نموذج RT-DETR المراحل الثلاث الأخيرة من العمود الفقري {S3, S4, S5} بوصفها مدخلات للمشفّر. يحوّل المشفّر الهجين الفعّال الميزات متعددة المقاييس إلى سلسلة من ميزات الصور من خلال التفاعل بين الميزات على المقياس نفسه (AIFI) ووحدة دمج الميزات عبر المقاييس (CCFM). ويُستخدم اختيار الاستعلامات المراعي لـ IoU لاختيار عدد ثابت من ميزات الصور لتكون استعلامات الأجسام الأولية لمفكّك الترميز. وأخيرًا، يعمل مفكّك الترميز المزود برؤوس تنبؤ مساعدة على تحسين استعلامات الأجسام تكراريًا لإنشاء الصناديق ودرجات الثقة (المصدر).

الميزات الرئيسية#

  • مشفّر هجين فعّال: يستخدم RT-DETR من Baidu مشفّرًا هجينًا فعّالًا يعالج الميزات متعددة المقاييس عبر فصل التفاعل داخل المقياس عن الدمج بين المقاييس. وتقلل هذه البنية القائمة على المحوّلات تكاليف الحوسبة، وتتيح كشف الكائنات في الوقت الفعلي.
  • اختيار الاستعلامات المراعي لـ IoU: يحسّن RT-DETR من Baidu تهيئة استعلامات الكائنات باستخدام اختيار استعلامات يراعي IoU. وهذا يتيح للنموذج التركيز على الكائنات الأكثر صلة في المشهد، ما يعزز دقة الكشف.
  • سرعة استدلال قابلة للتكيّف: يدعم RT-DETR من Baidu الضبط المرن لسرعة الاستدلال باستخدام طبقات مفكّك ترميز مختلفة من دون الحاجة إلى إعادة التدريب. وتسهّل هذه القدرة على التكيّف تطبيق النموذج عمليًا في سيناريوهات مختلفة للكشف الآني عن الأجسام.
  • إطار عمل خالٍ من NMS: استنادًا إلى DETR، يلغي RT-DETR الحاجة إلى المعالجة اللاحقة عبر كبت غير الأعظميات، ما يبسّط مسار الكشف وقد يحسّن الكفاءة.
  • الكشف الخالي من المراسي: يبسّط RT-DETR، بوصفه كاشفًا خاليًا من المراسي، عملية الكشف وقد يحسّن التعميم على مجموعات البيانات المختلفة.

النماذج المدربة مسبقًا#

توفر واجهة Python البرمجية من Ultralytics نماذج RT-DETR من PaddlePaddle مدرّبة مسبقًا وبمقاييس مختلفة:

  • RT-DETR-L: ‏53.0% AP على مجموعة التحقق val2017 من COCO، و114 إطارًا في الثانية على GPU من نوع T4
  • RT-DETR-X: ‏54.8% AP على COCO val2017، و74 إطارًا في الثانية على وحدة GPU من طراز T4

أصدرت Baidu نموذج RTDETRv2 في يوليو 2024، وأدخلت فيه مزيدًا من التحسينات على البنية الأصلية.

أمثلة الاستخدام#

تعرض الأمثلة أدناه شيفرة بسيطة لـتدريب RT-DETR والاستدلال به. ويمكن أيضًا تدريب النماذج على وحدات GPU سحابية عبر منصة Ultralytics.

مثال
from ultralytics import RTDETR

# ⁨تحميل نموذج RT-DETR-l مدرّب مسبقًا على COCO⁩
model = RTDETR("rtdetr-l.pt")

# ⁨عرض معلومات النموذج (اختياري)⁩
model.info()

# ⁨تدريب النموذج على مجموعة بيانات المثال COCO8 لمدة 100 حقبة⁩
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# ⁨إجراء الاستدلال باستخدام نموذج RT-DETR-l على الصورة 'bus.jpg'⁩
results = model("path/to/bus.jpg")
التدريب الحتمي

اضبط deterministic=False عند تدريب RT-DETR على CUDA باستخدام PyTorch 2.0 أو إصدار أحدث. تستخدم آلية الانتباه القابلة للتشوه F.grid_sample، التي لا توفر تمريرًا عكسيًا حتميًا على CUDA، لذا لا يستطيع deterministic=True جعل التشغيل قابلًا لإعادة الإنتاج، وقد يقلل من معدل إنتاجية التدريب. يظل seed يتحكم في تهيئة الأوزان وترتيب البيانات وأخذ عينات التعزيز.

مقايضات تسريع الاستدلال

تدعم الأوزان المدرّبة مسبقًا لـ RT-DETR إعدادين أثناء الاستدلال لتقليل زمن الاستجابة من دون إعادة التدريب:

  • eval_idx: أوقف فك الترميز مبكرًا. بالنسبة إلى مفكّك الترميز الافتراضي ذي الطبقات الست، استخدم فهرسًا يبدأ من الصفر (0–5). يستخدم eval_idx=5 جميع الطبقات، بينما يستخدم eval_idx=3 أربع طبقات. على وحدة GPU من طراز T4 مع TensorRT v10.11، يتحسن RT-DETR-L من 8.0 مللي ثانية / ‏52.7 mAP إلى 7.4 مللي ثانية / ‏52.5 mAP باستخدام أربع طبقات.
  • num_queries: قلّل عدد استعلامات الأجسام (القيمة الافتراضية: 300). يمكن أن يؤدي خفض العدد إلى 100 إلى تحقيق 7.4 مللي ثانية / ‏51.7 mAP على COCO ضمن الإعداد نفسه. يكون انخفاض mAP أصغر عادةً في مجموعات البيانات التي تضم أجسامًا أقل في كل صورة، لكن احرص على أن تتجاوز القيمة الحد الأقصى المتوقع لعدد الأجسام في الصورة.

يمكن أن يؤدي كلا الإعدادين إلى خفض mAP؛ لذا تحقّق من هذه المقايضة على مجموعة بياناتك قبل النشر.

from ultralytics import RTDETR

rtdetr = RTDETR("rtdetr-l.pt")
head = rtdetr.model.model[-1]

# ⁨اختر أحد الإعدادين أو كليهما بعد التحقق من مقايضة السرعة والدقة.⁩
head.decoder.eval_idx = 3  # ⁨استخدم 4 من أصل 6 طبقات لمفكّك الترميز.⁩
head.num_queries = 100  # ⁨استخدم عددًا أقل من استعلامات الأجسام.⁩

results = rtdetr("path/to/image.jpg")

# ⁨يستخدم التصدير إعدادات مفكّك الترميز والاستعلامات نفسها، بما في ذلك عمليات التصدير إلى TensorRT.⁩
rtdetr.export(format="engine", device=0, quantize=16)

المهام والأوضاع المدعومة#

يعرض هذا الجدول أنواع النماذج والأوزان المحددة المدرّبة مسبقًا والمهام التي يدعمها كل نموذج والأوضاع المدعومة (التدريب والتحقق والتنبؤ والتصدير)، والمشار إليها برموز ✅.

نوع النموذجالأوزان المدرّبة مسبقاًالمهام المدعومةالتدريبالتحققالاستدلالالتصدير
RT-DETR كبيرrtdetr-l.ptكشف الكائنات✅✅✅✅
RT-DETR كبير جدًاrtdetr-x.ptكشف الكائنات✅✅✅✅
متغيرات البنية فقط

يُوزّع rtdetr-resnet50.yaml وrtdetr-resnet101.yaml كبنيتين بصيغة YAML فقط. تصدر Ultralytics الأوزان المدرّبة مسبقًا لـ rtdetr-l وrtdetr-x فقط. أنشئ متغيرات ResNet من ملفات YAML (مثل RTDETR("rtdetr-resnet50.yaml"))، ثم درّبها أو حسّن تدريبها حسب الحاجة.

حالات الاستخدام المثالية#

يناسب RT-DETR على نحو خاص التطبيقات التي تتطلب دقة عالية وأداءً آنيًا معًا:

الاستشهادات والشكر والتقدير#

إذا استخدمت RT-DETR من Baidu في أبحاثك أو أعمال التطوير، فيُرجى الاستشهاد بـالورقة البحثية الأصلية:

الاستشهاد
@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

يمكنك الاستشهاد بـورقة 2024 الخاصة بـ RTDETRv2:

الاستشهاد
@misc{lv2024rtdetrv2,
      title={RT-DETRv2: Improved Baseline with Bag-of-Freebies for Real-Time Detection Transformer},
      author={Wenyu Lv and Yian Zhao and Qinyao Chang and Kui Huang and Guanzhong Wang and Yi Liu},
      year={2024},
      eprint={2407.17140},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

نود الإشادة بـ Baidu وفريق PaddlePaddle لإنشاء هذا المورد القيّم وصيانته لخدمة مجتمع الرؤية الحاسوبية. ونقدّر كثيرًا تطويرهم RT-DETR، كاشف الكائنات الآني القائم على المحوّلات.

الأسئلة الشائعة#

  • يُعد RT-DETR (محوّل الكشف في الزمن الفعلي) من Baidu كاشفًا للكائنات قائمًا على بنية Transformer ويعمل في الزمن الفعلي. ويعالج الميزات متعددة المقاييس بكفاءة من خلال فصل التفاعل داخل المقياس عن الدمج بين المقاييس عبر المشفّر الهجين الفعال. وباستخدام اختيار الاستعلامات الواعي بـ IoU، يركز النموذج على الكائنات الأكثر صلة، ما يعزز دقة الاكتشاف. وتتيح إمكانية ضبط سرعة الاستدلال، من خلال تعديل طبقات مفكّك الترميز دون إعادة التدريب، استخدام RT-DETR في سيناريوهات متنوعة لاكتشاف الكائنات في الزمن الفعلي.

  • استخدم واجهة Python البرمجية من Ultralytics لتحميل نماذج RT-DETR المدرّبة مسبقًا على PaddlePaddle. على سبيل المثال، لتحميل نموذج RT-DETR-l المدرّب مسبقًا على COCO، وضبطه الدقيق، ثم تنفيذ الاستدلال:

    مثال
    from ultralytics import RTDETR
    
    # ⁨تحميل نموذج RT-DETR-l مدرّب مسبقًا على COCO⁩
    model = RTDETR("rtdetr-l.pt")
    
    # ⁨عرض معلومات النموذج (اختياري)⁩
    model.info()
    
    # ⁨تدريب النموذج على مجموعة بيانات المثال COCO8 لمدة 100 حقبة⁩
    results = model.train(data="coco8.yaml", epochs=100, imgsz=640)
    
    # ⁨إجراء الاستدلال باستخدام نموذج RT-DETR-l على الصورة 'bus.jpg'⁩
    results = model("path/to/bus.jpg")
  • يجمع RT-DETR من Baidu بين مشفّر هجين فعّال واختيار استعلامات يراعي IoU، ما يقلل تكلفة الحوسبة مع الحفاظ على دقة عالية. وتضيف قدرته على ضبط سرعة الاستدلال باستخدام طبقات مفكك ترميز مختلفة دون إعادة التدريب مرونةً مفيدةً للتطبيقات الآنية على الواجهات الخلفية المسرّعة، مثل CUDA مع TensorRT. كما تلتقط بنية المحوّلات سياقًا عامًا أوسع مما تلتقطه الكواشف التقليدية القائمة على الشبكات العصبية الالتفافية.

  • يتيح RT-DETR من Baidu ضبط سرعة الاستدلال بمرونة باستخدام طبقات مفكك ترميز مختلفة دون الحاجة إلى إعادة التدريب. وهذا يسمح بالموازنة بين السرعة والدقة في مهام كشف الكائنات الآنية: استخدم عددًا أقل من طبقات مفكك الترميز لمعالجة أسرع بدقة أقل قليلًا، أو استخدم جميع الطبقات للحصول على أدق عمليات الكشف. وتكتسب هذه الميزة أهمية خاصة عند نشر النماذج على أجهزة تختلف قدراتها الحاسوبية.

  • لا. في RT-DETR، يحدّ max_det من عدد التنبؤات التي تُعاد بعد الاستدلال، لكنه لا يزيد عدد استعلامات الأجسام التي ينتجها مفكّك الترميز. تستخدم نقاط التحقق المدرّبة مسبقًا لـ RT-DETR من Ultralytics عدد 300 من استعلامات الأجسام، لذا لا يمكنها إعادة أكثر من 300 كشف لكل صورة، حتى إذا ضبطت max_det على قيمة أكبر.

    استخدم max_det لتقليل عدد الكشوف المُعادة، مثل max_det=100، عندما تحتاج إلى عدد أقل من التنبؤات عالية الثقة فقط. إذا كان من الممكن أن تحتوي مجموعة بياناتك على أكثر من 300 جسم في الصورة، فدرّب نموذج RT-DETR مخصصًا بعدد أكبر من استعلامات مفكّك الترميز (nq) في YAML الخاص بالنموذج؛ فتغيير هذه القيمة في نقطة تحقق مدرّبة مسبقًا بعد التدريب ليس مكافئًا لذلك، ويتطلب إعادة التدريب لتعلّم الاستعلامات الإضافية.

  • نعم، تدعم نماذج RT-DETR أوضاع التدريب والتحقق والتنبؤ والتصدير في Ultralytics. ويوفر إطار عمل Ultralytics واجهة API متسقة عبر بنيات النماذج، لذا يستخدم RT-DETR سير العمل نفسه المستخدم مع نماذج YOLO.

التعليقات148

اطرح سؤالًا، وشارك نتائجك، أو ساعد شخصًا آخر.

    1. Glenn JocherUltralytics

      Hey there! 👋

      We're really glad you're interested in diving deep into the parameters detailed in the original paper. Specifically, for utilizing parameters as mentioned in the RT-DETR paper ("DETRs Beat YOLOs on Real-time Object Detection"), I recommend focusing on the key components such as the Efficient Hybrid Encoder, IoU-aware Query Selection, and adaptability in Inference Speed adjustments that make RT-DETR efficient.

      Details on these components can be extrapolated to parameter usage within your model through our Python API. For instance, when initializing the RT-DETR model or adjusting inference speed, you would consider the different scales of pre-trained models available:

      from ultralytics import RTDETR
      
      # For a larger model with potentially higher accuracy but lower FPS (Frames Per Second)
      model = RTDETR('rtdetr-l.pt')  
      
      # For an extra-large model prioritizing accuracy over speed
      model_x = RTDETR('rtdetr-x.pt')

      Adjustments for inference speed and applying IoU-aware query selection can directly correlate with your focus during the .train() or .predict() processes, especially understanding what goes behind each configuration setting in these functions.

      Unfortunately, we don't provide a direct mapping for every parameter mentioned in the appendix to code-level argument settings as the implementation abstracts many complexities for user convenience and to maintain the API's simplicity. However, understanding the RT-DETR's key features and translating that understanding into practical API usage is a great way to leverage the power of RT-DETR. 😊

      For more tailored guidance, always feel free to ask or refer to our official documentation for specific examples and deeper insights.

      Happy coding! 🚀

  1. Murat Raimbekov

    hey @wba-zzu, thanks for raising this.

    quick rundown of where things stand:

    resnet50 / resnet101 - the architectures are already shipped as yaml configs:

    you can build and train them straight from yaml:

    from ultralytics import RTDETR
    
    model = RTDETR("rtdetr-resnet50.yaml")
    model.train(data="coco.yaml", epochs=100, imgsz=640)

    however, ultralytics does not publish pretrained weights for these. the only official rt-detr checkpoints in the ultralytics/assets releases are rtdetr-l.pt and rtdetr-x.pt, both of which use the hgnetv2 backbone (not resnet). this is also flagged in the model docs under "architecture-only variants".

    resnet18 - not shipped. there is no rtdetr-resnet18.yaml in the repo, so a resnet18 variant would need its own yaml and corresponding modules added.

    loading external pretrained weights: ultralytics builds the model from yaml, so the state_dict keys follow a pattern like model.<index>.layer.<...>.conv.weight. weights from another implementation will not load directly - they would need a key-mapping / conversion step to match this layout.

    hope this helps!

  2. Boao Wang

    想要将原版RT-DETR中的ResNet50和ResNet18以及ResNet101完全移植到Ultralytics,并且获得其预训练模型

  3. 995742853GitHub

    您好,我想请问一下,在哪里有基于rtdetr-resnet50的预训练pt权重,我知道看到rtdetr-l以及x的预训练权重

    1. Glenn JocherUltralytics

      Ultralytics currently exposes the original RT-DETR pretrained weights (rtdetr-l.pt, rtdetr-x.pt) via the RTDETR API; RT-DETRv2 pretrained weights/configs aren’t packaged in ultralytics yet, so if you share what RT-DETRv2 checkpoint you have (Paddle vs PyTorch) and how you’re trying to run it, we can point you to the right conversion/workflow—meanwhile you can use RT-DETR as shown in the RT-DETR docs.

      from ultralytics import RTDETR
      
      model = RTDETR("rtdetr-l.pt")
      results = model("path/to/image.jpg")
  4. fxc0627GitHub

    你好,请问RE-DETR模型适用于小目标工业缺陷检测吗?对于小目标检测有什么天然的优势?