ابدأ

YOLOv10: اكتشاف الأجسام في الزمن الحقيقي من البداية إلى النهاية

يقدم YOLOv10، الذي أُصدر في مايو 2024 وطوّره باحثون من جامعة تسينغهوا بالاستناد إلى حزمة Python من Ultralytics، نهجًا جديدًا لاكتشاف الكائنات آنيًا، يعالج أوجه القصور في المعالجة اللاحقة وبنية النماذج الموجودة في إصدارات YOLO السابقة. وقد حقق YOLOv10 عند إصداره أداءً قويًا مع خفض كبير في الحمل الحسابي، وذلك بإلغاء كبح الحد الأقصى غير (NMS) وتحسين مكونات متنوعة في النموذج. وقد مهّد تصميمه الشامل الخالي من NMS لنهج طُوّر لاحقًا في YOLO26.

الإسناد المزدوج المتسق في YOLOv10 للتدريب الخالي من NMS



شاهد: كيفية تدريب YOLOv10 على مجموعة بيانات SKU-110k باستخدام Ultralytics | مجموعة بيانات البيع بالتجزئة

نظرة عامة#

يهدف اكتشاف الكائنات الآني إلى التنبؤ بدقة بفئات الكائنات ومواضعها في الصور مع زمن استجابة منخفض. وقد تصدرت سلسلة YOLO هذا المجال البحثي بفضل توازنها بين الأداء والكفاءة. إلا أن الاعتماد على NMS وأوجه القصور المعمارية أعاقا تحقيق الأداء الأمثل. ويعالج YOLOv10 هذه المشكلات من خلال تقديم تعيينات مزدوجة متسقة للتدريب دون NMS، واستراتيجية شاملة لتصميم النماذج تراعي الكفاءة والدقة.

البنية#

تستند بنية YOLOv10 إلى نقاط قوة نماذج YOLO السابقة، مع تقديم عدة ابتكارات أساسية. وتتكون بنية النموذج من المكونات التالية:

  1. العمود الفقري: يتولى العمود الفقري في YOLOv10 مسؤولية استخراج السمات، ويستخدم إصدارًا محسّنًا من CSPNet (شبكة الأجزاء الجزئية عبر المراحل) لتحسين تدفق التدرجات وتقليل التكرار الحاسوبي.
  2. العنق: صُمم العنق لتجميع السمات من مقاييس مختلفة وتمريرها إلى الرأس. ويتضمن طبقات PAN (شبكة تجميع المسارات) لدمج السمات متعددة المقاييس بفعالية.
  3. رأس واحد إلى متعدد: يُنشئ تنبؤات متعددة لكل جسم أثناء التدريب لتوفير إشارات إشراف غنية وتحسين دقة التعلم.
  4. رأس التنبؤ الواحد: يُنتج أفضل تنبؤ واحد لكل كائن أثناء الاستدلال، ما يلغي الحاجة إلى NMS، وبالتالي يقلل زمن الاستجابة ويحسن الكفاءة.

الميزات الرئيسية#

  1. التدريب دون NMS: يستخدم إسنادات مزدوجة متسقة لإلغاء الحاجة إلى NMS، ما يقلل زمن استجابة الاستدلال.
  2. تصميم شامل للنموذج: تحسين متكامل لمكونات متعددة من منظورَي الكفاءة والدقة، بما يشمل رؤوس تصنيف خفيفة الوزن، وخفض أخذ العينات المفصول مكانيًا وقنويًا، وتصميم الكتل الموجّه بالرتبة.
  3. قدرات محسّنة للنموذج: يضمّ التفافات ذات نوى كبيرة التفافات ووحدات انتباه ذاتي جزئية لتحسين الأداء دون تكاليف حسابية كبيرة.

متغيرات النموذج#

يتوفر YOLOv10 بمقاييس متعددة للنموذج لتلبية احتياجات التطبيقات المختلفة:

  • YOLOv10n: إصدار نانو للبيئات شديدة التقييد بالموارد.
  • YOLOv10s: إصدار صغير يوازن بين السرعة والدقة.
  • YOLOv10m: إصدار متوسط للاستخدام العام.
  • YOLOv10b: إصدار متوازن بعرض أكبر لتحقيق دقة أعلى.
  • YOLOv10l: إصدار كبير لتحقيق دقة أعلى على حساب زيادة الموارد الحسابية المطلوبة.
  • YOLOv10x: إصدار فائق الكبر لتحقيق أقصى دقة وأداء.

الأداء#

عند إصداره، تفوق YOLOv10 على إصدارات YOLO السابقة وغيرها من النماذج المتطورة من حيث الدقة والكفاءة. فعلى سبيل المثال، يعمل YOLOv10s أسرع بمقدار 1.8 مرة من RT-DETR-R18 مع AP مماثل على مجموعة بيانات COCO، كما أن زمن استجابة YOLOv10b أقل بنسبة 46% وعدد معلماته أقل بنسبة 25% من YOLOv9-C، مع تحقيق الأداء نفسه.

الأداء

قيس زمن الاستجابة باستخدام TensorRT FP16 على GPU من طراز T4.

النموذجحجم الإدخالAPالتحقق50-95FLOPs (G)زمن الاستجابة (ms)
[YOLOv10n][1]64038.56.71.84
[YOLOv10s][2]64046.321.62.49
[YOLOv10m][3]64051.159.14.74
[YOLOv10b][4]64052.592.05.74
[YOLOv10l][5]64053.2120.37.28
[YOLOv10x][6]64054.4160.410.70

المنهجية#

إسنادات مزدوجة متسقة للتدريب دون NMS#

يستخدم YOLOv10 تعيينًا مزدوجًا للتسميات، يجمع بين استراتيجيتي التعيين واحد إلى متعدد وواحد إلى واحد أثناء التدريب لضمان إشراف غني ونشر شامل فعال. ويستخدم التنبؤ والتحقق في Ultralytics افتراضيًا رأس التعيين واحد إلى متعدد مع NMS؛ عيّن nms=False لاختيار الرأس الخالي من NMS. وتوائم آلية المطابقة المتسقة بين مقياس الإشراف في الاستراتيجيتين، مما يحسّن جودة التنبؤات أثناء الاستدلال.

تصميم شامل للنموذج يوازن بين الكفاءة والدقة#

تحسينات الكفاءة#

  1. رأس تصنيف خفيف الوزن: يقلل العبء الحسابي لرأس التصنيف باستخدام التفافات قابلة للفصل عمقيًا.
  2. خفض أخذ العينات المفصول مكانيًا وقنويًا: يفصل تقليل الأبعاد المكانية عن تعديل القنوات للحد من فقدان المعلومات والتكلفة الحسابية.
  3. تصميم الكتل الموجّه بالرتبة: يكيّف تصميم الكتل وفق التكرار الجوهري لمراحل النموذج، لضمان الاستخدام الأمثل للمعلمات.

تحسينات الدقة#

  1. التفاف كبير النواة: يوسّع مجال الاستقبال لتعزيز القدرة على استخراج السمات.
  2. الانتباه الذاتي الجزئي (PSA): يضم وحدات انتباه ذاتي لتحسين تعلّم التمثيلات العامة بأقل عبء إضافي.

التجارب والنتائج#

قُيّم YOLOv10 على معايير قياسية مثل COCO. وعند إصداره، حسّن كل إصدار المفاضلة بين زمن الاستجابة والدقة مقارنةً بإصدارات YOLO السابقة وكواشف الكائنات المعاصرة الأخرى.

المقارنات#

مقارنة YOLOv10 بكواشف الأجسام المتطورة

مقارنةً بالكواشف الأخرى المتطورة:

  • يعمل YOLOv10s / x بسرعة أكبر بمقدار 1.8× / 1.3× من RT-DETR-R18 / R101 مع دقة مماثلة
  • يحتوي YOLOv10b على معلمات أقل بنسبة 25% وزمن استجابة أقل بنسبة 46% من YOLOv9-C مع الدقة نفسها
  • يتفوق YOLOv10l / x على YOLOv8l / x بمقدار 0.3 AP / 0.5 AP، مع عدد معلمات أقل بمقدار 1.8× / 2.3×
الأداء

الأرقام أدناه واردة كما وردت في ورقة YOLOv10، وقد قِيست وفق بروتوكولها الخاص، لذا لا يمكن مقارنتها مباشرةً بالقيم الواردة في صفحات نماذج Ultralytics:

النموذجالمعلمات
(M)
FLOPs
(G)
‏mAPval50-95زمن الاستجابة
(ms)
زمن استجابة التمرير الأمامي
(ms)
YOLOv6-3.0-N4.711.437.02.691.76
Gold-YOLO-N5.612.139.62.921.82
YOLOv8n3.28.737.36.161.77
YOLOv10n2.36.738.51.841.79
YOLOv6-3.0-S18.545.344.33.422.35
Gold-YOLO-S21.546.045.43.822.73
YOLOv8s11.228.644.97.072.33
YOLOv10s7.221.646.32.492.39
RT-DETR-R1820.060.046.54.584.49
YOLOv6-3.0-M34.985.849.15.634.56
Gold-YOLO-M41.387.549.86.385.45
YOLOv8m25.978.950.69.505.09
YOLOv10m15.459.151.14.744.63
YOLOv6-3.0-L59.6150.751.89.027.90
Gold-YOLO-L75.1151.751.810.659.78
YOLOv8l43.7165.252.912.398.06
RT-DETR-R5042.0136.053.19.209.07
YOLOv10l24.4120.353.27.287.21
YOLOv8x68.2257.853.916.8612.83
RT-DETR-R10176.0259.054.313.7113.58
YOLOv10x29.5160.454.410.7010.60

قيم المعلمات وFLOPs تخص النموذج المدمج بعد model.fuse()، الذي يدمج طبقات Conv وBatchNorm ويزيل رأس الكشف المساعد من واحد إلى متعدد. تحتفظ نقاط التحقق المدربة مسبقًا ببنية التدريب الكاملة، وقد تُظهر أعدادًا أعلى.

أمثلة الاستخدام#

يمكن أيضًا تدريب النماذج على GPU سحابية عبر منصة Ultralytics. لإجراء تنبؤات على صور جديدة باستخدام YOLOv10:

مثال
from ultralytics import YOLO

# ⁨تحميل نموذج YOLOv10n مدرّب مسبقًا⁩
model = YOLO("yolov10n.pt")

# ⁨إجراء كشف الكائنات في صورة⁩
results = model("image.jpg")

# ⁨اعرض النتائج⁩
results[0].show()

لتدريب YOLOv10 على مجموعة بيانات مخصصة:

مثال
from ultralytics import YOLO

# ⁨تحميل نموذج YOLOv10n من البداية⁩
model = YOLO("yolov10n.yaml")

# ⁨تدريب النموذج⁩
model.train(data="coco8.yaml", epochs=100, imgsz=640)

المهام والأوضاع المدعومة#

تقدم سلسلة نماذج YOLOv10 مجموعة من النماذج، صُمم كل منها على نحو أمثل لمهمة اكتشاف الكائنات. وتغطي الإصدارات متطلبات مختلفة للميزانيات الحسابية ومستويات الدقة.

النموذجأسماء الملفاتالمهامالتدريبالتحققالاستدلالالتصدير
YOLOv10yolov10n.pt yolov10s.pt yolov10m.pt yolov10b.pt yolov10l.pt yolov10x.ptكشف الكائنات✅✅✅✅

تصدير YOLOv10#

نظرًا إلى العمليات الجديدة التي أُدخلت مع YOLOv10، لا تتوافق حاليًا معه جميع تنسيقات التصدير التي توفرها Ultralytics. يسرد الجدول التالي التنسيقات التي نجحت Ultralytics في تحويل YOLOv10 إليها. نرحب بـطلبات السحب التي تضيف دعمًا لتصدير تنسيقات أخرى.

تنسيق التصديردعم التصديراستدلال النموذج المُصدّرملاحظات
TorchScript✅✅تنسيق نموذج PyTorch القياسي.
ONNX✅✅مدعوم على نطاق واسع للنشر.
OpenVINO✅✅محسّن لأجهزة Intel.
TensorRT✅✅محسّن لوحدات GPU من NVIDIA.
CoreML✅✅يقتصر على أجهزة Apple.
TF SavedModel✅✅تنسيق النماذج القياسي لـTensorFlow.
TF GraphDef✅✅تنسيق TensorFlow قديم.
TF Edge TPU✅✅مخصص لأجهزة Edge TPU من Google.
LiteRT✅✅محسّن للأجهزة المحمولة والأنظمة المضمنة والمتصفحات (LiteRT.js).
PaddlePaddle✅✅شائع في الصين؛ ودعمه أقل انتشارًا عالميًا.
NCNN✅✅مُحسّن للأجهزة المحمولة والمضمنة.

الخلاصة#

عند إصداره، دفع YOLOv10 اكتشاف الكائنات الآني إلى الأمام عبر إزالة معالجة NMS اللاحقة وإعادة تصميم مكونات النموذج لتحقيق الكفاءة والدقة معًا. وقد مهّد نهجه الخالي من NMS لاكتشاف الكائنات الشامل ضمن عائلة YOLO. ويستند YOLO26، أحدث نماذج Ultralytics، إلى ذلك مع أداء محسّن واستدلال خالٍ من NMS.

الاستشهادات والشكر والتقدير#

نود أن نعرب عن تقديرنا لمؤلفي YOLOv10 من جامعة تسينغهوا على أبحاثهم الواسعة ومساهماتهم المهمة في إطار عمل Ultralytics:

الاستشهاد
@inproceedings{wang2024yolov10,
  title={YOLOv10: Real-Time End-to-End Object Detection},
  author={Wang, Ao and Chen, Hui and Liu, Lihao and Chen, Kai and Lin, Zijia and Han, Jungong and Ding, Guiguang},
  booktitle={Advances in Neural Information Processing Systems},
  doi = {10.52202/079017-3429},
  url = {https://proceedings.neurips.cc/paper_files/paper/2024/file/c34ddd05eb089991f06f3c5dc36836e0-Paper-Conference.pdf},
  volume={37},
  pages={107984--108011},
  year={2024}
}

للاطلاع على تفاصيل التنفيذ والابتكارات المعمارية والنتائج التجريبية، يُرجى الرجوع إلى ورقة YOLOv10 البحثية ومستودع GitHub لفريق جامعة تسينغهوا.

الأسئلة الشائعة#

  • يقدم YOLOv10، الذي طوّره باحثون في جامعة تسينغهوا، عدة ابتكارات أساسية في اكتشاف الكائنات في الزمن الفعلي. ويلغي الحاجة إلى كبت غير الأقصى (NMS) باستخدام إسنادات مزدوجة متسقة أثناء التدريب، كما يحسّن مكونات النموذج لتقليل العبء الحسابي.

  • نفّذ الاستدلال باستخدام واجهة Python البرمجية من Ultralytics أو واجهة سطر الأوامر (CLI). فيما يلي أمثلة على إجراء التنبؤ بصور جديدة باستخدام YOLOv10:

    مثال
    from ultralytics import YOLO
    
    # ⁨تحميل نموذج YOLOv10n المدرّب مسبقًا⁩
    model = YOLO("yolov10n.pt")
    results = model("image.jpg")
    results[0].show()

    لمزيد من أمثلة الاستخدام، تفضّل بزيارة قسم أمثلة الاستخدام.

  • يقدم YOLOv10 عدة متغيرات من النماذج لتلبية حالات الاستخدام المختلفة:

    • YOLOv10n: مناسب للبيئات شديدة التقييد بالموارد
    • YOLOv10s: يوازن بين السرعة والدقة
    • YOLOv10m: للاستخدامات العامة
    • YOLOv10b: دقة أعلى مع زيادة العرض
    • YOLOv10l: دقة عالية على حساب الموارد الحاسوبية
    • YOLOv10x: أقصى درجات الدقة والأداء

    صُمم كل متغير لتلبية احتياجات حاسوبية ومتطلبات دقة مختلفة، ما يجعله مناسبًا لمجموعة متنوعة من التطبيقات. استكشف قسم متغيرات النماذج لمزيد من المعلومات.

  • يدرّب YOLOv10 باستخدام تعيينات ثنائية متسقة، بحيث تنتج وحدة الرأس أحادية المطابقة أفضل تنبؤ واحد لكل كائن، ما يلغي الحاجة إلى كبت غير الأعظميات (NMS) أثناء الاستدلال. يستخدم التنبؤ والتحقق في Ultralytics افتراضيًا وحدة الرأس متعددة المطابقات مع NMS؛ عيّن nms=False لاختيار وحدة الرأس الخالية من NMS وتجاوز خطوة NMS. للاطلاع على شرح مفصل، راجع قسم التعيينات الثنائية المتسقة للتدريب الخالي من NMS.

  • يدعم YOLOv10 عدة تنسيقات تصدير، منها TorchScript وONNX وOpenVINO وTensorRT. مع ذلك، لا تتوافق بعض تنسيقات التصدير التي توفرها Ultralytics حاليًا مع YOLOv10 بسبب عملياته الجديدة. للاطلاع على التفاصيل المتعلقة بالتنسيقات المدعومة وإرشادات التصدير، تفضّل بزيارة قسم تصدير YOLOv10.

  • عند إصداره، تفوق YOLOv10 على إصدارات YOLO السابقة وغيرها من النماذج المتطورة من حيث الدقة والكفاءة معًا. فعلى سبيل المثال، يعمل YOLOv10s أسرع بمقدار 1.8 مرة من RT-DETR-R18 مع AP مماثل على مجموعة بيانات COCO. ويتميز YOLOv10b بزمن استجابة أقل بنسبة 46% وعدد معلمات أقل بنسبة 25% من YOLOv9-C، مع تحقيق الأداء نفسه. يمكن الاطلاع على المعايير التفصيلية في قسم المقارنات.

التعليقات188

اطرح سؤالًا، وشارك نتائجك، أو ساعد شخصًا آخر.

  1. Glenn JocherUltralytics(تم التعديل)

    I'm super excited about the groundbreaking work on YOLOv10 by the researchers at Tsinghua University. Just a week ago, @pderrenger and I had the privilege of presenting YOLO to ML graduate students at Tsinghua University in Shenzhen, and I was thoroughly impressed by their enthusiasm and expertise.

    1716582575743

    Now, seeing the remarkable advancements in real-time object detection with YOLOv10, I'm thrilled to collaborate with the Tsinghua team to officially bring YOLOv10 support to the Ultralytics Python package soon. The innovative approach to NMS-free training and holistic model design optimizations demonstrates their commitment to pushing the boundaries of what's possible.

    Stay tuned for the official release of YOLOv10 support in the Ultralytics package, and get ready to experience the incredible capabilities of this revolutionary real-time object detector!

    38
    1. jameslahmGitHub

      Thank you so much for your great support for YOLOv10! We are truly grateful for your efforts to bring YOLOv10 to the Ultralytics package. ❤️

      2
  2. heynewyeahGitHub

    您好。如果我想在训练结束后,以last.pt的模型权重继续训练(因为还未收敛),有什么办法能获取last epoch的优化器状态吗,用于继续训练。或者有什么其他方法能够完成继续训练吗?

    1. alephpiGitHub(تم التعديل)
      from ultralytics import YOLO
      
      # Load a model
      model = YOLO("path/to/last.pt")  # load a partially trained model
      
      # Resume training
      results = model.train(resume=True)
  3. Anser1GitHub

    Hello, I'm sorry to disturb you. I want to conduct the training for the segmentation task based on YOLOv10, but I found that there seems to be no YAML structure file for the segmentation model. What should I do?

  4. zlj127GitHub

    Does YOLOv10 have the pose function? Currently, I have only found a pre-trained model for gestures under the GitHub of the Hagrid dataset, but it is still used for detection.

    1. Glenn JocherUltralytics(تم التعديل)

      @zlj127 YOLOv10 currently focuses on object detection tasks and does not include built-in pose estimation functionality. For pose/keypoint estimation, we recommend using YOLO26 which offers integrated support for pose estimation along with detection, segmentation, and classification. See the YOLO26 Pose documentation for implementation details and code examples.

    2. Glenn JocherUltralytics(تم التعديل)

      @zlj127 you're welcome! For pose estimation tasks, we recommend using YOLO26 which offers integrated support. Let us know if you need help getting started with the Pose documentation.

  5. gniqehGitHub

    It is important to configure the correct threshold of dual label assignments in the paper. But how can we change the threshold in yolov10 of ultralytics module?

    Es importante configurar el umbral correcto de asignaciones de etiquetas duales en el documento. pero ¿cómo podemos cambiar el umbral en yolov10 del módulo ultralytics?

    1. Glenn JocherUltralytics(تم التعديل)

      @gniqeh the dual label assignment settings are not exposed in the model YAML or as training arguments. They are set in the loss code (E2EDetectLoss in ultralytics/utils/loss.py), where the one-to-many branch uses tal_topk=10 and the one-to-one branch uses tal_topk=1. To change them, edit those values in a local copy of the package. For details, see the YOLOv10 Ultralytics documentation. Let us know if you need further clarification!

    2. gniqehGitHub

      Thx for your reply my friend, I have checked the documentation and API ref. of yolov10 but there is only the basical introductiong about it. And i am pleasure if u can provide further implementation explaining. Thanks again!

    3. Glenn JocherUltralytics

      Thank you for your feedback! For a deeper understanding of YOLOv10 implementation, you can explore the specifics of its architecture and features in the YOLOv10 documentation. If you have particular aspects or technical details you'd like clarified, feel free to let us know!

    1. Glenn JocherUltralytics

      YOLOv10 and YOLO11 introduce innovations like NMS-free training, which can enhance small target detection performance compared to YOLOv7 and YOLOv8, but results may vary based on specific use cases and datasets.

    1. Glenn JocherUltralytics

      @abaldanz thank you for your interest. Currently, we don't have plans to provide pre-trained weights specifically for 1280p images. For updates, please keep an eye on our repository and documentation.

  6. YuwenliulaGitHub

    请问一下,yolov10是否内置了IOU计算的功能,在val结果中未见到IOU的输出,如果没有的话,能方便提供代码进行IOU计算吗?

    1. Glenn JocherUltralytics

      @Yuwenliula yOLOv10 does not directly output IoU in validation results. You can calculate IoU using the bounding box coordinates from the model's predictions. If you need further assistance, please refer to the Ultralytics documentation for guidance.

    1. Glenn JocherUltralytics

      @wuqrcn the results.csv file contains metrics such as precision, recall, mAP, and loss values for each epoch during training. These metrics help evaluate the model's performance and convergence. For more details, please refer to the documentation.

    1. Glenn JocherUltralytics

      @alifazeli00 the difference in results might be due to variations in training data, hyperparameters, or preprocessing steps. Ensure both models are evaluated under identical conditions for accurate comparison.

    2. alifazeli00GitHub

      They are all the same except for the val_period parameter, which is only present in the THU-MIG model. However, the Ultralytics model performs better. I tested x and noticed differences in the weights. Are you saying that these two models should produce identical results?

    3. Glenn JocherUltralytics

      The differences in results could be due to variations in training data, hyperparameters, or preprocessing steps. Ensure both models are evaluated under identical conditions for accurate comparison.

      -1