مقاييس الأداء الغوص العميق

مقدمة

مقاييس الأداء هي أدوات رئيسية لتقييم دقة وكفاءة نماذج الكشف عن الكائنات. لقد سلطوا الضوء على مدى فعالية النموذج في تحديد الكائنات وتوطينها داخل الصور. بالإضافة إلى ذلك ، فهي تساعد في فهم تعامل النموذج مع الإيجابيات الخاطئة والسلبيات الخاطئة. هذه الأفكار ضرورية لتقييم أداء النموذج وتحسينه. في هذا الدليل ، سوف نستكشف مقاييس الأداء المختلفة المرتبطة ب YOLOv8وأهميتها وكيفية تفسيرها.

شاهد: Ultralytics YOLOv8 مقاييس الأداء | MAP ، درجة F1 ، الدقة ، IoU والدقة

مقاييس اكتشاف الكائنات

لنبدأ بمناقشة بعض المقاييس التي ليست مهمة فقط ل YOLOv8 ولكنها قابلة للتطبيق على نطاق واسع عبر نماذج مختلفة للكشف عن الكائنات.

• التقاطع عبر الاتحاد (IoU): IoU هو مقياس يحدد التداخل بين المربع المحيط المتوقع والمربع المحيط بالحقيقة الأرضية. يلعب دورا أساسيا في تقييم دقة توطين الكائنات.

• متوسط الدقة (AP): تحسب AP المنطقة الواقعة أسفل منحنى الاستدعاء الدقيق ، مما يوفر قيمة واحدة تلخص دقة النموذج وأداء الاستدعاء.

• متوسط الدقة المتوسط (mAP): يوسع mAP مفهوم AP عن طريق حساب متوسط قيم AP عبر فئات كائنات متعددة. هذا مفيد في سيناريوهات الكشف عن الكائنات متعددة الفئات لتوفير تقييم شامل لأداء النموذج.

• الدقة والتذكير: تحدد الدقة نسبة الإيجابيات الحقيقية بين جميع التنبؤات الإيجابية ، وتقيم قدرة النموذج على تجنب الإيجابيات الخاطئة. من ناحية أخرى ، يحسب Recall نسبة الإيجابيات الحقيقية بين جميع الإيجابيات الفعلية ، ويقيس قدرة النموذج على اكتشاف جميع مثيلات الفصل.

• درجة F1: درجة F1 هي الوسيلة التوافقية للدقة والاستدعاء ، مما يوفر تقييما متوازنا لأداء النموذج مع مراعاة كل من الإيجابيات الخاطئة والسلبيات الخاطئة.

كيفية حساب مقاييس YOLOv8 نموذج

الآن ، يمكننا استكشاف YOLOv8وضع التحقق من الصحة الذي يمكن استخدامه لحساب مقاييس التقييم التي تمت مناقشتها أعلاه.

استخدام وضع التحقق من الصحة بسيط. بمجرد أن يكون لديك نموذج مدرب ، يمكنك استدعاء الدالة model.val(). ستقوم هذه الوظيفة بعد ذلك بمعالجة مجموعة بيانات التحقق من الصحة وإرجاع مجموعة متنوعة من مقاييس الأداء. ولكن ماذا تعني هذه المقاييس؟ وكيف يجب أن تفسرها؟

تفسير المخرجات

دعنا نحلل ناتج الدالة model.val() ونفهم كل جزء من المخرجات.

مقاييس الفصل

أحد أقسام المخرجات هو التقسيم الطبقي لمقاييس الأداء. هذه المعلومات الدقيقة مفيدة عندما تحاول فهم مدى جودة أداء النموذج لكل فئة محددة ، خاصة في مجموعات البيانات ذات النطاق المتنوع من فئات الكائنات. لكل فئة في مجموعة البيانات يتم توفير ما يلي:

• الفئة: يشير هذا إلى اسم فئة الكائن ، مثل "شخص" أو "سيارة" أو "".

• الصور: يخبرك هذا المقياس بعدد الصور في مجموعة التحقق من الصحة التي تحتوي على فئة الكائن.

• المثيلات: يوفر هذا عدد المرات التي تظهر فيها الفئة عبر جميع الصور في مجموعة التحقق من الصحة.

• Box(P, R, mAP50, mAP50-95): يوفر هذا المقياس رؤى حول أداء النموذج في اكتشاف الكائنات:

  • P (الدقة): دقة الكائنات المكتشفة ، مع الإشارة إلى عدد الاكتشافات الصحيحة.

  • R (استدعاء): قدرة النموذج على تحديد جميع مثيلات الكائنات في الصور.

  • mAP50: متوسط الدقة المحسوبة عند تقاطع فوق عتبة الاتحاد (IoU) 0.50. إنه مقياس لدقة النموذج بالنظر إلى الاكتشافات "السهلة" فقط.

  • mAP50-95: متوسط متوسط الدقة المتوسط المحسوب عند عتبات مختلفة لإنترنت الأشياء ، تتراوح من 0.50 إلى 0.95. إنه يعطي رؤية شاملة لأداء النموذج عبر مستويات مختلفة من صعوبة الكشف.

مقاييس السرعة

يمكن أن تكون سرعة الاستدلال حاسمة مثل الدقة ، خاصة في سيناريوهات اكتشاف الكائنات في الوقت الفعلي. يقسم هذا القسم الوقت المستغرق لمراحل مختلفة من عملية التحقق ، من المعالجة المسبقة إلى المعالجة اللاحقة.

تقييم مقاييس كوكو

بالنسبة للمستخدمين الذين يقومون بالتحقق من صحة مجموعة بيانات COCO، يتم حساب مقاييس إضافية باستخدام البرنامج النصي لتقييم COCO. توفر هذه المقاييس رؤى حول الدقة والاستدعاء عند عتبات إنترنت الأشياء المختلفة وللكائنات ذات الأحجام المختلفة.

المخرجات المرئية

تنتج الدالة model.val() ، بصرف النظر عن إنتاج مقاييس رقمية ، مخرجات مرئية يمكن أن توفر فهما أكثر سهولة لأداء النموذج. فيما يلي تفصيل للمخرجات المرئية التي يمكنك توقعها:

• منحنى درجة F1 (F1_curve.png)يمثل هذا المنحنى درجة F1 عبر عتبات مختلفة.: يمكن أن يقدم تفسير هذا المنحنى نظرة ثاقبة لتوازن النموذج بين الإيجابيات الخاطئة والسلبيات الخاطئة على عتبات مختلفة.

• منحنى الاستدعاء الدقيق (PR_curve.png)تصور متكامل لأي مشكلة تصنيف ، يعرض هذا المنحنى المفاضلات بين الدقة والاستدعاء عند عتبات مختلفة.: يصبح مهما بشكل خاص عند التعامل مع الطبقات غير المتوازنة.

• منحنى الدقة (P_curve.png)تمثيل بياني لقيم الدقة عند عتبات مختلفة.: يساعد هذا المنحنى في فهم كيفية تغير الدقة مع تغير العتبة.

• منحنى الاستدعاء (R_curve.png)في المقابل ، يوضح هذا الرسم البياني كيف تتغير قيم الاستدعاء عبر عتبات مختلفة.:

• مصفوفة الارتباك (confusion_matrix.png)توفر مصفوفة الارتباك عرضا مفصلا للنتائج ، وتعرض أعداد الإيجابيات الحقيقية والسلبيات الحقيقية والإيجابيات الخاطئة والسلبيات الخاطئة لكل فئة.:

• مصفوفة الارتباك الطبيعية (confusion_matrix_normalized.png)هذا التصور هو نسخة طبيعية من مصفوفة الارتباك.: وهو يمثل البيانات بنسب بدلا من الأعداد الأولية. يسهل هذا التنسيق مقارنة الأداء عبر الفئات.

• تسميات دفعة التحقق من الصحة (val_batchX_labels.jpg)تصور هذه الصور تسميات الحقيقة الأساسية لدفعات مميزة من مجموعة بيانات التحقق من الصحة.: أنها توفر صورة واضحة عن ماهية الكائنات ومواقع كل منها وفقا لمجموعة البيانات.

• تنبؤات دفعة التحقق من الصحة (val_batchX_pred.jpg)على النقيض من صور التسمية ، تعرض هذه المرئيات التنبؤات التي أدلى بها YOLOv8 نموذج للدفعات المعنية. من خلال مقارنتها بصور التسمية ، يمكنك بسهولة تقييم مدى جودة اكتشاف النموذج للكائنات وتصنيفها بصريا.

تخزين النتائج

للرجوع إليها في المستقبل ، يتم حفظ النتائج في دليل ، يسمى عادة runs / detect / val.

اختيار المقاييس الصحيحة

غالبا ما يعتمد اختيار المقاييس الصحيحة للتقييم على التطبيق المحدد.

• خريطة: مناسبة لتقييم واسع لأداء النموذج.

• آيو: ضروري عندما يكون تحديد موقع الكائن بدقة أمرا بالغ الأهمية.

• دقة: مهم عند تقليل الاكتشافات الخاطئة إلى حد الأولوية.

• استذكر: حيوي عندما يكون من المهم اكتشاف كل مثيل لكائن.

• درجة F1: مفيد عند الحاجة إلى التوازن بين الدقة والتذكر.

بالنسبة للتطبيقات في الوقت الفعلي ، تعد مقاييس السرعة مثل FPS (إطارات في الثانية) وزمن الوصول أمرا بالغ الأهمية لضمان النتائج في الوقت المناسب.

تفسير النتائج

من المهم فهم المقاييس. إليك ما قد توحي به بعض الدرجات المنخفضة التي تمت ملاحظتها بشكل شائع:

• انخفاض mAP: يشير إلى أن النموذج قد يحتاج إلى تحسينات عامة.

• انخفاض IoU: قد يكافح النموذج لتحديد الأشياء بدقة. يمكن أن تساعد طرق الصندوق المحيط المختلفة.

• دقة منخفضة: قد يكتشف النموذج عددا كبيرا جدا من الكائنات غير الموجودة. قد يؤدي تعديل عتبات الثقة إلى تقليل ذلك.

• استدعاء منخفض: قد يفتقد النموذج إلى أشياء حقيقية. قد يساعد تحسين استخراج الميزات أو استخدام المزيد من البيانات.

• درجة F1 غير متوازنة: هناك تباين بين الدقة والتذكر.

• نقطة وصول خاصة بالفصل: يمكن أن تسلط الدرجات المنخفضة هنا الضوء على الفئات التي يكافح معها النموذج.

دراسات الحالة

يمكن أن تساعد الأمثلة الواقعية في توضيح كيفية عمل هذه المقاييس في الممارسة العملية.

الحالة 1

• الموقف: mAP و F1 Score دون المستوى الأمثل ، ولكن في حين أن الاستدعاء جيد ، فإن الدقة ليست كذلك.

• التفسير والعمل: قد يكون هناك الكثير من الاكتشافات غير الصحيحة. يمكن أن يؤدي تشديد عتبات الثقة إلى تقليل هذه العتبات ، على الرغم من أنه قد يقلل أيضا بشكل طفيف من الاستدعاء.

الحالة 2

• الموقف: mAP والاستدعاء مقبولان ، لكن IoU غير موجود.

• التفسير والعمل: يكتشف النموذج الكائنات جيدا ولكنه قد لا يقوم بتوطينها بدقة. قد يساعد تحسين تنبؤات المربع المحيط.

الحالة 3

• موقف: تحتوي بعض الفئات على نقطة وصول أقل بكثير من غيرها ، حتى مع وجود mAP شامل لائق.

• التفسير والعمل: قد تكون هذه الفئات أكثر صعوبة بالنسبة للنموذج. قد يكون استخدام المزيد من البيانات لهذه الفئات أو تعديل أوزان الفصل أثناء التدريب مفيدا.

الاتصال والتعاون

يمكن أن يؤدي الاستفادة من مجتمع المتحمسين والخبراء إلى تضخيم رحلتك مع YOLOv8. فيما يلي بعض السبل التي يمكن أن تسهل التعلم واستكشاف الأخطاء وإصلاحها والشبكات.

الانخراط مع المجتمع الأوسع

• مشكلات جيثب: ال YOLOv8 يحتوي المستودع على GitHub على علامة تبويب المشكلات حيث يمكنك طرح الأسئلة والإبلاغ عن الأخطاء واقتراح ميزات جديدة. ينشط المجتمع والمشرفون هنا ، وهو مكان رائع للحصول على المساعدة في مشاكل محددة.

• Ultralytics خادم الفتنة: Ultralytics يحتوي على خادم Discord حيث يمكنك التفاعل مع المستخدمين الآخرين والمطورين.

الوثائق الرسمية والموارد:

• Ultralytics YOLOv8 المستندات: توفر الوثائق الرسمية نظرة عامة شاملة على YOLOv8، إلى جانب أدلة حول التثبيت والاستخدام واستكشاف الأخطاء وإصلاحها.

لن يؤدي استخدام هذه الموارد إلى إرشادك خلال أي تحديات فحسب ، بل سيبقيك أيضا على اطلاع بأحدث الاتجاهات وأفضل الممارسات في YOLOv8 مجتمع.

استنتاج

في هذا الدليل ، ألقينا نظرة فاحصة على مقاييس الأداء الأساسية ل YOLOv8. تعد هذه المقاييس أساسية لفهم مدى جودة أداء النموذج وهي حيوية لأي شخص يهدف إلى ضبط نماذجه. أنها توفر الأفكار اللازمة للتحسينات وللتأكد من أن النموذج يعمل بفعالية في مواقف الحياة الحقيقية.

تذكر أن YOLOv8 و Ultralytics المجتمع هو أحد الأصول التي لا تقدر بثمن. يمكن أن يؤدي التعامل مع الزملاء المطورين والخبراء إلى فتح الأبواب أمام الرؤى والحلول غير الموجودة في الوثائق القياسية. أثناء رحلتك عبر اكتشاف الأشياء ، حافظ على روح التعلم حية ، وجرب استراتيجيات جديدة ، وشارك نتائجك. من خلال القيام بذلك ، فإنك تساهم في الحكمة الجماعية للمجتمع وتضمن نموه.

اكتشاف الأشياء السعيدة!

التعليقات