دليل حول اختبار النماذج
مقدمة
بعد تدريب النموذج وتقييمه، حان الوقت لاختباره. يتضمن اختبار النموذج تقييم مدى جودة أدائه في سيناريوهات العالم الحقيقي. يراعي الاختبار عوامل مثل الدقة والموثوقية والإنصاف ومدى سهولة فهم قرارات النموذج. الهدف هو التأكد من أن النموذج يعمل على النحو المنشود، ويحقق النتائج المتوقعة، ويتناسب مع الهدف العام لتطبيقك أو مشروعك.
Model testing is quite similar to model evaluation, but they are two distinct steps in a computer vision project. Model evaluation involves metrics and plots to assess the model's accuracy. On the other hand, model testing checks if the model's learned behavior is the same as expectations. In this guide, we'll explore strategies for testing your computer vision models.
اختبار النموذج مقابل تقييم النموذج تقييم النموذج
أولاً، دعنا نفهم الفرق بين تقييم النموذج واختباره بمثال.
Suppose you have trained a computer vision model to recognize cats and dogs, and you want to deploy this model at a pet store to monitor the animals. During the model evaluation phase, you use a labeled dataset to calculate metrics like accuracy, precision, recall, and F1 score. For instance, the model might have an accuracy of 98% in distinguishing between cats and dogs in a given dataset.
بعد التقييم، تقوم باختبار النموذج باستخدام صور من متجر للحيوانات الأليفة لمعرفة مدى قدرته على تمييز القطط والكلاب في ظروف أكثر تنوعاً وواقعية. يمكنك التحقق مما إذا كان بإمكانه تصنيف القطط والكلاب بشكل صحيح عندما تتحرك، أو في ظروف إضاءة مختلفة، أو عندما تكون محجوبة جزئياً بأشياء مثل الألعاب أو الأثاث. يتحقق اختبار النموذج من أن النموذج يتصرف كما هو متوقع خارج بيئة التقييم المضبوطة.
التحضير لاختبار النموذج
Computer vision models learn from datasets by detecting patterns, making predictions, and evaluating their performance. These datasets are usually divided into training and testing sets to simulate real-world conditions. Training data teaches the model while testing data verifies its accuracy.
فيما يلي نقطتان يجب وضعها في الاعتبار قبل اختبار النموذج الخاص بك:
- التمثيل الواقعي: يجب أن تكون بيانات الاختبار غير المرئية سابقًا مشابهة للبيانات التي سيتعين على النموذج التعامل معها عند نشره. يساعد ذلك في الحصول على فهم واقعي لقدرات النموذج.
- الحجم الكافي: يجب أن يكون حجم مجموعة بيانات الاختبار كبيرًا بما يكفي لتوفير رؤى موثوقة حول مدى جودة أداء النموذج.
اختبار نموذج رؤية الكمبيوتر الخاص بك
فيما يلي الخطوات الأساسية التي يجب اتخاذها لاختبار نموذج رؤية الكمبيوتر وفهم أدائه.
- تشغيل التنبؤات: استخدم النموذج لعمل تنبؤات على مجموعة بيانات الاختبار.
- مقارنة التنبؤات: تحقق من مدى تطابق تنبؤات النموذج مع التسميات الفعلية (الحقيقة الأساسية).
- احسب مقاييس الأداء: احسب مقاييس مثل الدقة والدقة والاستدعاء ودرجة F1 لفهم نقاط القوة والضعف في النموذج. يركز الاختبار على كيف تعكس هذه المقاييس الأداء في العالم الحقيقي.
- تصور النتائج: قم بإنشاء وسائل مرئية مثل مصفوفات الارتباك ومنحنيات ROC. تساعدك هذه على اكتشاف مناطق محددة قد لا يكون أداء النموذج فيها جيداً في التطبيقات العملية.
بعد ذلك، يمكن تحليل نتائج الاختبار:
- الصور التي أسيء تصنيفها: تحديد الصور التي أخطأ النموذج في تصنيفها ومراجعتها لفهم أين يخطئ في تصنيفها.
- تحليل الأخطاء: قم بإجراء تحليل شامل للأخطاء لفهم أنواع الأخطاء (على سبيل المثال، الإيجابيات الكاذبة مقابل السلبيات الكاذبة) وأسبابها المحتملة.
- التحيز والإنصاف: تحقق من وجود أي تحيزات في تنبؤات النموذج. تأكد من أن النموذج يعمل بشكل متساوٍ عبر مجموعات فرعية مختلفة من البيانات، خاصةً إذا كان يتضمن سمات حساسة مثل العرق أو الجنس أو العمر.
Testing Your YOLO11 Model
To test your YOLO11 model, you can use the validation mode. It's a straightforward way to understand the model's strengths and areas that need improvement. Also, you'll need to format your test dataset correctly for YOLO11. For more details on how to use the validation mode, check out the Model Validation docs page.
Using YOLO11 to Predict on Multiple Test Images
If you want to test your trained YOLO11 model on multiple images stored in a folder, you can easily do so in one go. Instead of using the validation mode, which is typically used to evaluate model performance on a validation set and provide detailed metrics, you might just want to see predictions on all images in your test set. For this, you can use the prediction mode.
الفرق بين وضعي التحقق من الصحة والتنبؤ
- وضع التحقق من الصحة: يُستخدم لتقييم أداء النموذج من خلال مقارنة التنبؤات بالتسميات المعروفة (الحقيقة الأساسية). يوفر مقاييس مفصلة مثل الدقة والدقة والاستدعاء ودرجة F1.
- وضع التنبؤ: يُستخدم لتشغيل النموذج على بيانات جديدة غير مرئية لإنشاء تنبؤات. لا يوفر مقاييس أداء مفصلة ولكنه يسمح لك برؤية كيفية أداء النموذج على صور حقيقية.
Running YOLO11 Predictions Without Custom Training
If you are interested in testing the basic YOLO11 model to understand whether it can be used for your application without custom training, you can use the prediction mode. While the model is pre-trained on datasets like COCO, running predictions on your own dataset can give you a quick sense of how well it might perform in your specific context.
Overfitting and Underfitting in Machine Learning
عند اختبار نموذج التعلّم الآلي، خاصةً في مجال الرؤية الحاسوبية، من المهم الانتباه إلى الإفراط في التكييف والتقصير في التكييف. يمكن أن تؤثر هذه المشكلات بشكل كبير على مدى جودة عمل نموذجك مع البيانات الجديدة.
الإفراط في التركيب
يحدث الإفراط في التهيئة عندما يتعلم النموذج الخاص بك بيانات التدريب بشكل جيد للغاية، بما في ذلك الضوضاء والتفاصيل التي لا تعمم على البيانات الجديدة. في الرؤية الحاسوبية، هذا يعني أن نموذجك قد يؤدي بشكل جيد مع صور التدريب ولكنه قد يعاني مع الصور الجديدة.
علامات الإفراط في الملاءمة
- High Training Accuracy, Low Validation Accuracy: If your model performs very well on training data but poorly on validation or test data, it's likely overfitting.
- الفحص البصري: في بعض الأحيان، يمكنك أن ترى الإفراط في الملاءمة إذا كان نموذجك حساسًا جدًا للتغييرات الطفيفة أو التفاصيل غير ذات الصلة في الصور.
غير ملائمة
يحدث عدم الملاءمة عندما لا يستطيع النموذج الخاص بك التقاط الأنماط الأساسية في البيانات. في مجال الرؤية الحاسوبية، قد لا يتعرف النموذج غير الملائم على الأشياء بشكل صحيح في صور التدريب.
علامات عدم الملاءمة
- دقة تدريب منخفضة: إذا لم يتمكن نموذجك من تحقيق دقة عالية في مجموعة التدريب، فقد يكون غير ملائم بشكل كافٍ.
- سوء التصنيف البصري: يشير الفشل المستمر في التعرف على السمات أو الأشياء الواضحة إلى عدم الملاءمة.
تحقيق التوازن بين الإفراط في الملاءمة والتقصير في الملاءمة
يكمن المفتاح في إيجاد توازن بين الإفراط في الملاءمة والتقصير في الملاءمة. من الناحية المثالية، يجب أن يكون أداء النموذج جيدًا على كلٍ من مجموعتي بيانات التدريب والتحقق من الصحة. يمكن أن تساعدك مراقبة أداء نموذجك بانتظام من خلال المقاييس وعمليات الفحص البصري، إلى جانب تطبيق الاستراتيجيات الصحيحة، على تحقيق أفضل النتائج.
تسرب البيانات في الرؤية الحاسوبية وكيفية تجنبها
أثناء اختبار نموذجك، هناك شيء مهم يجب أخذه في الاعتبار وهو تسرب البيانات. يحدث تسرّب البيانات عندما يتم استخدام معلومات من خارج مجموعة بيانات التدريب عن طريق الخطأ لتدريب النموذج. قد يبدو النموذج دقيقًا للغاية أثناء التدريب، لكنه لن يؤدي بشكل جيد على البيانات الجديدة غير المرئية عند حدوث تسرب البيانات.
لماذا يحدث تسرب البيانات
قد يكون من الصعب اكتشاف تسرب البيانات وغالبًا ما يأتي من التحيزات الخفية في بيانات التدريب. فيما يلي بعض الطرق الشائعة التي يمكن أن تحدث في الرؤية الحاسوبية:
- انحياز الكاميرا: يمكن أن يؤدي اختلاف الزوايا والإضاءة والظلال وحركات الكاميرا إلى ظهور أنماط غير مرغوب فيها.
- تحيز التراكب: يمكن أن تؤدي الشعارات أو الطوابع الزمنية أو التراكبات الأخرى في الصور إلى تضليل النموذج.
- انحياز الخط والكائن: يمكن أن تؤدي الخطوط أو الكائنات المحددة التي تظهر بشكل متكرر في فئات معينة إلى تشويه تعلم النموذج.
- Spatial Bias: Imbalances in foreground-background, bounding box distributions, and object locations can affect training.
- التسمية والتحيز في المجال: يمكن أن تؤدي التسميات غير الصحيحة أو التحولات في أنواع البيانات إلى التسرب.
الكشف عن تسرب البيانات
للعثور على تسرّب البيانات، يمكنك
- تحقق من الأداء: إذا كانت نتائج النموذج جيدة بشكل مدهش، فقد يكون هناك تسريب.
- انظر إلى أهمية الميزة: إذا كانت إحدى الميزات أكثر أهمية من غيرها، فقد يشير ذلك إلى وجود تسرب.
- الفحص البصري: تحقق مرة أخرى من أن قرارات النموذج منطقية بشكل بديهي.
- تحقق من فصل البيانات: تأكد من تقسيم البيانات بشكل صحيح قبل أي معالجة.
تجنب تسرب البيانات
لمنع تسرب البيانات، استخدم مجموعة بيانات متنوعة تحتوي على صور أو مقاطع فيديو من كاميرات وبيئات مختلفة. قم بمراجعة بياناتك بعناية وتحقق من عدم وجود تحيزات خفية، مثل التقاط جميع العينات الإيجابية في وقت محدد من اليوم. سيساعد تجنب تسرب البيانات في جعل نماذج الرؤية الحاسوبية الخاصة بك أكثر موثوقية وفعالية في مواقف العالم الحقيقي.
ما يأتي بعد اختبار النموذج
بعد اختبار نموذجك، تعتمد الخطوات التالية على النتائج. إذا كان أداء نموذجك جيداً، يمكنك نشره في بيئة واقعية. إذا لم تكن النتائج مُرضية، ستحتاج إلى إجراء تحسينات. قد يتضمن ذلك تحليل الأخطاء، وجمع المزيد من البيانات، وتحسين جودة البيانات، وتعديل المعلمات الفائقة، وإعادة تدريب النموذج.
انضم إلى محادثة الذكاء الاصطناعي
أن تصبح جزءًا من مجتمع من المتحمسين للرؤية الحاسوبية يمكن أن يساعدك في حل المشاكل والتعلم بكفاءة أكبر. إليك بعض الطرق للتواصل وطلب المساعدة ومشاركة أفكارك.
موارد المجتمع
- GitHub Issues: Explore the YOLO11 GitHub repository and use the Issues tab to ask questions, report bugs, and suggest new features. The community and maintainers are very active and ready to help.
- Ultralytics خادم ديسكورد: انضم إلى خادمUltralytics Discord للدردشة مع المستخدمين والمطورين الآخرين والحصول على الدعم ومشاركة تجاربك.
الوثائق الرسمية
- Ultralytics YOLO11 Documentation: Check out the official YOLO11 documentation for detailed guides and helpful tips on various computer vision projects.
ستساعدك هذه الموارد في التغلب على التحديات والبقاء على اطلاع على أحدث الاتجاهات والممارسات في مجتمع الرؤية الحاسوبية.
الخلاصة
Building trustworthy computer vision models relies on rigorous model testing. By testing the model with previously unseen data, we can analyze it and spot weaknesses like overfitting and data leakage. Addressing these issues before deployment helps the model perform well in real-world applications. It's important to remember that model testing is just as crucial as model evaluation in guaranteeing the model's long-term success and effectiveness.
الأسئلة المتداولة
ما هي الاختلافات الرئيسية بين تقييم النموذج واختبار النموذج في الرؤية الحاسوبية؟
Model evaluation and model testing are distinct steps in a computer vision project. Model evaluation involves using a labeled dataset to compute metrics such as accuracy, precision, recall, and F1 score, providing insights into the model's performance with a controlled dataset. Model testing, on the other hand, assesses the model's performance in real-world scenarios by applying it to new, unseen data, ensuring the model's learned behavior aligns with expectations outside the evaluation environment. For a detailed guide, refer to the steps in a computer vision project.
How can I test my Ultralytics YOLO11 model on multiple images?
To test your Ultralytics YOLO11 model on multiple images, you can use the prediction mode. This mode allows you to run the model on new, unseen data to generate predictions without providing detailed metrics. This is ideal for real-world performance testing on larger image sets stored in a folder. For evaluating performance metrics, use the validation mode instead.
ماذا يجب أن أفعل إذا أظهر نموذج الرؤية الحاسوبية الخاص بي علامات على الإفراط أو النقص في الملاءمة؟
لمعالجة الإفراط في الملاءمة:
- Regularization techniques like dropout.
- زيادة حجم مجموعة بيانات التدريب.
- تبسيط بنية النموذج.
لمعالجة النقص في الملاءمة:
- استخدم نموذجاً أكثر تعقيداً.
- توفير المزيد من الميزات ذات الصلة.
- Increase training iterations or epochs.
راجع الصور التي أسيء تصنيفها، وقم بإجراء تحليل شامل للأخطاء، وتتبع مقاييس الأداء بانتظام للحفاظ على التوازن. للمزيد من المعلومات حول هذه المفاهيم، استكشف القسم الخاص بنا حول الإفراط في التصنيف ونقصه.
كيف يمكنني اكتشاف وتجنب تسرب البيانات في الرؤية الحاسوبية؟
للكشف عن تسرب البيانات:
- تحقق من أن أداء الاختبار ليس مرتفعًا بشكل غير عادي.
- تحقق من أهمية الميزة للحصول على رؤى غير متوقعة.
- مراجعة قرارات النموذج بشكل حدسي.
- تأكد من تقسيم البيانات بشكل صحيح قبل المعالجة.
لتجنب تسرب البيانات:
- استخدام مجموعات بيانات متنوعة مع بيئات مختلفة.
- مراجعة البيانات بعناية بحثاً عن التحيزات الخفية.
- تأكد من عدم تداخل المعلومات بين مجموعتي التدريب والاختبار.
للحصول على استراتيجيات مفصلة حول منع تسرب البيانات، راجع القسم الخاص بنا حول تسرب البيانات في الرؤية الحاسوبية.
ما الخطوات التي يجب أن أتخذها بعد اختبار نموذج رؤية الكمبيوتر الخاص بي؟
بعد الاختبار، إذا كان أداء النموذج يفي بأهداف المشروع، فابدأ في النشر. أما إذا كانت النتائج غير مرضية، فينبغي النظر في:
- تحليل الأخطاء.
- جمع بيانات أكثر تنوعاً وعالية الجودة.
- Hyperparameter tuning.
- إعادة تدريب النموذج.
احصل على رؤى من قسم اختبار النموذج مقابل تقييم النموذج. قسم تقييم النموذج لتحسين وتعزيز فعالية النموذج في التطبيقات الواقعية.
How do I run YOLO11 predictions without custom training?
You can run predictions using the pre-trained YOLO11 model on your dataset to see if it suits your application needs. Utilize the prediction mode to get a quick sense of performance results without diving into custom training.
