تقنيات المعالجة المسبقة للبيانات لبيانات الرؤية الحاسوبية المشروحة

مقدمة

بعد تحديد أهداف مشروع الرؤية الحاسوبية الخاص بك وجمع البيانات وشرحها، فإن الخطوة التالية هي معالجة البيانات المشروحة مسبقًا وإعدادها لتدريب النموذج. البيانات النظيفة والمتسقة ضرورية لإنشاء نموذج يعمل بشكل جيد.

المعالجة المسبقة هي خطوة في سير عمل مشروع الرؤية الحاسوبية تتضمن تغيير حجم الصور، وتطبيع قيم البكسل، وزيادة مجموعة البيانات، وتقسيم البيانات إلى مجموعات تدريب وتحقق واختبار. دعنا نستكشف التقنيات الأساسية وأفضل الممارسات لتنظيف بياناتك!

أهمية المعالجة المسبقة للبيانات

نحن نقوم بالفعل بجمع بياناتنا وتعليقها بعناية مع مراعاة اعتبارات متعددة. إذًا، ما الذي يجعل المعالجة المسبقة للبيانات مهمة جدًا لمشروع الرؤية الحاسوبية؟ حسناً، تتمحور المعالجة المسبقة للبيانات حول تحويل بياناتك إلى تنسيق مناسب للتدريب يقلل من العبء الحسابي ويساعد على تحسين أداء النموذج. فيما يلي بعض المشكلات الشائعة في البيانات الأولية التي تعالجها المعالجة المسبقة:

• الضوضاء: تغيرات غير ذات صلة أو عشوائية في البيانات.
• عدم الاتساق: الاختلافات في أحجام الصور وتنسيقاتها وجودتها.
• عدم التوازن: التوزيع غير المتكافئ للفئات أو الفئات في مجموعة البيانات.

تقنيات المعالجة المسبقة للبيانات

إحدى الخطوات الأولى والأهم في المعالجة المسبقة للبيانات هي تغيير حجم البيانات. بعض النماذج مصممة للتعامل مع أحجام المدخلات المتغيرة، لكن العديد من النماذج تتطلب حجم مدخلات متناسق. تغيير حجم الصور يجعلها موحدة ويقلل من التعقيد الحسابي.

تغيير حجم الصور

يمكنك تغيير حجم صورك باستخدام الطرق التالية:

• استيفاء ثنائي الخط: يعمل على تنعيم قيم البكسل من خلال أخذ متوسط مرجح لأقرب أربع قيم بكسل.
• أقرب جار: يعيّن أقرب قيمة بكسل دون حساب المتوسط، مما يؤدي إلى صورة ممتلئة ولكن بحساب أسرع.

لتبسيط مهمة تغيير الحجم، يمكنك استخدام الأدوات التالية:

• OpenCV: مكتبة شهيرة للرؤية الحاسوبية مع وظائف واسعة النطاق لمعالجة الصور.
• PIL (وسادة): مكتبة تصوير Python لفتح ملفات الصور ومعالجتها وحفظها.

فيما يتعلق بـ YOLO11 ، تسمح معلمة "imgsz" أثناء تدريب النموذج بأحجام إدخال مرنة. عند ضبطه على حجم معين، مثل 640، سيعمل النموذج على تغيير حجم صور المدخلات بحيث يكون أكبر بُعد لها هو 640 بكسل مع الحفاظ على نسبة العرض إلى الارتفاع الأصلية.

من خلال تقييم الاحتياجات الخاصة بنموذجك ومجموعة البيانات الخاصة بك، يمكنك تحديد ما إذا كان تغيير الحجم خطوة ضرورية قبل المعالجة أو ما إذا كان نموذجك قادرًا على التعامل بكفاءة مع الصور ذات الأحجام المختلفة.

تطبيع قيم البكسل

هناك تقنية أخرى للمعالجة المسبقة وهي التطبيع. يعمل التطبيع على تطبيع قيم البكسل إلى نطاق قياسي، مما يساعد على التقارب بشكل أسرع أثناء التدريب ويحسن أداء النموذج. فيما يلي بعض تقنيات التطبيع الشائعة:

• تحجيم الحد الأدنى-الأقصى: تحجيم قيم البكسل إلى نطاق من 0 إلى 1.
• تطبيع Z-Score: قياس قيم البكسل بناءً على متوسطها وانحرافها المعياري.

فيما يتعلق ب YOLO11 ، يتم التعامل مع التطبيع بسلاسة كجزء من خط المعالجة المسبقة أثناء تدريب النموذج. YOLO11 يقوم تلقائيًا بالعديد من خطوات المعالجة المسبقة، بما في ذلك التحويل إلى RGB، وقياس قيم البكسل إلى النطاق [0، 1]، والتطبيع باستخدام قيم الوسط والانحراف المعياري المحددة مسبقًا.

تقسيم مجموعة البيانات

بمجرد تنظيف البيانات، تصبح جاهزًا لتقسيم مجموعة البيانات. يتم تقسيم البيانات إلى مجموعات التدريب والتحقق من الصحة والاختبار للتأكد من إمكانية تقييم النموذج على بيانات غير مرئية لتقييم أداء التعميم. التقسيم الشائع هو تقسيم 70% للتدريب و20% للتحقق من صحة البيانات و10% للاختبار. هناك العديد من الأدوات والمكتبات التي يمكنك استخدامها لتقسيم بياناتك مثل scikit-learn أو TensorFlow.

ضع في اعتبارك ما يلي عند تقسيم مجموعة بياناتك:

• الحفاظ على توزيع البيانات: التأكد من الحفاظ على توزيع بيانات الفئات عبر مجموعات التدريب والتحقق من الصحة والاختبار.
• تجنّب تسرّب البيانات: عادةً ما تتم زيادة البيانات بعد تقسيم مجموعة البيانات. يجب تطبيق زيادة البيانات وأي معالجة مسبقة أخرى على مجموعة التدريب فقط لمنع تأثير المعلومات من مجموعات التحقق من الصحة أو الاختبار على تدريب النموذج. -موازنةالفئات: بالنسبة لمجموعات البيانات غير المتوازنة، ضع في اعتبارك تقنيات مثل أخذ عينات زائدة من فئة الأقلية أو أخذ عينات أقل من فئة الأغلبية ضمن مجموعة التدريب.

ما هو تعزيز البيانات؟

خطوة المعالجة المسبقة للبيانات الأكثر شيوعًا هي زيادة البيانات. تزيد زيادة البيانات بشكل مصطنع من حجم مجموعة البيانات عن طريق إنشاء نسخ معدّلة من الصور. من خلال زيادة البيانات الخاصة بك، يمكنك تقليل الإفراط في التركيب وتحسين تعميم النموذج.

فيما يلي بعض الفوائد الأخرى لزيادة البيانات:

• إنشاء مجموعة بيانات أكثر قوة: يمكن أن تجعل زيادة البيانات النموذج أكثر قوة في مواجهة الاختلافات والتشوهات في بيانات الإدخال. يتضمن ذلك التغييرات في الإضاءة والاتجاه والمقياس.
• فعالة من حيث التكلفة: تعد زيادة البيانات طريقة فعالة من حيث التكلفة لزيادة كمية بيانات التدريب دون جمع بيانات جديدة وتمييزها.
• استخدام أفضل للبيانات: يتم استخدام كل نقطة بيانات متاحة إلى أقصى إمكاناتها من خلال إنشاء اختلافات جديدة

طرق تعزيز البيانات

تتضمن تقنيات التعزيز الشائعة التقليب والتدوير والقياس وتعديلات الألوان. يمكن للعديد من المكتبات، مثل Albumentations و Imgaug و TensorFlow ImageDataGenerator، توليد هذه التعزيزات.

فيما يتعلق بـ YOLO11 ، يمكنك زيادة مجموعة بياناتك المخصصة عن طريق تعديل ملف تكوين مجموعة البيانات، وهو ملف .yaml. في هذا الملف، يمكنك إضافة قسم زيادة مع معلمات تحدد كيف تريد زيادة بياناتك.

يدعم مستودعUltralytics YOLO11 مجموعة واسعة من عمليات زيادة البيانات. يمكنك تطبيق تحويلات مختلفة مثل:

• المحاصيل العشوائية
• التقليب: يمكن قلب الصور أفقياً أو رأسياً.
• التدوير: يمكن تدوير الصور بزوايا محددة.
• تشويه

يمكنك أيضًا ضبط كثافة تقنيات التعزيز هذه من خلال معلمات محددة لتوليد المزيد من تنوع البيانات.

دراسة حالة عن المعالجة المسبقة

النظر في مشروع يهدف إلى تطوير نموذج لاكتشاف وتصنيف أنواع مختلفة من المركبات في صور حركة المرور باستخدام YOLO11. لقد قمنا بجمع صور حركة المرور ووضعنا لها تعليقات توضيحية مع مربعات وتسميات.

إليك ما ستبدو عليه كل خطوة من خطوات المعالجة المسبقة لهذا المشروع:

• تغيير حجم الصور: نظرًا لأن YOLO11 يتعامل مع أحجام الإدخال المرنة ويقوم بتغيير الحجم تلقائيًا، فإن تغيير الحجم اليدوي غير مطلوب. سيقوم النموذج بضبط حجم الصورة وفقًا لمعلمة "imgsz" المحددة أثناء التدريب.
• تطبيع قيم البكسل: YOLO11 تطبيع قيم البكسل تلقائيًا إلى نطاق من 0 إلى 1 أثناء المعالجة المسبقة، لذا لا حاجة إلى ذلك.
• تقسيم مجموعة البيانات: قسّم مجموعة البيانات إلى مجموعات تدريب (70%) ومجموعات تحقق (20%) ومجموعات اختبار (10%) باستخدام أدوات مثل scikit-learn.
• زيادة البيانات: قم بتعديل ملف تكوين مجموعة البيانات (.yaml) لتضمين تقنيات زيادة البيانات مثل الاقتصاص العشوائي، والتقليب الأفقي، وتعديلات السطوع.

تعمل هذه الخطوات على التأكد من إعداد مجموعة البيانات دون أي مشاكل محتملة وجاهزة للتحليل الاستكشافي للبيانات (EDA).

تقنيات تحليل البيانات الاستكشافية

بعد المعالجة المسبقة لمجموعة البيانات الخاصة بك وزيادتها، تتمثل الخطوة التالية في الحصول على رؤى من خلال التحليل الاستكشافي للبيانات. يستخدم التحليل الاستكشافي للبيانات تقنيات إحصائية وأدوات تصور لفهم الأنماط والتوزيعات في بياناتك. يمكنك تحديد المشكلات مثل اختلال التوازن بين الفئات أو القيم المتطرفة واتخاذ قرارات مستنيرة بشأن إجراء المزيد من المعالجة المسبقة للبيانات أو تعديلات تدريب النموذج.

تقنيات EDA الإحصائية

تبدأ التقنيات الإحصائية غالبًا بحساب المقاييس الأساسية مثل المتوسط والوسيط والانحراف المعياري والمدى. توفر هذه المقاييس نظرة عامة سريعة على خصائص مجموعة بيانات الصورة، مثل توزيعات كثافة البكسل. يساعدك فهم هذه الإحصائيات الأساسية على فهم الجودة العامة لبياناتك وخصائصها، مما يسمح لك باكتشاف أي مخالفات في وقت مبكر.

تقنيات EDA المرئية

تُعد التصورات أساسية في تحليل البيانات البيئية لمجموعات بيانات الصور. على سبيل المثال، يعد تحليل اختلال التوازن بين الفئات جانبًا حيويًا آخر من جوانب تحليل البيانات البيانية البيئي. فهو يساعد على تحديد ما إذا كانت فئات معينة ممثلة تمثيلاً ناقصًا في مجموعة البيانات الخاصة بك، ويمكن أن يكشف تصور توزيع فئات أو فئات الصور المختلفة باستخدام المخططات الشريطية عن أي اختلالات بسرعة. وبالمثل، يمكن تحديد القيم المتطرفة باستخدام أدوات التصور مثل المخططات الصندوقية التي تسلط الضوء على الحالات الشاذة في كثافة البكسل أو توزيعات السمات. يمنع اكتشاف القيم المتطرفة نقاط البيانات غير المعتادة من تشويه نتائجك.

تتضمن الأدوات الشائعة للتصورات المرئية ما يلي:

• المدرج التكراري والمخططات الصندوقية: مفيد لفهم توزيع قيم البكسل وتحديد القيم المتطرفة.
• مخططات مبعثرة: مفيدة لاستكشاف العلاقات بين ميزات الصورة أو التعليقات التوضيحية.
• الخرائط الحرارية: فعالة لتصور توزيع شدة البكسل أو التوزيع المكاني للسمات المشروحة داخل الصور.

استخدام Ultralytics إكسبلورر لـ EDA

وللحصول على نهج أكثر تقدمًا في استكشاف البيانات المرئية الإلكترونية، يمكنك استخدام أداة Ultralytics Explorer. فهي توفر إمكانيات قوية لاستكشاف مجموعات بيانات الرؤية الحاسوبية. من خلال دعم البحث الدلالي واستعلامات SQL والبحث عن التشابه المتجه، تسهّل الأداة تحليل بياناتك وفهمها. باستخدام Ultralytics Explorer، يمكنك إنشاء تضمينات لمجموعة البيانات الخاصة بك للعثور على صور متشابهة، وتشغيل استعلامات SQL لإجراء تحليل مفصل، وإجراء عمليات بحث دلالية، كل ذلك من خلال واجهة رسومية سهلة الاستخدام.

تواصل وتواصل

يمكن أن تمنحك المناقشات حول مشروعك مع هواة الرؤية الحاسوبية الآخرين أفكارًا جديدة من وجهات نظر مختلفة. إليك بعض الطرق الرائعة للتعلم واستكشاف الأخطاء وإصلاحها والتواصل:

قنوات التواصل مع المجتمع

• مشكلات GitHub: قم بزيارة مستودع YOLO11 GitHub واستخدم علامة تبويب المشكلات لطرح الأسئلة والإبلاغ عن الأخطاء واقتراح الميزات. المجتمع والمشرفون موجودون لمساعدتك في أي مشاكل تواجهها.
• Ultralytics خادم ديسكورد: انضم إلى خادمUltralytics Discord Server للتواصل مع المستخدمين والمطورين الآخرين والحصول على الدعم ومشاركة المعرفة وتبادل الأفكار وتبادل الأفكار.

الوثائق الرسمية

• Ultralytics YOLO11 التوثيق: ارجع إلى الوثائق الرسمية YOLO11 للحصول على أدلة شاملة ورؤى قيمة حول العديد من مهام ومشاريع الرؤية الحاسوبية.

مجموعة بياناتك جاهزة!

تعمل البيانات التي تم تغيير حجمها وتطبيعها وزيادتها بشكل صحيح على تحسين أداء النموذج من خلال تقليل التشويش وتحسين التعميم. من خلال اتباع تقنيات المعالجة المسبقة وأفضل الممارسات الموضحة في هذا الدليل، يمكنك إنشاء مجموعة بيانات قوية. بعد تجهيز مجموعة البيانات المعالجة مسبقًا، يمكنك الانتقال بثقة إلى الخطوات التالية في مشروعك.

الأسئلة الشائعة

ما أهمية المعالجة المسبقة للبيانات في مشاريع الرؤية الحاسوبية؟

تعد المعالجة المسبقة للبيانات ضرورية في مشاريع الرؤية الحاسوبية لأنها تضمن أن تكون البيانات نظيفة ومتسقة وبتنسيق مثالي لتدريب النموذج. من خلال معالجة مشاكل مثل الضوضاء وعدم الاتساق وعدم التوازن في البيانات الخام، تساعد خطوات المعالجة المسبقة مثل تغيير الحجم والتطبيع والتكبير وتقسيم مجموعة البيانات على تقليل العبء الحسابي وتحسين أداء النموذج. لمزيد من التفاصيل، راجع خطوات مشروع الرؤية الحاسوبية.

كيف يمكنني استخدام Ultralytics YOLO لزيادة البيانات؟

لزيادة البيانات باستخدام Ultralytics YOLO11 ، تحتاج إلى تعديل ملف تكوين مجموعة البيانات (.yaml). في هذا الملف، يمكنك تحديد تقنيات التعزيز المختلفة مثل المحاصيل العشوائية، والتقليب الأفقي، وتعديلات السطوع. يمكن القيام بذلك بفعالية باستخدام تكوينات التدريب الموضحة هنا. تساعد زيادة البيانات في إنشاء مجموعة بيانات أكثر قوة، وتقليل الإفراط في التهيئة وتحسين تعميم النموذج.

ما هي أفضل تقنيات تطبيع البيانات لبيانات الرؤية الحاسوبية؟

يعمل التطبيع على قياس قيم البكسل إلى نطاق قياسي لتقارب أسرع وتحسين الأداء أثناء التدريب. تتضمن التقنيات الشائعة ما يلي:

• تحجيم الحد الأدنى-الأقصى: تحجيم قيم البكسل إلى نطاق من 0 إلى 1.
• تطبيع Z-Score: قياس قيم البكسل بناءً على متوسطها وانحرافها المعياري.

بالنسبة إلى YOLO11 ، يتم التعامل مع التطبيع تلقائيًا، بما في ذلك التحويل إلى RGB وقياس قيمة البكسل. تعرف على المزيد عن ذلك في قسم تدريب النموذج.

كيف يمكنني تقسيم مجموعة البيانات المشروحة للتدريب؟

لتقسيم مجموعة البيانات الخاصة بك، من الممارسات الشائعة تقسيمها إلى 70% للتدريب، و20% للتحقق من صحة البيانات، و10% للاختبار. من المهم الحفاظ على توزيع البيانات للفئات عبر هذه التقسيمات وتجنب تسرب البيانات من خلال إجراء عملية زيادة على مجموعة التدريب فقط. استخدم أدوات مثل scikit-learn أو TensorFlow لتقسيم مجموعة البيانات بكفاءة. راجع الدليل التفصيلي حول إعداد مجموعة البيانات.

هل يمكنني التعامل مع أحجام الصور المختلفة في YOLO11 دون تغيير الحجم يدويًا؟

نعم، يمكن لموقع Ultralytics YOLO11 التعامل مع أحجام الصور المختلفة من خلال معلمة "imgsz" أثناء تدريب النموذج. تضمن هذه المعلمة تغيير حجم الصور بحيث يتطابق بُعدها الأكبر مع الحجم المحدد (على سبيل المثال، 640 بكسل)، مع الحفاظ على نسبة العرض إلى الارتفاع. لمزيد من المرونة في معالجة المدخلات والتعديلات التلقائية، راجع قسم تدريب النموذج.

📅 تم إنشاؤها قبل 6 أشهر ✏️ تم التحديث منذ 1 شهر

التعليقات