تدريب YOLOv8 مع ClearMLتبسيط سير عمل MLOps الخاص بك:

تعمل MLOps على سد الفجوة بين إنشاء ونشر نماذج التعلم الآلي في إعدادات العالم الحقيقي. وهو يركز على النشر الفعال وقابلية التوسع والإدارة المستمرة لضمان أداء النماذج بشكل جيد في التطبيقات العملية.

Ultralytics YOLOv8 يتكامل بسهولة مع ClearML، تبسيط وتعزيز تدريب وإدارة نموذج اكتشاف الكائنات الخاص بك. سيرشدك هذا الدليل خلال عملية التكامل ، ويوضح بالتفصيل كيفية الإعداد ClearMLوإدارة التجارب وأتمتة إدارة النماذج والتعاون بفعالية.

ClearML

ClearML عبارة عن منصة MLOps مبتكرة مفتوحة المصدر مصممة بمهارة لأتمتة مهام سير عمل التعلم الآلي ومراقبتها وتنسيقها. تشمل ميزاته الرئيسية التسجيل الآلي لجميع بيانات التدريب والاستدلال من أجل استنساخ التجربة بالكامل ، وواجهة مستخدم ويب بديهية لتصور البيانات وتحليلها بسهولة ، وخوارزميات تحسين المعلمات الفائقة المتقدمة ، وإدارة النماذج القوية للنشر الفعال عبر الأنظمة الأساسية المختلفة.

YOLOv8 التدريب مع ClearML

يمكنك تحقيق الأتمتة والكفاءة في سير عمل التعلم الآلي من خلال تحسين عملية التدريب الخاصة بك من خلال التكامل YOLOv8 مع ClearML.

تركيب

لتثبيت الحزم المطلوبة ، قم بتشغيل:

# Install the required packages for YOLOv8 and ClearML
pip install ultralytics clearml

للحصول على إرشادات مفصلة وأفضل الممارسات المتعلقة بعملية التثبيت ، تأكد من مراجعة YOLOv8 دليل التثبيت. أثناء تثبيت الحزم المطلوبة ل YOLOv8، إذا واجهت أي صعوبات، فاستشر دليل المشكلات الشائعة للحصول على حلول ونصائح.

تكوين ClearML

بمجرد تثبيت الحزم الضرورية ، فإن الخطوة التالية هي تهيئة وتكوين ClearML SDK. يتضمن ذلك إعداد ملف ClearML والحصول على بيانات الاعتماد اللازمة للاتصال السلس بين بيئة التطوير الخاصة بك و ClearML ملقم.

ابدأ بتهيئة ملف ClearML SDK في بيئتك. ال 'clearmlيبدأ الأمر -init عملية الإعداد ويطالبك ببيانات الاعتماد اللازمة.

# Initialize your ClearML SDK setup process
clearml-init

بعد تنفيذ هذا الأمر ، قم بزيارة الزر ClearML صفحة الإعدادات. انتقل إلى الزاوية اليمنى العليا وحدد "الإعدادات". انتقل إلى قسم "مساحة العمل" وانقر على "إنشاء بيانات اعتماد جديدة". استخدم بيانات الاعتماد المتوفرة في النافذة المنبثقة "إنشاء بيانات اعتماد" لإكمال الإعداد وفقا للتعليمات ، اعتمادا على ما إذا كنت تقوم بالتكوين ClearML في دفتر ملاحظات Jupyter أو محلي Python وسط.

استخدام

قبل الغوص في تعليمات الاستخدام ، تأكد من إطلاعك على نطاق YOLOv8 النماذج التي تقدمها Ultralytics. سيساعدك هذا في اختيار النموذج الأنسب لمتطلبات مشروعك.

from clearml import Task
from ultralytics import YOLO

# Step 1: Creating a ClearML Task
task = Task.init(project_name="my_project", task_name="my_yolov8_task")

# Step 2: Selecting the YOLOv8 Model
model_variant = "yolov8n"
task.set_parameter("model_variant", model_variant)

# Step 3: Loading the YOLOv8 Model
model = YOLO(f"{model_variant}.pt")

# Step 4: Setting Up Training Arguments
args = dict(data="coco8.yaml", epochs=16)
task.connect(args)

# Step 5: Initiating Model Training
results = model.train(**args)

فهم الكود

دعنا نفهم الخطوات الموضحة في مقتطف شفرة الاستخدام أعلاه.

الخطوة 1: إنشاء ملف ClearML المهمة: تمت تهيئة مهمة جديدة في ClearML، مع تحديد أسماء المشاريع والمهام. ستقوم هذه المهمة بتتبع وإدارة تدريب النموذج الخاص بك.

الخطوة 2: تحديد ملف YOLOv8 نموذج:ال model_variant تم تعيين المتغير على 'yolov8n'، واحدة من YOLOv8 نماذج. ثم يتم تسجيل دخول هذا المتغير ClearML للتتبع.

الخطوة 3: تحميل ملف YOLOv8 الموديل: المختار YOLOv8 يتم تحميل النموذج باستخدام Ultralytics' YOLO الطبقة ، وإعداده للتدريب.

الخطوة 4: إعداد وسيطات التدريبوسيطات التدريب الرئيسية مثل مجموعة البيانات (:coco8.yaml) وعدد الحقب (16) منظمة في قاموس ومتصلة ب ClearML مهمة. هذا يسمح بالتتبع والتعديل المحتمل عبر ClearML واجهة المستخدم. للحصول على فهم مفصل لعملية التدريب النموذجية وأفضل الممارسات ، راجع YOLOv8 دليل التدريب النموذجي.

الخطوة 5: بدء التدريب النموذجييبدأ تدريب النموذج بالوسيطات المحددة.: يتم التقاط نتائج عملية التدريب في results متغير.

فهم المخرجات

عند تشغيل مقتطف شفرة الاستخدام أعلاه ، يمكنك توقع الإخراج التالي:

• رسالة تأكيد تشير إلى إنشاء ملف جديد ClearML المهمة ، جنبا إلى جنب مع معرفها الفريد.
• رسالة إعلامية حول التعليمات البرمجية للبرنامج النصي الذي يتم تخزينه، تشير إلى أنه يتم تعقب تنفيذ التعليمات البرمجية بواسطة ClearML.
• رابط URL إلى ClearML صفحة النتائج حيث يمكنك مراقبة تقدم التدريب وعرض السجلات التفصيلية.
• تقدم التنزيل ل YOLOv8 النموذج ومجموعة البيانات المحددة ، متبوعا بملخص لبنية النموذج وتكوين التدريب.
• رسائل التهيئة لمكونات التدريب المختلفة مثل TensorBoard والدقة المختلطة التلقائية (AMP) وإعداد مجموعة البيانات.
• أخيرا ، تبدأ عملية التدريب ، مع تحديثات التقدم أثناء تدريب النموذج على مجموعة البيانات المحددة. للحصول على فهم متعمق لمقاييس الأداء المستخدمة أثناء التدريب ، اقرأ دليلنا حول مقاييس الأداء.

عرض ClearML صفحة النتائج

من خلال النقر على رابط URL إلى ClearML صفحة النتائج في إخراج مقتطف رمز الاستخدام، يمكنك الوصول إلى عرض شامل لعملية تدريب النموذج الخاص بك.

الميزات الرئيسية ل ClearML صفحة النتائج

• تتبع المقاييس في الوقت الحقيقي

  • تتبع المقاييس الهامة مثل الخسارة والدقة ودرجات التحقق من الصحة عند حدوثها.
  • يوفر ملاحظات فورية لتعديلات أداء النموذج في الوقت المناسب.

• مقارنة التجربة

  • قارن بين عمليات التدريب المختلفة جنبا إلى جنب.
  • ضروري لضبط المعلمات الفائقة وتحديد النماذج الأكثر فعالية.

• السجلات والمخرجات التفصيلية

  • الوصول إلى السجلات الشاملة والتمثيلات الرسومية للمقاييس ومخرجات وحدة التحكم.
  • اكتساب فهم أعمق لسلوك النموذج وحل المشكلة.

• مراقبة استخدام الموارد

  • راقب استخدام الموارد الحسابية ، بما في ذلك وحدة المعالجة المركزية ووحدة معالجة الرسومات والذاكرة.
  • مفتاح لتحسين كفاءة التدريب وتكاليفه.

• إدارة القطع الأثرية النموذجية

  • عرض عناصر النموذج وتنزيلها ومشاركتها مثل النماذج المدربة ونقاط التفتيش.
  • يعزز التعاون ويبسط نشر النموذج ومشاركته.

للحصول على جولة مرئية لما ClearML تبدو صفحة النتائج ، شاهد الفيديو أدناه:

شاهد: YOLOv8 تكامل MLOps باستخدام ClearML

الميزات المتقدمة في ClearML

ClearML يقدم العديد من الميزات المتقدمة لتحسين تجربة MLOps الخاصة بك.

التنفيذ عن بعد

ClearMLتسهل ميزة التنفيذ عن بعد إعادة إنتاج التجارب ومعالجتها على أجهزة مختلفة. يسجل التفاصيل الأساسية مثل الحزم المثبتة والتغييرات غير الملتزم بها. عندما تكون مهمة في قائمة الانتظار، يظهر الزر ClearML يقوم العامل بسحبها وإعادة إنشاء البيئة وتشغيل التجربة ، وإعداد التقارير مرة أخرى بنتائج مفصلة.

نشر ملف ClearML العامل واضح ومباشر ويمكن إجراؤه على أجهزة مختلفة باستخدام الأمر التالي:

clearml-agent daemon --queue <queues_to_listen_to> [--docker]

ينطبق هذا الإعداد على الأجهزة الظاهرية السحابية أو وحدات معالجة الرسومات المحلية أو أجهزة الكمبيوتر المحمولة. ClearML تساعد Autoscalers في إدارة أعباء العمل السحابية على الأنظمة الأساسية مثل AWS وGCP وAzure، وأتمتة نشر الوكلاء وضبط الموارد بناء على ميزانية الموارد الخاصة بك.

الاستنساخ والتحرير وقائمة الانتظار

ClearMLواجهة سهلة الاستخدام تسمح بسهولة استنساخ المهام وتحريرها ومراقبتها. يمكن للمستخدمين استنساخ تجربة حالية أو ضبط المعلمات أو التفاصيل الأخرى من خلال واجهة المستخدم وإدراج المهمة في قائمة الانتظار للتنفيذ. تضمن هذه العملية المبسطة أن ClearML يستخدم العامل الذي ينفذ المهمة تكوينات محدثة، مما يجعلها مثالية للتجريب التكراري وضبط النماذج.

ملخص

قادك هذا الدليل خلال عملية الدمج ClearML مع Ultralytics' YOLOv8. من خلال تغطية كل شيء بدءا من الإعداد الأولي وحتى إدارة النماذج المتقدمة ، اكتشفت كيفية الاستفادة ClearML للتدريب الفعال وتتبع التجارب وتحسين سير العمل في مشاريع التعلم الآلي الخاصة بك.

لمزيد من التفاصيل حول الاستخدام ، قم بزيارة ClearMLالوثائق الرسمية.

بالإضافة إلى ذلك ، استكشف المزيد من عمليات التكامل وقدرات Ultralytics من خلال زيارة Ultralytics صفحة دليل التكامل ، وهي كنز دفين من الموارد والرؤى.

التعليقات