प्रशिक्षण YOLOv8 के साथ ClearML: आपके MLOps वर्कफ़्लो को सुव्यवस्थित करना

MLOps वास्तविक दुनिया की सेटिंग में मशीन लर्निंग मॉडल बनाने और तैनात करने के बीच की खाई को पाटता है। यह कुशल तैनाती, मापनीयता और चल रहे प्रबंधन पर ध्यान केंद्रित करता है ताकि यह सुनिश्चित किया जा सके कि मॉडल व्यावहारिक अनुप्रयोगों में अच्छा प्रदर्शन करें।

Ultralytics YOLOv8 सहजता से एकीकृत करता है ClearML, अपने ऑब्जेक्ट डिटेक्शन मॉडल के प्रशिक्षण और प्रबंधन को सुव्यवस्थित और बढ़ाना। यह मार्गदर्शिका आपको एकीकरण प्रक्रिया के माध्यम से चलेगी, जिसमें बताया जाएगा कि कैसे सेट अप किया जाए ClearML, प्रयोगों का प्रबंधन करें, मॉडल प्रबंधन को स्वचालित करें, और प्रभावी ढंग से सहयोग करें।

ClearML

ClearML एक अभिनव ओपन-सोर्स MLOps प्लेटफ़ॉर्म है जिसे मशीन लर्निंग वर्कफ़्लोज़ को स्वचालित, मॉनिटर और ऑर्केस्ट्रेट करने के लिए कुशलता से डिज़ाइन किया गया है। इसकी प्रमुख विशेषताओं में पूर्ण प्रयोग प्रजनन क्षमता के लिए सभी प्रशिक्षण और अनुमान डेटा की स्वचालित लॉगिंग, आसान डेटा विज़ुअलाइज़ेशन और विश्लेषण के लिए एक सहज ज्ञान युक्त वेब यूआई, उन्नत हाइपरपैरामीटर ऑप्टिमाइज़ेशन एल्गोरिदम और विभिन्न प्लेटफार्मों में कुशल तैनाती के लिए मजबूत मॉडल प्रबंधन शामिल हैं।

YOLOv8 के साथ प्रशिक्षण ClearML

आप एकीकृत करके अपनी प्रशिक्षण प्रक्रिया में सुधार करके अपने मशीन लर्निंग वर्कफ़्लो में स्वचालन और दक्षता ला सकते हैं YOLOv8 के साथ ClearML.

संस्थापन

आवश्यक पैकेज स्थापित करने के लिए, चलाएं:

# Install the required packages for YOLOv8 and ClearML
pip install ultralytics clearml

स्थापना प्रक्रिया से संबंधित विस्तृत निर्देशों और सर्वोत्तम प्रथाओं के लिए, हमारी जाँच करना सुनिश्चित करें YOLOv8 इंस्टालेशन गाइड। के लिए आवश्यक पैकेज स्थापित करते समय YOLOv8, अगर आपको कोई कठिनाई आती है, तो समाधान और सुझावों के लिए हमारी सामान्य समस्याएं मार्गदर्शिका देखें.

कॉन्फ़िगर ClearML

एक बार जब आप आवश्यक पैकेज स्थापित कर लेते हैं, तो अगला कदम अपना इनिशियलाइज़ और कॉन्फ़िगर करना होता है ClearML एसडीके। इसमें अपना सेट अप करना शामिल है ClearML खाता और अपने विकास पर्यावरण और के बीच एक सहज कनेक्शन के लिए आवश्यक क्रेडेंशियल्स प्राप्त करना ClearML सर्वर।

इनिशियलाइज़ करके शुरू करें ClearML आपके परिवेश में SDK. द 'clearml-init' कमांड सेटअप प्रक्रिया शुरू करता है और आपको आवश्यक क्रेडेंशियल्स के लिए संकेत देता है।

# Initialize your ClearML SDK setup process
clearml-init

इस कमांड को निष्पादित करने के बाद, ClearML सेटिंग पृष्ठ. ऊपरी दाएं कोने पर नेविगेट करें और "सेटिंग" चुनें। "कार्यक्षेत्र" अनुभाग पर जाएं और "नए क्रेडेंशियल बनाएं" पर क्लिक करें। निर्देशानुसार सेटअप पूरा करने के लिए "क्रेडेंशियल बनाएँ" पॉप-अप में प्रदान किए गए क्रेडेंशियल का उपयोग करें, इस पर निर्भर करता है कि आप कॉन्फ़िगर कर रहे हैं या नहीं ClearML ज्यूपिटर नोटबुक या स्थानीय में Python पर्यावरण।

उपयोग

उपयोग निर्देशों में गोता लगाने से पहले, की सीमा की जांच करना सुनिश्चित करें YOLOv8 द्वारा पेश किए गए मॉडल Ultralytics. इससे आपको अपनी परियोजना आवश्यकताओं के लिए सबसे उपयुक्त मॉडल चुनने में मदद मिलेगी।

from clearml import Task
from ultralytics import YOLO

# Step 1: Creating a ClearML Task
task = Task.init(project_name="my_project", task_name="my_yolov8_task")

# Step 2: Selecting the YOLOv8 Model
model_variant = "yolov8n"
task.set_parameter("model_variant", model_variant)

# Step 3: Loading the YOLOv8 Model
model = YOLO(f"{model_variant}.pt")

# Step 4: Setting Up Training Arguments
args = dict(data="coco8.yaml", epochs=16)
task.connect(args)

# Step 5: Initiating Model Training
results = model.train(**args)

कोड को समझना

आइए ऊपर उपयोग कोड स्निपेट में दिखाए गए चरणों को समझते हैं।

चरण 1: एक बनाना ClearML कार्य: एक नया कार्य में प्रारंभ किया गया है ClearML, अपने प्रोजेक्ट और कार्य के नाम निर्दिष्ट करना। यह कार्य आपके मॉडल के प्रशिक्षण को ट्रैक और प्रबंधित करेगा।

चरण 2: का चयन YOLOv8 को गढ़ना:वही model_variant चर 'yolov8n', में से एक YOLOv8 मॉडल। इस संस्करण को तब लॉग इन किया जाता है ClearML ट्रैकिंग के लिए।

चरण 3: लोड हो रहा है YOLOv8 नमूना: चयनित YOLOv8 मॉडल का उपयोग करके लोड किया जाता है Ultralytics' YOLO कक्षा, इसे प्रशिक्षण के लिए तैयार करना।

चरण 4: प्रशिक्षण तर्क सेट करना: डेटासेट जैसे प्रमुख प्रशिक्षण तर्क (coco8.yaml) और युगों की संख्या (16) एक शब्दकोश में आयोजित किए जाते हैं और ClearML नियत कार्य। यह ट्रैकिंग और संभावित संशोधन के माध्यम से अनुमति देता है ClearML यूआई। मॉडल प्रशिक्षण प्रक्रिया और सर्वोत्तम प्रथाओं की विस्तृत समझ के लिए, हमारे YOLOv8 मॉडल प्रशिक्षण गाइड.

चरण 5: मॉडल प्रशिक्षण शुरू करना: मॉडल प्रशिक्षण निर्दिष्ट तर्कों के साथ शुरू किया गया है। प्रशिक्षण प्रक्रिया के परिणामों को इसमें कैप्चर किया गया है results चर।

आउटपुट को समझना

ऊपर उपयोग कोड स्निपेट चलाने पर, आप निम्न आउटपुट की अपेक्षा कर सकते हैं:

• एक पुष्टिकरण संदेश जो एक नए के निर्माण का संकेत देता है ClearML कार्य, इसकी विशिष्ट आईडी के साथ।
• संग्रहीत किए जा रहे स्क्रिप्ट कोड के बारे में एक सूचनात्मक संदेश, यह दर्शाता है कि कोड निष्पादन द्वारा ट्रैक किया जा रहा है ClearML.
• के लिए एक URL लिंक ClearML परिणाम पृष्ठ जहां आप प्रशिक्षण प्रगति की निगरानी कर सकते हैं और विस्तृत लॉग देख सकते हैं।
• के लिए प्रगति डाउनलोड करें YOLOv8 मॉडल और निर्दिष्ट डेटासेट, इसके बाद मॉडल आर्किटेक्चर और प्रशिक्षण कॉन्फ़िगरेशन का सारांश।
• TensorBoard, स्वचालित मिश्रित प्रेसिजन (AMP), और डेटासेट तैयारी जैसे विभिन्न प्रशिक्षण घटकों के लिए आरंभीकरण संदेश।
• अंत में, प्रशिक्षण प्रक्रिया शुरू होती है, प्रगति अपडेट के साथ मॉडल निर्दिष्ट डेटासेट पर ट्रेन करता है। प्रशिक्षण के दौरान उपयोग किए जाने वाले प्रदर्शन मीट्रिक की गहन समझ के लिए, प्रदर्शन मीट्रिक पर हमारी मार्गदर्शिका पढ़ें।

Viewआईएनजी ClearML परिणाम पृष्ठ

URL लिंक पर क्लिक करके ClearML परिणाम पृष्ठ उपयोग कोड स्निपेट के आउटपुट में, आप अपने मॉडल की प्रशिक्षण प्रक्रिया के व्यापक दृश्य तक पहुंच सकते हैं।

की मुख्य विशेषताएं ClearML परिणाम पृष्ठ

• रीयल-टाइम मेट्रिक्स ट्रैकिंग

  • महत्वपूर्ण मीट्रिक जैसे हानि, सटीकता और सत्यापन स्कोर को ट्रैक करें, जैसे वे होते हैं।
  • समय पर मॉडल प्रदर्शन समायोजन के लिए तत्काल प्रतिक्रिया प्रदान करता है।

• प्रयोग तुलना

  • अलग-अलग प्रशिक्षण रनों की तुलना साथ-साथ करें।
  • हाइपरपैरामीटर ट्यूनिंग और सबसे प्रभावी मॉडल की पहचान करने के लिए आवश्यक।

• विस्तृत लॉग और आउटपुट

  • व्यापक लॉग, मैट्रिक्स के ग्राफिकल प्रतिनिधित्व और कंसोल आउटपुट तक पहुंचें।
  • मॉडल व्यवहार और समस्या समाधान की गहरी समझ प्राप्त करें।

• संसाधन उपयोग निगरानी

  • सीपीयू, जीपीयू और मेमोरी सहित कम्प्यूटेशनल संसाधनों के उपयोग की निगरानी करें।
  • प्रशिक्षण दक्षता और लागत के अनुकूलन की कुंजी।

• मॉडल कलाकृतियों प्रबंधन

  • प्रशिक्षित मॉडल और चौकियों जैसे मॉडल कलाकृतियों को देखें, डाउनलोड करें और साझा करें।
  • सहयोग बढ़ाता है और मॉडल परिनियोजन और साझाकरण को सुव्यवस्थित करता है।

क्या के एक दृश्य पूर्वाभ्यास के लिए ClearML परिणाम पृष्ठ ऐसा दिखता है, नीचे दिया गया वीडियो देखें:

सतर्कता: YOLOv8 MLOps एकीकरण का उपयोग कर ClearML

में उन्नत सुविधाएँ ClearML

ClearML आपके MLOps अनुभव को बढ़ाने के लिए कई उन्नत सुविधाएँ प्रदान करता है।

दूरस्थ निष्पादन

ClearMLरिमोट निष्पादन सुविधा विभिन्न मशीनों पर प्रयोगों के प्रजनन और हेरफेर की सुविधा प्रदान करती है। यह स्थापित पैकेज और अप्रतिबद्ध परिवर्तनों जैसे आवश्यक विवरण लॉग करता है। जब कोई कार्य एनqueue किया जाता है, तो ClearML एजेंट इसे खींचता है, पर्यावरण को फिर से बनाता है, और प्रयोग चलाता है, विस्तृत परिणामों के साथ वापस रिपोर्ट करता है।

एक परिनियोजन ClearML एजेंट सीधा है और निम्न कमांड का उपयोग करके विभिन्न मशीनों पर किया जा सकता है:

clearml-agent daemon --queue <queues_to_listen_to> [--docker]

यह सेटअप क्लाउड वीएम, स्थानीय जीपीयू या लैपटॉप पर लागू होता है। ClearML Autoscalers AWS, GCP और Azure जैसे प्लेटफ़ॉर्म पर क्लाउड वर्कलोड को प्रबंधित करने में मदद करते हैं, एजेंटों की तैनाती को स्वचालित करते हैं और आपके संसाधन बजट के आधार पर संसाधनों को समायोजित करते हैं।

क्लोनिंग, संपादन और एनक्यूइंग

ClearMLउपयोगकर्ता के अनुकूल इंटरफेस आसान क्लोनिंग, संपादन और कार्यों की कतार बनाने की अनुमति देता है। उपयोगकर्ता किसी मौजूदा प्रयोग का क्लोन बना सकते हैं, UI के माध्यम से पैरामीटर या अन्य विवरण समायोजित कर सकते हैं और निष्पादन के लिए कार्य को संलग्न कर सकते हैं. यह सुव्यवस्थित प्रक्रिया सुनिश्चित करती है कि ClearML कार्य निष्पादित करने वाला एजेंट अद्यतन कॉन्फ़िगरेशन का उपयोग करता है, जो इसे पुनरावृत्त प्रयोग और मॉडल फाइन-ट्यूनिंग के लिए आदर्श बनाता है।

सारांश

इस गाइड ने आपको एकीकृत करने की प्रक्रिया के माध्यम से प्रेरित किया है ClearML के साथ Ultralytics' YOLOv8. प्रारंभिक सेटअप से लेकर उन्नत मॉडल प्रबंधन तक सब कुछ कवर करते हुए, आपने पता लगाया है कि कैसे लाभ उठाया जाए ClearML आपकी मशीन लर्निंग परियोजनाओं में कुशल प्रशिक्षण, प्रयोग ट्रैकिंग और वर्कफ़्लो अनुकूलन के लिए।

उपयोग के बारे में अधिक जानकारी के लिए, देखें ClearMLआधिकारिक दस्तावेज।

इसके अतिरिक्त, अधिक एकीकरण और क्षमताओं का पता लगाएं Ultralytics पर जाकर Ultralytics एकीकरण गाइड पृष्ठ, जो संसाधनों और अंतर्दृष्टि का खजाना है।

टिप्पणियाँ