YOLOv5 के साथ Comet

यह मार्गदर्शिका कवर करेगी कि कैसे उपयोग करें YOLOv5 के साथ Comet

करीबन Comet

Comet ऐसे उपकरण बनाता है जो डेटा वैज्ञानिकों, इंजीनियरों और टीम के नेताओं को मशीन सीखने और गहन शिक्षण मॉडल में तेजी लाने और अनुकूलित करने में मदद करते हैं।

वास्तविक समय में मॉडल मेट्रिक्स को ट्रैक और विज़ुअलाइज़ करें, अपने हाइपरपैरामीटर, डेटासेट और मॉडल चौकियों को सहेजें, और अपने मॉडल भविष्यवाणियों की कल्पना करें Comet कस्टम पैनल! Comet सुनिश्चित करता है कि आप अपने काम का ट्रैक कभी न खोएं और परिणाम साझा करना और सभी आकारों की टीमों में सहयोग करना आसान बनाता है!

सुरु गर्दै

पदासीन करना Comet

pip install comet_ml

कॉन्फ़िगर Comet प्रत्यय-पत्र

कॉन्फ़िगर करने के दो तरीके हैं Comet के साथ YOLOv5.

आप या तो पर्यावरण चर के माध्यम से अपने क्रेडेंशियल्स सेट कर सकते हैं

पर्यावरण चर

export COMET_API_KEY=<Your Comet API Key>
export COMET_PROJECT_NAME=<Your Comet Project Name> # This will default to 'yolov5'

या एक .comet.config अपनी कार्यशील निर्देशिका में फ़ाइल करें और वहां अपनी साख सेट करें।

Comet कॉन्फ़िगरेशन फ़ाइल

[comet]
api_key=<Your Comet API Key>
project_name=<Your Comet Project Name> # This will default to 'yolov5'

प्रशिक्षण स्क्रिप्ट चलाएँ

# Train YOLOv5s on COCO128 for 5 epochs
python train.py --img 640 --batch 16 --epochs 5 --data coco128.yaml --weights yolov5s.pt

बस! Comet स्वचालित रूप से आपके हाइपरपैरामीटर, कमांड लाइन तर्क, प्रशिक्षण और सत्यापन मैट्रिक्स लॉग करेगा। आप कल्पना और में अपने रन का विश्लेषण कर सकते हैं Comet यूआई

एक उदाहरण की कोशिश करो!

यहां एक पूर्ण रन का एक उदाहरण देखें

या बेहतर अभी तक, इस Colab नोटबुक में स्वयं इसे आज़माएं

स्वचालित रूप से लॉग इन करें

डिफ़ॉल्ट रूप से, Comet निम्नलिखित आइटम लॉग करेगा

मैट्रिक्स

• बॉक्स हानि, वस्तु हानि, प्रशिक्षण और सत्यापन डेटा के लिए वर्गीकरण हानि
• mAP_0.5, mAP_0.5:0.95 सत्यापन डेटा के लिए मेट्रिक.
• सत्यापन डेटा के लिए प्रेसिजन और रिकॉल

पैरामीटर

• मॉडल हाइपरपैरामीटर्स
• सभी पैरामीटर कमांड लाइन विकल्पों के माध्यम से पारित हुए

विज़ुअलाइज़ेशन

• भ्रम सत्यापन डेटा पर मॉडल भविष्यवाणियों का मैट्रिक्स
• सभी वर्गों में पीआर और एफ 1 घटता के लिए भूखंड
• वर्ग लेबल का Correlogram

कॉन्फ़िगर Comet लॉगिंग

Comet अतिरिक्त डेटा लॉग करने के लिए कॉन्फ़िगर किया जा सकता है या तो प्रशिक्षण स्क्रिप्ट को पास किए गए कमांड लाइन झंडे के माध्यम से या पर्यावरण चर के माध्यम से।

export COMET_MODE=online # Set whether to run Comet in 'online' or 'offline' mode. Defaults to online
export COMET_MODEL_NAME=<your model name> #Set the name for the saved model. Defaults to yolov5
export COMET_LOG_CONFUSION_MATRIX=false # Set to disable logging a Comet Confusion Matrix. Defaults to true
export COMET_MAX_IMAGE_UPLOADS=<number of allowed images to upload to Comet> # Controls how many total image predictions to log to Comet. Defaults to 100.
export COMET_LOG_PER_CLASS_METRICS=true # Set to log evaluation metrics for each detected class at the end of training. Defaults to false
export COMET_DEFAULT_CHECKPOINT_FILENAME=<your checkpoint filename> # Set this if you would like to resume training from a different checkpoint. Defaults to 'last.pt'
export COMET_LOG_BATCH_LEVEL_METRICS=true # Set this if you would like to log training metrics at the batch level. Defaults to false.
export COMET_LOG_PREDICTIONS=true # Set this to false to disable logging model predictions

लॉगिंग चौकियों के साथ Comet

मॉडल को लॉग करना Comet डिफ़ॉल्ट रूप से अक्षम है। इसे सक्षम करने के लिए, पास करें save-period प्रशिक्षण स्क्रिप्ट के लिए तर्क। यह लॉग इन चौकियों को बचाएगा Comet द्वारा प्रदान किए गए अंतराल मूल्य के आधार पर save-period

python train.py \
--img 640 \
--batch 16 \
--epochs 5 \
--data coco128.yaml \
--weights yolov5s.pt \
--save-period 1

लॉगिंग मॉडल भविष्यवाणियां

डिफ़ॉल्ट रूप से, मॉडल भविष्यवाणियां (चित्र, जमीनी सच्चाई लेबल और बाउंडिंग बॉक्स) पर लॉग इन किया जाएगा Comet.

आप लॉग इन भविष्यवाणियों और संबंधित छवियों की आवृत्ति को पास करके नियंत्रित कर सकते हैं bbox_interval कमांड लाइन तर्क। भविष्यवाणियों का उपयोग करके कल्पना की जा सकती है Cometऑब्जेक्ट डिटेक्शन कस्टम पैनल। यह आवृत्ति प्रति युग डेटा के प्रत्येक Nth बैच से मेल खाती है। नीचे दिए गए उदाहरण में, हम प्रत्येक युग के लिए डेटा के हर 2 बैच को लॉग कर रहे हैं।

नोट: वही YOLOv5 सत्यापन DataLoader 32 के बैच आकार के लिए डिफ़ॉल्ट होगा, इसलिए आपको तदनुसार लॉगिंग आवृत्ति सेट करनी होगी।

पैनल का उपयोग करके एक उदाहरण प्रोजेक्ट यहां दिया गया है

python train.py \
--img 640 \
--batch 16 \
--epochs 5 \
--data coco128.yaml \
--weights yolov5s.pt \
--bbox_interval 2

लॉग इन की गई भविष्यवाणी छवियों की संख्या को नियंत्रित करना Comet

से भविष्यवाणियों को लॉग इन करते समय YOLOv5, Comet भविष्यवाणियों के प्रत्येक सेट से जुड़ी छवियों को लॉग करेगा। डिफ़ॉल्ट रूप से, अधिकतम 100 सत्यापन छवियाँ लॉग की जाती हैं। आप का उपयोग करके इस संख्या को बढ़ा या घटा सकते हैं COMET_MAX_IMAGE_UPLOADS पर्यावरण चर।

env COMET_MAX_IMAGE_UPLOADS=200 python train.py \
--img 640 \
--batch 16 \
--epochs 5 \
--data coco128.yaml \
--weights yolov5s.pt \
--bbox_interval 1

लॉगिंग वर्ग स्तर मेट्रिक्स

का उपयोग करें COMET_LOG_PER_CLASS_METRICS प्रत्येक वर्ग के लिए एमएपी, सटीक, याद, एफ 1 लॉग करने के लिए पर्यावरण चर।

env COMET_LOG_PER_CLASS_METRICS=true python train.py \
--img 640 \
--batch 16 \
--epochs 5 \
--data coco128.yaml \
--weights yolov5s.pt

डेटासेट को इस पर अपलोड करना Comet कलाकृतियों

यदि आप अपना डेटा स्टोर करना चाहते हैं Comet कलाकृतियों, आप का उपयोग करके ऐसा कर सकते हैं upload_dataset झंडा।

डेटासेट को में वर्णित तरीके से व्यवस्थित किया जाना चाहिए YOLOv5 प्रलेखन. डेटासेट कॉन्फ़िगरेशन yaml फ़ाइल को उसी प्रारूप का पालन करना चाहिए जो coco128.yaml रेती।

python train.py \
--img 640 \
--batch 16 \
--epochs 5 \
--data coco128.yaml \
--weights yolov5s.pt \
--upload_dataset

आप अपलोड किए गए डेटासेट को कलाकृतियों टैब में अपने Comet कार्यक्षेत्र

आप सीधे डेटा का पूर्वावलोकन कर सकते हैं Comet यूआई।

कलाकृतियों को संस्करणित किया जाता है और डेटासेट के बारे में मेटाडेटा जोड़ने का भी समर्थन करते हैं। Comet आपके डेटासेट से मेटाडेटा स्वचालित रूप से लॉग हो जाएगा yaml रेती

सहेजे गए आर्टिफ़ैक्ट का उपयोग करना

यदि आप से डेटासेट का उपयोग करना चाहते हैं Comet कलाकृतियों, सेट path आपके डेटासेट में चर yaml निम्न आर्टिफ़ैक्ट संसाधन URL को इंगित करने के लिए फ़ाइल।

# contents of artifact.yaml file
path: "comet://<workspace name>/<artifact name>:<artifact version or alias>"

फिर इस फ़ाइल को निम्नलिखित तरीके से अपनी प्रशिक्षण स्क्रिप्ट में पास करें

python train.py \
--img 640 \
--batch 16 \
--epochs 5 \
--data artifact.yaml \
--weights yolov5s.pt

कलाकृतियाँ आपको डेटा की वंशावली को ट्रैक करने की अनुमति भी देती हैं क्योंकि यह आपके प्रयोग वर्कफ़्लो के माध्यम से बहती है। यहां आप एक ग्राफ़ देख सकते हैं जो आपको उन सभी प्रयोगों को दिखाता है जिन्होंने आपके अपलोड किए गए डेटासेट का उपयोग किया है।

प्रशिक्षण रन फिर से शुरू करना

यदि आपका प्रशिक्षण रन किसी भी कारण से बाधित होता है, उदाहरण के लिए बाधित इंटरनेट कनेक्शन, तो आप का उपयोग करके रन फिर से शुरू कर सकते हैं resume ध्वज और Comet रन पाथ।

रन पथ में निम्न प्रारूप है comet://<your workspace name>/<your project name>/<experiment id>.

यह रुकावट से पहले रन को उसकी स्थिति में पुनर्स्थापित करेगा, जिसमें मॉडल को एक चेकपॉइंट से पुनर्स्थापित करना, सभी हाइपरपैरामीटर और प्रशिक्षण तर्कों को पुनर्स्थापित करना और डाउनलोड करना शामिल है Comet डेटासेट कलाकृतियां यदि वे मूल रन में उपयोग किए गए थे। फिर से शुरू किया गया रन मौजूदा प्रयोग में लॉगिंग जारी रखेगा Comet यूआई

python train.py \
--resume "comet://<your run path>"

हाइपरपैरामीटर के साथ खोजें Comet अनुकूलक

YOLOv5 के साथ भी एकीकृत है Cometऑप्टिमाइज़र, बनाने में hyperparameter sweeps कल्पना करने के लिए सरल है Comet यूआई।

ऑप्टिमाइज़र स्वीप कॉन्फ़िगर करना

कॉन्फ़िगर करने के लिए Comet ऑप्टिमाइज़र, आपको स्वीप के बारे में जानकारी के साथ एक JSON फ़ाइल बनानी होगी। में एक उदाहरण फ़ाइल प्रदान की गई है utils/loggers/comet/optimizer_config.json

python utils/loggers/comet/hpo.py \
  --comet_optimizer_config "utils/loggers/comet/optimizer_config.json"

वही hpo.py स्क्रिप्ट के रूप में एक ही तर्क स्वीकार करता है train.py. यदि आप अपने स्वीप में अतिरिक्त तर्क पास करना चाहते हैं तो बस उन्हें स्क्रिप्ट के बाद जोड़ें।

python utils/loggers/comet/hpo.py \
  --comet_optimizer_config "utils/loggers/comet/optimizer_config.json" \
  --save-period 1 \
  --bbox_interval 1

समानांतर में एक स्वीप चल रहा है

comet optimizer -j <set number of workers> utils/loggers/comet/hpo.py \
  utils/loggers/comet/optimizer_config.json"

परिणाम विज़ुअलाइज़ करना

Comet आपके स्वीप के परिणामों की कल्पना करने के कई तरीके प्रदान करता है। यहां एक पूर्ण स्वीप के साथ एक परियोजना पर एक नज़र डालें

टिप्पणियाँ