Comet ile YOLOv5

Bu kılavuz, YOLOv5'i Comet'in makine öğrenimi deneylerini izleme, karşılaştırma ve optimize etme aracıyla nasıl kullanacağını ele alır.

Comet Hakkında#

Comet, veri bilimcilerin, mühendislerin ve ekip liderlerinin makine öğrenimi ve derin öğrenme modellerini geliştirmesine ve optimize etmesine yardımcı olan araçlar geliştirir.

Model ölçümlerini gerçek zamanlı izle ve görselleştir, hiperparametrelerini, veri kümelerini ve model kontrol noktalarını kaydet, model tahminlerini Comet Özel Panelleri ile görselleştir. Comet çalışmalarının kaydını tutar ve sonuçları paylaşmayı, ekipler arasında iş birliği yapmayı kolaylaştırır.

Başlarken#

Comet'i yükle#

pip install comet_ml

Comet Kimlik Bilgilerini Yapılandır#

Comet'i YOLOv5 ile yapılandırmanın iki yolu vardır.

Kimlik bilgilerini ortam değişkenleriyle ayarlayabilirsin:

Ortam Değişkenleri

export COMET_API_KEY=YOUR_API_KEY
export COMET_PROJECT_NAME=YOUR_COMET_PROJECT_NAME # This will default to 'yolov5'

Ya da çalışma dizininde bir .comet.config dosyası oluşturup kimlik bilgilerini bu dosyada ayarlayabilirsin:

Comet Yapılandırma Dosyası

[comet]
api_key=YOUR_API_KEY
project_name=YOUR_COMET_PROJECT_NAME # This will default to 'yolov5'

Eğitim Betiğini Çalıştır#

# Train YOLOv5s on COCO128 for 5 epochs
python train.py --img 640 --batch 16 --epochs 5 --data coco128.yaml --weights yolov5s.pt

Comet hiperparametrelerini, komut satırı argümanlarını ve eğitim/doğrulama ölçümlerini otomatik olarak günlüğe kaydeder. Çalıştırmalarını Comet kullanıcı arayüzünde görselleştirip analiz edebilirsin.

Bir Örnek Dene!#

Tamamlanmış bir çalıştırma örneğine göz at.

Ya da bu Colab notebook'unda kendin dene:

Otomatik Olarak Kaydet#

Comet varsayılan olarak aşağıdaki öğeleri kaydeder:

Metrikler#

• Eğitim ve doğrulama verileri için kutu kaybı, nesne kaybı ve sınıflandırma kaybı
• Doğrulama verileri için mAP₅₀ ve mAP_50-95 metrikleri
• Doğrulama verileri için Kesinlik ve Duyarlılık

Parametreler#

• Model Hiperparametreleri
• Komut satırı seçenekleriyle aktarılan tüm parametreler

Görselleştirmeler#

• Modelin doğrulama verileri üzerindeki tahminlerine ait Karışıklık Matrisi
• Tüm sınıfların PR ve F1 eğrilerine ait grafikler
• Sınıf Etiketlerinin Korelogramı

Comet Günlük Kaydını Yapılandır#

Comet'i, eğitim betiğine aktarılan komut satırı bayrakları veya ortam değişkenleri aracılığıyla ek verileri kaydedecek şekilde yapılandırabilirsin:

export COMET_MODE=online                           # Set whether to run Comet in 'online' or 'offline' mode. Defaults to online
export COMET_MODEL_NAME="yolov5"                   # Set the name for the saved model. Defaults to yolov5
export COMET_LOG_CONFUSION_MATRIX=false            # Set to disable logging a Comet Confusion Matrix. Defaults to true
export COMET_MAX_IMAGE_UPLOADS=30                  # Controls how many total image predictions to log to Comet. Defaults to 100.
export COMET_LOG_PER_CLASS_METRICS=true            # Set to log evaluation metrics for each detected class at the end of training. Defaults to false
export COMET_DEFAULT_CHECKPOINT_FILENAME="last.pt" # Set this if you would like to resume training from a different checkpoint. Defaults to 'last.pt'
export COMET_LOG_BATCH_METRICS=true                # Set this if you would like to log training metrics at the batch level. Defaults to false.
export COMET_LOG_PREDICTIONS=true                  # Set this to false to disable logging model predictions

Kontrol Noktalarını Comet'e Kaydetme#

Modellerin Comet'e günlüğe kaydedilmesi varsayılan olarak devre dışıdır. Etkinleştirmek için eğitim betiğine save-period argümanını aktar. Böylece günlüğe kaydedilen kontrol noktaları, save-period ile belirtilen aralığa göre Comet'e kaydedilir:

python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt \
  --save-period 1

Model Tahminlerini Kaydetme#

Model tahminleri (görüntüler, gerçek değer etiketleri ve sınırlayıcı kutular) varsayılan olarak Comet'e kaydedilir.

Kaydedilen tahminlerin sıklığını ve ilişkili görüntüleri bbox_interval komut satırı bağımsız değişkenini aktararak denetleyebilirsin. Tahminler, Comet'in Nesne Algılama Custom Panel'ı kullanılarak görselleştirilebilir. Bu sıklık, her epoch başına her N'inci veri batch'ine karşılık gelir. Aşağıdaki örnekte her epoch için her 2. veri batch'ini kaydediyoruz.

Not: YOLOv5 doğrulama veri yükleyicisi, eğitim batch boyutunun iki katını kullanır (--batch 16 için 32); bu nedenle günlük kaydı sıklığını buna göre ayarlaman gerekir.

Panel'in kullanıldığı örnek bir projeyi burada bulabilirsin.

python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt \
  --bbox_interval 2

Comet'e Kaydedilen Tahmin Görüntülerinin Sayısını Denetleme#

YOLOv5'ten gelen tahminleri kaydederken Comet, her tahmin kümesiyle ilişkili görüntüleri de kaydeder. Varsayılan olarak en fazla 100 doğrulama görüntüsü kaydedilir. Bu sayıyı COMET_MAX_IMAGE_UPLOADS ortam değişkeniyle artırabilir veya azaltabilirsin:

env COMET_MAX_IMAGE_UPLOADS=200 python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt \
  --bbox_interval 1

Sınıf Düzeyindeki Metrikleri Kaydetme#

Her sınıf için mAP, kesinlik, duyarlık ve F1 değerlerini günlüğe kaydetmek üzere COMET_LOG_PER_CLASS_METRICS ortam değişkenini kullan:

env COMET_LOG_PER_CLASS_METRICS=true python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt

Veri Kümesini Comet Artifacts'a Yükleme#

Verilerini Comet Artifacts kullanarak depolamak istersen upload_dataset bayrağını kullanabilirsin.

Veri kümesi, Özel Veriyle Eğitim öğreticisinde açıklandığı şekilde düzenlenmelidir. Veri kümesi yapılandırma yaml dosyası, coco128.yaml dosyasıyla aynı biçimi izlemelidir.

python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt \
  --upload_dataset

Yüklediğin veri kümesini Comet çalışma alanındaki Artifacts sekmesinde bulabilirsin:

Verileri doğrudan Comet arayüzünde önizleyebilirsin:

Artifacts sürümlenir ve veri kümesiyle ilgili meta verilerin eklenmesini de destekler. Comet, veri kümen yaml dosyasındaki meta verileri otomatik olarak kaydeder:

Kaydedilmiş Artifact Kullanma#

Comet Artifacts'taki bir veri kümesini kullanmak istersen veri kümen yaml dosyasındaki path değişkenini aşağıdaki Artifact kaynak URL'sini gösterecek şekilde ayarla:

# Contents of artifact.yaml file
path: "comet://WORKSPACE_NAME/ARTIFACT_NAME:ARTIFACT_VERSION_OR_ALIAS"

Ardından bu dosyayı aşağıdaki şekilde eğitim betiğine aktar:

python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data artifact.yaml \
  --weights yolov5s.pt

Artifacts, deney iş akışın boyunca verilerin izlediği yolu da takip etmene olanak tanır. Burada, yüklediğin veri kümesini kullanan tüm deneyleri gösteren bir grafik görebilirsin:

Eğitim Çalıştırmasını Sürdürme#

Eğitim çalıştırman herhangi bir nedenle, örneğin internet bağlantısının kesilmesi nedeniyle kesintiye uğrarsa, çalıştırmayı resume bayrağını ve Comet Run Path'i kullanarak sürdürebilirsin.

Run Path şu biçimdedir: comet://WORKSPACE_NAME/PROJECT_NAME/EXPERIMENT_ID.

Bu işlem, çalıştırmayı kesinti öncesindeki durumuna döndürür; buna modelin bir kontrol noktasından geri yüklenmesi, tüm hiperparametrelerin ve eğitim argümanlarının geri yüklenmesi ve özgün çalıştırmada kullanılmışlarsa Comet veri kümesi Artifact'larının indirilmesi dahildir. Sürdürülen çalıştırma, Comet kullanıcı arayüzünde mevcut Experiment'a günlük kaydı göndermeye devam eder:

python train.py \
  --resume "comet://YOUR_RUN_PATH"

Comet Optimizer ile Hiperparametre Araması#

YOLOv5, Comet'in Optimizer'ı ile de entegre olduğundan, hiperparametre taramalarını Comet kullanıcı arayüzünde kolayca görselleştirebilirsin.

Optimizer Taramasını Yapılandırma#

Comet Optimizer'ı yapılandırmak için taramayla ilgili bilgileri içeren bir JSON dosyası oluşturman gerekir. Örnek bir dosya utils/loggers/comet/optimizer_config.json konumunda sağlanmıştır:

python utils/loggers/comet/hpo.py \
  --comet_optimizer_config "utils/loggers/comet/optimizer_config.json"

hpo.py betiği, train.py ile aynı argümanları kabul eder. Tarama işlemine ek argümanlar aktarmak istersen bunları betikten sonra ekle:

python utils/loggers/comet/hpo.py \
  --comet_optimizer_config "utils/loggers/comet/optimizer_config.json" \
  --save-period 1 \
  --bbox_interval 1

Sonuçları Görselleştirme#

Comet, tarama sonuçlarını görselleştirmek için çeşitli yollar sunar.

Sık Sorulan Sorular#