YOLOv5 с Comet

В этом руководстве рассказывается, как использовать YOLOv5 с Comet — мощным инструментом для отслеживания, сравнения и оптимизации экспериментов по машинному обучению.

О Comet

Comet создает инструменты, которые помогают специалистам по данным, инженерам и руководителям команд ускорять и оптимизировать модели машинного обучения и глубокого обучения.

Отслеживай и визуализируй метрики модели в режиме реального времени, сохраняй гиперпараметры, наборы данных и контрольные точки модели, а также визуализируй предсказания модели с помощью пользовательских панелей Comet! Comet гарантирует, что ты никогда не потеряешь результаты своей работы, и позволяет легко делиться ими и сотрудничать в командах любого размера!

Начало работы

Установка Comet

pip install comet_ml

Настройка учетных данных Comet

Есть два способа настроить Comet для работы с YOLOv5.

Ты можешь задать свои учетные данные через переменные среды:

Переменные среды

export COMET_API_KEY=YOUR_API_KEY
export COMET_PROJECT_NAME=YOUR_COMET_PROJECT_NAME # This will default to 'yolov5'

Или создай файл .comet.config в своей рабочей директории и укажи учетные данные там:

Файл конфигурации Comet

[comet]
api_key=YOUR_API_KEY
project_name=YOUR_COMET_PROJECT_NAME # This will default to 'yolov5'

Запуск скрипта обучения

# Train YOLOv5s on COCO128 for 5 epochs
python train.py --img 640 --batch 16 --epochs 5 --data coco128.yaml --weights yolov5s.pt

Вот и всё! Comet автоматически запишет твои гиперпараметры, аргументы командной строки, а также метрики обучения и валидации. Ты сможешь визуализировать и анализировать свои запуски в интерфейсе Comet.

Попробуй пример!

Ознакомься с примером завершенного запуска здесь.

А еще лучше — попробуй сделать это самостоятельно в данном блокноте Colab:

Автоматическое логирование

По умолчанию Comet записывает следующие элементы:

Метрики

• Box Loss, Object Loss, Classification Loss для данных обучения и валидации
• Метрики mAP_0.5 и mAP_0.5:0.95 для данных валидации
• Precision и Recall для данных валидации

Параметры

• Гиперпараметры модели
• Все параметры, переданные через опции командной строки

Визуализации

• Матрица ошибок предсказаний модели на данных валидации
• Графики кривых PR и F1 по всем классам
• Коррелограмма меток классов

Настройка логирования Comet

Comet можно настроить на запись дополнительных данных с помощью флагов командной строки, передаваемых в скрипт обучения, или через переменные среды:

export COMET_MODE=online                           # Set whether to run Comet in 'online' or 'offline' mode. Defaults to online
export COMET_MODEL_NAME="yolov5"                   # Set the name for the saved model. Defaults to yolov5
export COMET_LOG_CONFUSION_MATRIX=false            # Set to disable logging a Comet Confusion Matrix. Defaults to true
export COMET_MAX_IMAGE_UPLOADS=30                  # Controls how many total image predictions to log to Comet. Defaults to 100.
export COMET_LOG_PER_CLASS_METRICS=true            # Set to log evaluation metrics for each detected class at the end of training. Defaults to false
export COMET_DEFAULT_CHECKPOINT_FILENAME="last.pt" # Set this if you would like to resume training from a different checkpoint. Defaults to 'last.pt'
export COMET_LOG_BATCH_LEVEL_METRICS=true          # Set this if you would like to log training metrics at the batch level. Defaults to false.
export COMET_LOG_PREDICTIONS=true                  # Set this to false to disable logging model predictions

Логирование контрольных точек (чекипоинтов) с помощью Comet

Логирование моделей в Comet по умолчанию отключено. Чтобы включить его, передай аргумент save-period скрипту обучения. Это сохранит записанные контрольные точки в Comet в соответствии с интервалом, указанным в save-period:

python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt \
  --save-period 1

Логирование предсказаний модели

По умолчанию предсказания модели (изображения, метки «истинных значений» и ограничивающие рамки) записываются в Comet.

Ты можешь управлять частотой записи предсказаний и связанных с ними изображений, передав аргумент командной строки bbox_interval. Предсказания можно визуализировать с помощью пользовательской панели Object Detection в Comet. Эта частота соответствует каждому N-му пакету данных за эпоху. В примере ниже мы записываем данные каждого 2-го пакета для каждой эпохи.

Примечание: Dataloader валидации YOLOv5 по умолчанию использует размер пакета 32, поэтому тебе нужно будет настроить частоту логирования соответствующим образом.

Вот пример проекта с использованием панели

python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt \
  --bbox_interval 2

Управление количеством изображений предсказаний, записываемых в Comet

При записи предсказаний из YOLOv5 Comet также сохраняет изображения, связанные с каждым набором предсказаний. По умолчанию записывается максимум 100 изображений валидации. Ты можешь увеличить или уменьшить это число с помощью переменной среды COMET_MAX_IMAGE_UPLOADS:

env COMET_MAX_IMAGE_UPLOADS=200 python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt \
  --bbox_interval 1

Логирование метрик на уровне классов

Используй переменную среды COMET_LOG_PER_CLASS_METRICS для записи mAP, precision, recall и f1 для каждого класса:

env COMET_LOG_PER_CLASS_METRICS=true python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt

Загрузка набора данных в Comet Artifacts

Если ты хочешь хранить свои данные с помощью Comet Artifacts, ты можешь сделать это с помощью флага upload_dataset.

Набор данных должен быть организован так, как описано в документации YOLOv5. Файл конфигурации набора данных yaml должен соответствовать формату файла coco128.yaml.

python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt \
  --upload_dataset

Ты можешь найти загруженный набор данных на вкладке Artifacts в своем рабочем пространстве Comet:

Ты можешь предварительно просмотреть данные прямо в интерфейсе Comet:

Артефакты имеют версионность, а также поддерживают добавление метаданных о наборе данных. Comet автоматически запишет метаданные из твоего yaml-файла набора данных:

Использование сохраненного артефакта

Если ты хочешь использовать набор данных из Comet Artifacts, установи переменную path в своем yaml-файле набора данных так, чтобы она указывала на следующий URL-адрес ресурса артефакта:

# Contents of artifact.yaml file
path: "comet://WORKSPACE_NAME/ARTIFACT_NAME:ARTIFACT_VERSION_OR_ALIAS"

Затем передай этот файл в свой скрипт обучения следующим образом:

python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data artifact.yaml \
  --weights yolov5s.pt

Артефакты также позволяют отслеживать происхождение данных по мере их прохождения через рабочий процесс экспериментирования. Здесь ты можешь увидеть график, показывающий все эксперименты, в которых использовался твой загруженный набор данных:

Возобновление запуска обучения

Если процесс обучения был прерван по какой-либо причине (например, из-за потери интернет-соединения), ты можешь возобновить его с помощью флага resume и пути запуска Comet (Run Path).

Путь запуска (Run Path) имеет формат comet://WORKSPACE_NAME/PROJECT_NAME/EXPERIMENT_ID.

Это восстановит состояние запуска перед прерыванием, включая восстановление модели из контрольной точки, восстановление всех гиперпараметров и аргументов обучения, а также загрузку артефактов набора данных Comet, если они использовались в исходном запуске. Возобновленный запуск продолжит логирование в существующий эксперимент в интерфейсе Comet:

python train.py \
  --resume "comet://YOUR_RUN_PATH"

Поиск гиперпараметров с помощью Comet Optimizer

YOLOv5 также интегрирован с Comet Optimizer, что упрощает визуализацию подбора гиперпараметров в интерфейсе Comet.

Настройка подбора (свипа) оптимизатора

Чтобы настроить Comet Optimizer, тебе нужно создать JSON-файл с информацией о свипе. Пример файла предоставлен в utils/loggers/comet/optimizer_config.json:

python utils/loggers/comet/hpo.py \
  --comet_optimizer_config "utils/loggers/comet/optimizer_config.json"

Скрипт hpo.py принимает те же аргументы, что и train.py. Если ты хочешь передать дополнительные аргументы для свипа, просто добавь их после скрипта:

python utils/loggers/comet/hpo.py \
  --comet_optimizer_config "utils/loggers/comet/optimizer_config.json" \
  --save-period 1 \
  --bbox_interval 1

Визуализация результатов

Comet предлагает несколько способов визуализации результатов свипа. Посмотри проект с завершенным свипом здесь.