Перейти к содержимому

Comet

YOLOv5 с Comet

В этом руководстве мы расскажем о том, как использовать YOLOv5 с Comet

О сайте Comet

Comet Создает инструменты, которые помогают data-ученым, инженерам и руководителям команд ускорять и оптимизировать модели машинного обучения и глубокого обучения.

Отслеживай и визуализируй показатели модели в реальном времени, сохраняй свои гиперпараметры, наборы данных и контрольные точки модели, а также визуализируй предсказания модели с помощью Comet Custom Panels! Comet позволяет тебе никогда не терять контроль над своей работой и легко делиться результатами и сотрудничать в командах любого размера!

Начало работы

Установи Comet

pip install comet_ml

Настрой Comet учетные данные

Есть два способа настроить Comet с помощью YOLOv5.

Ты можешь задать свои учетные данные либо через переменные окружения

Переменные окружения

export COMET_API_KEY=<Your Comet API Key>
export COMET_PROJECT_NAME=<Your Comet Project Name> # This will default to 'yolov5'

Или создай .comet.config файл в твоей рабочей директории и установи там свои учетные данные.

Comet Файл конфигурации

[comet]
api_key=<Your Comet API Key>
project_name=<Your Comet Project Name> # This will default to 'yolov5'

Запустите сценарий тренировки

# Train YOLOv5s on COCO128 for 5 epochs
python train.py --img 640 --batch 16 --epochs 5 --data coco128.yaml --weights yolov5s.pt

Вот и все! Comet будет автоматически регистрировать твои гиперпараметры, аргументы командной строки, метрики обучения и проверки. Ты можешь визуализировать и анализировать свои прогоны в пользовательском интерфейсе Comet .

yolo-ui

Испытай пример!

Посмотри пример завершенного заезда здесь

А еще лучше - попробуй сделать это сам в этом блокноте Colab.

Open In Colab

Записывайся в журнал автоматически

По умолчанию Comet будет записывать в журнал следующие элементы

Метрика

  • Box Loss, Object Loss, Classification Loss для тренировочных и проверочных данных
  • mAP_0.5, mAP_0.5:0.95 метрики для валидационных данных.
  • Precision и Recall для данных проверки

Параметры

  • Гиперпараметры модели
  • Все параметры, передаваемые через опции командной строки

Визуализации

  • Матрица запутанности предсказаний модели на данных проверки
  • Графики кривых PR и F1 для всех классов
  • Коррелограмма меток классов

Настройте ведение журнала Comet

Comet можно настроить на регистрацию дополнительных данных либо через флаги командной строки, передаваемые тренировочному скрипту, либо через переменные окружения.

export COMET_MODE=online # Set whether to run Comet in 'online' or 'offline' mode. Defaults to online
export COMET_MODEL_NAME=<your model name> #Set the name for the saved model. Defaults to yolov5
export COMET_LOG_CONFUSION_MATRIX=false # Set to disable logging a Comet Confusion Matrix. Defaults to true
export COMET_MAX_IMAGE_UPLOADS=<number of allowed images to upload to Comet> # Controls how many total image predictions to log to Comet. Defaults to 100.
export COMET_LOG_PER_CLASS_METRICS=true # Set to log evaluation metrics for each detected class at the end of training. Defaults to false
export COMET_DEFAULT_CHECKPOINT_FILENAME=<your checkpoint filename> # Set this if you would like to resume training from a different checkpoint. Defaults to 'last.pt'
export COMET_LOG_BATCH_LEVEL_METRICS=true # Set this if you would like to log training metrics at the batch level. Defaults to false.
export COMET_LOG_PREDICTIONS=true # Set this to false to disable logging model predictions

Регистрация контрольных точек с помощью Comet

Ведение журнала моделей на Comet по умолчанию отключено. Чтобы включить его, передай параметр save-period аргумент в тренировочном скрипте. Это позволит сохранять зарегистрированные контрольные точки на Comet в зависимости от значения интервала, заданного параметром save-period

python train.py \
--img 640 \
--batch 16 \
--epochs 5 \
--data coco128.yaml \
--weights yolov5s.pt \
--save-period 1

Предсказания модели логгинга

По умолчанию предсказания модели (изображения, метки истинности и ограничительные рамки) будут записываться в журнал Comet.

Ты можешь управлять частотой регистрации предсказаний и связанных с ними изображений, передавая параметр bbox_interval аргумент командной строки. Прогнозы можно визуализировать с помощью Comet'Object Detection Custom Panel'. Эта частота соответствует каждой N-й партии данных за эпоху. В примере ниже мы регистрируем каждую вторую порцию данных за каждую эпоху.

Примечание: По умолчанию даталоадер валидации YOLOv5 имеет размер партии 32, поэтому тебе придется настроить частоту записи логов соответствующим образом.

Вот пример проекта, в котором используется панель

python train.py \
--img 640 \
--batch 16 \
--epochs 5 \
--data coco128.yaml \
--weights yolov5s.pt \
--bbox_interval 2

Управление количеством изображений предсказаний, регистрируемых в журнале Comet

При регистрации предсказаний с сайта YOLOv5, Comet будут регистрироваться изображения, связанные с каждым набором предсказаний. По умолчанию в журнал записывается не более 100 проверочных изображений. Ты можешь увеличить или уменьшить это число с помощью команды COMET_MAX_IMAGE_UPLOADS переменная окружения.

env COMET_MAX_IMAGE_UPLOADS=200 python train.py \
--img 640 \
--batch 16 \
--epochs 5 \
--data coco128.yaml \
--weights yolov5s.pt \
--bbox_interval 1

Регистрация показателей уровня класса

Используй COMET_LOG_PER_CLASS_METRICS Переменная окружения для регистрации mAP, precision, recall, f1 для каждого класса.

env COMET_LOG_PER_CLASS_METRICS=true python train.py \
--img 640 \
--batch 16 \
--epochs 5 \
--data coco128.yaml \
--weights yolov5s.pt

Загрузка набора данных на Comet Artifacts

Если ты хочешь хранить свои данные с помощью Comet АртефактыТы можешь сделать это с помощью upload_dataset флаг.

Набор данных должен быть организован так, как описано в YOLOv5 документация. Конфигурация набора данных yaml Файл должен иметь тот же формат, что и файл coco128.yaml файл.

python train.py \
--img 640 \
--batch 16 \
--epochs 5 \
--data coco128.yaml \
--weights yolov5s.pt \
--upload_dataset

Загруженный набор данных ты можешь найти на вкладке "Артефакты" в своем рабочем пространстве Comet . Артефакт-1

Ты можешь предварительно просмотреть данные прямо в пользовательском интерфейсе Comet . артефакт-2

Артефакты версионируются, а также поддерживают добавление метаданных о наборе данных. Comet будет автоматически регистрировать метаданные из твоего набора данных. yaml файл артефакт-3

Использование сохраненного артефакта

Если ты хочешь использовать набор данных с сайта Comet Artifacts, установи path переменная в твоем наборе данных yaml файл, чтобы он указывал на следующий URL ресурса артефакта.

# contents of artifact.yaml file
path: "comet://<workspace name>/<artifact name>:<artifact version or alias>"

Затем передай этот файл в свой обучающий скрипт следующим образом

python train.py \
--img 640 \
--batch 16 \
--epochs 5 \
--data artifact.yaml \
--weights yolov5s.pt

Артефакты также позволяют тебе проследить за тем, как данные проходят через твой рабочий процесс Experimentation. Здесь ты можешь увидеть график, который показывает все эксперименты, в которых использовался загруженный тобой набор данных. артефакт-4

Возобновление тренировочного забега

Если твоя тренировка прервалась по какой-либо причине, например, из-за разрыва интернет-соединения, ты можешь возобновить ее, используя resume флаг и Comet Run Path.

Путь выполнения имеет следующий формат comet://<your workspace name>/<your project name>/<experiment id>.

Это вернет прогон в состояние, в котором он находился до прерывания, что включает в себя восстановление модели из контрольной точки, восстановление всех гиперпараметров и аргументов обучения, а также загрузку артефактов набора данных Comet , если они использовались в исходном прогоне. Возобновленный прогон будет продолжать вести логи в существующем эксперименте в пользовательском интерфейсе Comet .

python train.py \
--resume "comet://<your run path>"

Поиск гиперпараметров с помощью оптимизатора Comet

YOLOv5 Он также интегрирован с Comet's Optimizer, что позволяет легко визуализировать развертки гиперпараметров в пользовательском интерфейсе Comet .

Настройка развертки оптимизатора

Чтобы настроить Comet Optimizer, тебе нужно будет создать JSON-файл с информацией о развертке. Пример файла был предоставлен в utils/loggers/comet/optimizer_config.json

python utils/loggers/comet/hpo.py \
  --comet_optimizer_config "utils/loggers/comet/optimizer_config.json"

The hpo.py Скрипт принимает те же аргументы, что и train.py. Если ты хочешь передать дополнительные аргументы своей зачистке, просто добавь их после скрипта.

python utils/loggers/comet/hpo.py \
  --comet_optimizer_config "utils/loggers/comet/optimizer_config.json" \
  --save-period 1 \
  --bbox_interval 1

Параллельное выполнение зачистки

comet optimizer -j <set number of workers> utils/loggers/comet/hpo.py \
  utils/loggers/comet/optimizer_config.json"

Визуализация результатов

Comet предоставляет несколько способов визуализировать результаты твоей зачистки. Посмотри на проект с завершенной зачисткой здесь

гиперпараметр -yolo



Created 2023-11-12, Updated 2024-06-02
Authors: glenn-jocher (4), RizwanMunawar (1)

Комментарии