Comet을 사용한 YOLOv5#

이 가이드에서는 머신러닝 실험을 추적, 비교 및 최적화하는 강력한 도구인 Comet을 YOLOv5와 함께 사용하는 방법을 다룹니다.

Comet 소개#

Comet은 데이터 과학자, 엔지니어 및 팀 리더가 머신러닝과 딥러닝 모델을 더욱 빠르게 개발하고 최적화할 수 있도록 지원하는 도구를 제공합니다.

모델 메트릭을 실시간으로 추적하고 시각화하며, 하이퍼파라미터, 데이터셋 및 모델 체크포인트를 저장하고, Comet Custom Panels을 사용하여 모델 예측을 시각화할 수 있습니다! Comet을 사용하면 작업을 놓치지 않고 추적할 수 있으며, 모든 규모의 팀에서 결과를 쉽게 공유하고 협업할 수 있습니다!

시작하기#

Comet 설치#

pip install comet_ml

Comet 자격 증명 구성#

YOLOv5에서 Comet을 구성하는 방법은 두 가지입니다.

환경 변수를 통해 자격 증명을 설정하거나 다음과 같이 구성할 수 있습니다.

환경 변수

export COMET_API_KEY=YOUR_API_KEY
export COMET_PROJECT_NAME=YOUR_COMET_PROJECT_NAME # This will default to 'yolov5'

또는 작업 디렉터리에 .comet.config 파일을 만들고 그 안에 자격 증명을 설정할 수 있습니다.

Comet 구성 파일

[comet]
api_key=YOUR_API_KEY
project_name=YOUR_COMET_PROJECT_NAME # This will default to 'yolov5'

학습 스크립트 실행#

# Train YOLOv5s on COCO128 for 5 epochs
python train.py --img 640 --batch 16 --epochs 5 --data coco128.yaml --weights yolov5s.pt

이제 완료되었습니다! Comet은 하이퍼파라미터, 명령줄 인수, 학습 및 검증 메트릭을 자동으로 기록합니다. Comet UI에서 실행 결과를 시각화하고 분석할 수 있습니다.

예제를 사용해 보세요!#

완료된 실행 예제를 확인해 보세요.

또는 이 Colab Notebook에서 직접 실행해 보세요.

자동으로 기록하기#

기본적으로 Comet은 다음 항목을 기록합니다.

메트릭#

• 학습 및 검증 데이터의 Box Loss, Object Loss, Classification Loss
• 검증 데이터의 mAP_0.5, mAP_0.5:0.95 메트릭
• 검증 데이터의 Precision 및 Recall

파라미터#

• 모델 하이퍼파라미터
• 명령줄 옵션을 통해 전달된 모든 파라미터

시각화#

• 검증 데이터에 대한 모델 예측의 Confusion Matrix
• 모든 클래스에 대한 PR 및 F1 곡선 플롯
• 클래스 레이블의 상관도

Comet 로깅 구성#

Comet은 학습 스크립트에 전달되는 명령줄 플래그 또는 환경 변수를 통해 추가 데이터를 기록하도록 구성할 수 있습니다.

export COMET_MODE=online                           # Set whether to run Comet in 'online' or 'offline' mode. Defaults to online
export COMET_MODEL_NAME="yolov5"                   # Set the name for the saved model. Defaults to yolov5
export COMET_LOG_CONFUSION_MATRIX=false            # Set to disable logging a Comet Confusion Matrix. Defaults to true
export COMET_MAX_IMAGE_UPLOADS=30                  # Controls how many total image predictions to log to Comet. Defaults to 100.
export COMET_LOG_PER_CLASS_METRICS=true            # Set to log evaluation metrics for each detected class at the end of training. Defaults to false
export COMET_DEFAULT_CHECKPOINT_FILENAME="last.pt" # Set this if you would like to resume training from a different checkpoint. Defaults to 'last.pt'
export COMET_LOG_BATCH_LEVEL_METRICS=true          # Set this if you would like to log training metrics at the batch level. Defaults to false.
export COMET_LOG_PREDICTIONS=true                  # Set this to false to disable logging model predictions

Comet으로 체크포인트 기록하기#

Comet에 모델을 기록하는 기능은 기본적으로 비활성화되어 있습니다. 활성화하려면 학습 스크립트에 save-period 인수를 전달합니다. 그러면 save-period에 지정된 간격 값에 따라 기록된 체크포인트가 Comet에 저장됩니다.

python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt \
  --save-period 1

모델 예측 기록하기#

기본적으로 모델 예측(이미지, 실제 레이블 및 바운딩 박스)은 Comet에 기록됩니다.

bbox_interval 명령줄 인수를 전달하여 기록할 예측 및 관련 이미지의 빈도를 제어할 수 있습니다. Comet의 Object Detection Custom Panel을 사용하여 예측을 시각화할 수 있습니다. 이 빈도는 에포크마다 N번째 데이터 배치마다 기록하는 것을 의미합니다. 아래 예제에서는 각 에포크의 두 번째 배치마다 데이터를 기록합니다.

참고: YOLOv5 검증 데이터 로더의 배치 크기는 기본적으로 32이므로 그에 맞게 로깅 빈도를 설정해야 합니다.

다음은 Panel을 사용하는 예제 프로젝트입니다.

python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt \
  --bbox_interval 2

Comet에 기록되는 예측 이미지 수 제어하기#

YOLOv5의 예측을 기록할 때 Comet은 각 예측 세트와 연결된 이미지를 기록합니다. 기본적으로 최대 100개의 검증 이미지가 기록됩니다. COMET_MAX_IMAGE_UPLOADS 환경 변수를 사용하여 이 수를 늘리거나 줄일 수 있습니다.

env COMET_MAX_IMAGE_UPLOADS=200 python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt \
  --bbox_interval 1

클래스 수준 메트릭 기록하기#

COMET_LOG_PER_CLASS_METRICS 환경 변수를 사용하여 각 클래스의 mAP, precision, recall, f1을 기록합니다.

env COMET_LOG_PER_CLASS_METRICS=true python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt

Comet Artifacts에 데이터셋 업로드하기#

Comet Artifacts를 사용하여 데이터를 저장하려면 upload_dataset 플래그를 사용하면 됩니다.

데이터셋은 YOLOv5 문서에 설명된 대로 구성해야 합니다. 데이터셋 구성 yaml 파일은 coco128.yaml 파일과 동일한 형식을 따라야 합니다.

python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt \
  --upload_dataset

업로드된 데이터셋은 Comet Workspace의 Artifacts 탭에서 확인할 수 있습니다.

Comet UI에서 데이터를 직접 미리 볼 수 있습니다.

Artifacts는 버전 관리되며 데이터셋에 대한 메타데이터 추가도 지원합니다. Comet은 데이터셋의 yaml 파일에서 메타데이터를 자동으로 기록합니다.

저장된 Artifact 사용하기#

Comet Artifacts의 데이터셋을 사용하려면 데이터셋의 yaml 파일에서 path 변수가 다음 Artifact 리소스 URL을 가리키도록 설정합니다.

# Contents of artifact.yaml file
path: "comet://WORKSPACE_NAME/ARTIFACT_NAME:ARTIFACT_VERSION_OR_ALIAS"

그런 다음 다음과 같은 방식으로 이 파일을 학습 스크립트에 전달합니다.

python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data artifact.yaml \
  --weights yolov5s.pt

Artifacts를 사용하면 실험 워크플로를 거치면서 데이터의 계보도 추적할 수 있습니다. 여기에서 업로드한 데이터셋을 사용한 모든 실험을 보여주는 그래프를 확인할 수 있습니다.

학습 실행 재개하기#

인터넷 연결 중단과 같은 이유로 학습 실행이 중단된 경우 resume 플래그와 Comet Run Path를 사용하여 실행을 재개할 수 있습니다.

Run Path의 형식은 다음과 같습니다: comet://WORKSPACE_NAME/PROJECT_NAME/EXPERIMENT_ID.

이렇게 하면 중단되기 전 상태로 실행이 복원됩니다. 여기에는 체크포인트에서 모델 복원, 모든 하이퍼파라미터와 학습 인수 복원, 원래 실행에서 사용된 경우 Comet 데이터셋 Artifacts 다운로드가 포함됩니다. 재개된 실행은 Comet UI의 기존 Experiment에 계속 기록됩니다.

python train.py \
  --resume "comet://YOUR_RUN_PATH"

Comet Optimizer를 사용한 하이퍼파라미터 검색#

YOLOv5는 Comet's Optimizer와도 통합되어 있어 Comet UI에서 하이퍼파라미터 스윕을 간편하게 시각화할 수 있습니다.

Optimizer 스윕 구성하기#

Comet Optimizer를 구성하려면 스윕 정보를 포함한 JSON 파일을 만들어야 합니다. 예제 파일은 utils/loggers/comet/optimizer_config.json에 제공되어 있습니다.

python utils/loggers/comet/hpo.py \
  --comet_optimizer_config "utils/loggers/comet/optimizer_config.json"

hpo.py 스크립트는 train.py과 동일한 인수를 사용합니다. 스윕에 추가 인수를 전달하려면 해당 인수를 스크립트 뒤에 추가하면 됩니다.

python utils/loggers/comet/hpo.py \
  --comet_optimizer_config "utils/loggers/comet/optimizer_config.json" \
  --save-period 1 \
  --bbox_interval 1

결과 시각화#

Comet은 스윕 결과를 시각화하는 다양한 방법을 제공합니다. 완료된 스윕이 있는 프로젝트를 확인해 보세요.