Comet을 이용한 YOLOv5
본 가이드에서는 머신 러닝 실험을 추적, 비교 및 최적화하는 강력한 도구인 Comet과 함께 YOLOv5를 사용하는 방법을 다룹니다.
Comet에 대하여
Comet은 데이터 과학자, 엔지니어 및 팀 리더가 머신 러닝 및 딥 러닝 모델을 가속화하고 최적화하는 데 도움이 되는 도구를 구축합니다.
Comet 사용자 지정 패널을 사용하여 모델 지표를 실시간으로 추적 및 시각화하고, 하이퍼파라미터, 데이터 세트 및 모델 체크포인트를 저장하고, 모델 예측을 시각화하십시오! Comet을 사용하면 작업 내용을 잃어버릴 염려가 없으며 모든 규모의 팀에서 결과를 쉽게 공유하고 협업할 수 있습니다!
시작하기
Comet 설치
pip install comet_ml
Comet 자격 증명 구성
YOLOv5에서 Comet을 구성하는 방법에는 두 가지가 있습니다.
환경 변수를 통해 자격 증명을 설정할 수 있습니다.
환경 변수
export COMET_API_KEY=YOUR_API_KEY
export COMET_PROJECT_NAME=YOUR_COMET_PROJECT_NAME # This will default to 'yolov5'
또는 다음을 생성합니다. .comet.config 작업 디렉터리에 파일을 만들고 사용자 인증 정보를 설정하십시오.
Comet 구성 파일
[comet]
api_key=YOUR_API_KEY
project_name=YOUR_COMET_PROJECT_NAME # This will default to 'yolov5'
훈련 스크립트 실행
# Train YOLOv5s on COCO128 for 5 epochs
python train.py --img 640 --batch 16 --epochs 5 --data coco128.yaml --weights yolov5s.pt
이것으로 끝입니다! Comet은 하이퍼파라미터, 명령줄 인수, 훈련 및 검증 메트릭을 자동으로 기록합니다. Comet UI에서 실행을 시각화하고 분석할 수 있습니다.
예제 사용해보기!
완료된 실행 예시를 확인하십시오.
또는 더 나은 방법으로, 이 Colab Notebook에서 직접 사용해 보십시오.
자동으로 기록
기본적으로 Comet은 다음 항목을 기록합니다.
메트릭
- 훈련 및 검증 데이터에 대한 Box Loss, Object Loss, Classification Loss
- 유효성 검사 데이터를 위한 mAP_0.5, mAP_0.5:0.95 메트릭
- 검증 데이터에 대한 정밀도 및 재현율
파라미터
- 모델 하이퍼파라미터
- 명령줄 옵션을 통해 전달된 모든 파라미터
시각화
- 검증 데이터에 대한 모델 예측의 오차 행렬
- 모든 클래스에 대한 PR 및 F1 곡선 플롯
- 클래스 레이블의 코렐로그램
Comet 로깅 구성
Comet은 학습 스크립트에 전달되는 명령줄 플래그 또는 환경 변수를 통해 추가 데이터를 기록하도록 구성할 수 있습니다:
export COMET_MODE=online # Set whether to run Comet in 'online' or 'offline' mode. Defaults to online
export COMET_MODEL_NAME="yolov5" # Set the name for the saved model. Defaults to yolov5
export COMET_LOG_CONFUSION_MATRIX=false # Set to disable logging a Comet Confusion Matrix. Defaults to true
export COMET_MAX_IMAGE_UPLOADS=30 # Controls how many total image predictions to log to Comet. Defaults to 100.
export COMET_LOG_PER_CLASS_METRICS=true # Set to log evaluation metrics for each detected class at the end of training. Defaults to false
export COMET_DEFAULT_CHECKPOINT_FILENAME="last.pt" # Set this if you would like to resume training from a different checkpoint. Defaults to 'last.pt'
export COMET_LOG_BATCH_LEVEL_METRICS=true # Set this if you would like to log training metrics at the batch level. Defaults to false.
export COMET_LOG_PREDICTIONS=true # Set this to false to disable logging model predictions
Comet을 사용한 체크포인트 로깅
Comet에 모델 로깅은 기본적으로 비활성화되어 있습니다. 활성화하려면 다음을 전달하세요. save-period 학습 스크립트에 인수를 전달합니다. 이렇게 하면 제공된 간격 값에 따라 기록된 체크포인트가 Comet에 저장됩니다. save-period:
python train.py \
--img 640 \
--batch 16 \
--epochs 5 \
--data coco128.yaml \
--weights yolov5s.pt \
--save-period 1
모델 예측 로깅
기본적으로 모델 예측(이미지, Ground Truth 레이블 및 바운딩 박스)은 Comet에 기록됩니다.
다음을 전달하여 기록된 예측 및 관련 이미지의 빈도를 제어할 수 있습니다. bbox_interval 명령줄 인수. 예측은 Comet의 객체 감지 사용자 정의 패널을 사용하여 시각화할 수 있습니다. 이 빈도는 데이터의 N번째 배치마다 해당됩니다. epoch. 아래 예에서는 각 epoch마다 2번째 데이터 배치를 기록합니다.
참고: YOLOv5 유효성 검사 데이터 로더는 기본적으로 32의 배치 크기를 사용하므로 로깅 빈도를 적절하게 설정해야 합니다.
다음은 패널을 사용하는 예제 프로젝트입니다.
python train.py \
--img 640 \
--batch 16 \
--epochs 5 \
--data coco128.yaml \
--weights yolov5s.pt \
--bbox_interval 2
Comet에 로깅되는 예측 이미지 수 제어
YOLOv5에서 예측을 로깅할 때 Comet은 각 예측 세트와 관련된 이미지를 로깅합니다. 기본적으로 최대 100개의 유효성 검사 이미지가 로깅됩니다. 이 숫자는 다음을 사용하여 늘리거나 줄일 수 있습니다. COMET_MAX_IMAGE_UPLOADS 환경 변수:
env COMET_MAX_IMAGE_UPLOADS=200 python train.py \
--img 640 \
--batch 16 \
--epochs 5 \
--data coco128.yaml \
--weights yolov5s.pt \
--bbox_interval 1
클래스 수준 메트릭 로깅
다음을 사용하여 COMET_LOG_PER_CLASS_METRICS 각 클래스에 대한 mAP, 정밀도, 재현율, f1을 기록하기 위한 환경 변수:
env COMET_LOG_PER_CLASS_METRICS=true python train.py \
--img 640 \
--batch 16 \
--epochs 5 \
--data coco128.yaml \
--weights yolov5s.pt
Comet 아티팩트에 데이터세트 업로드
다음을 사용하여 데이터를 저장하려면 Comet Artifacts다음을 사용하여 수행할 수 있습니다. upload_dataset 플래그.
데이터 세트는 다음에 설명된 대로 구성해야 합니다. YOLOv5 설명서. 데이터 세트 구성 yaml 파일은 다음 파일과 동일한 형식을 따라야 합니다. coco128.yaml 파일.
python train.py \
--img 640 \
--batch 16 \
--epochs 5 \
--data coco128.yaml \
--weights yolov5s.pt \
--upload_dataset
Comet 작업 공간의 아티팩트 탭에서 업로드된 데이터세트를 찾을 수 있습니다.
Comet UI에서 데이터를 직접 미리 볼 수 있습니다.
Artifacts는 버전이 관리되며 데이터 세트에 대한 메타데이터 추가도 지원합니다. Comet은 데이터 세트에서 메타데이터를 자동으로 기록합니다. yaml 파일:
저장된 아티팩트 사용
Comet Artifacts의 데이터 세트를 사용하려면 다음을 설정하십시오. path 데이터 세트의 변수입니다. yaml 다음 Artifact 리소스 URL을 가리키도록 파일을 설정하십시오.
# Contents of artifact.yaml file
path: "comet://WORKSPACE_NAME>/ARTIFACT_NAME:ARTIFACT_VERSION_OR_ALIAS"
그런 다음 이 파일을 다음 방법으로 학습 스크립트에 전달합니다.
python train.py \
--img 640 \
--batch 16 \
--epochs 5 \
--data artifact.yaml \
--weights yolov5s.pt
아티팩트를 통해 실험 워크플로우를 거치는 데이터의 계보를 추적할 수도 있습니다. 여기에서 업로드한 데이터 세트를 사용한 모든 실험을 보여주는 그래프를 볼 수 있습니다.
학습 실행 재개
인터넷 연결 문제 등으로 인해 학습 실행이 중단된 경우, 다음을 사용하여 실행을 재개할 수 있습니다. resume 플래그 및 Comet Run Path를 사용합니다.
Run Path는 다음 형식을 갖습니다. comet://WORKSPACE_NAME/PROJECT_NAME/EXPERIMENT_ID.
이렇게 하면 중단되기 전의 상태로 실행이 복원됩니다. 여기에는 체크포인트에서 모델 복원, 모든 하이퍼파라미터 및 학습 인수 복원, 원래 실행에서 사용된 경우 Comet 데이터 세트 아티팩트 다운로드가 포함됩니다. 재개된 실행은 Comet UI의 기존 실험에 계속 로깅됩니다.
python train.py \
--resume "comet://YOUR_RUN_PATH"
Comet Optimizer를 사용한 하이퍼파라미터 검색
YOLOv5는 Comet의 Optimizer와도 통합되어 Comet UI에서 하이퍼파라미터 스윕을 간단하게 시각화할 수 있습니다.
최적화 프로그램 스윕 구성하기
Comet Optimizer를 구성하려면 스윕에 대한 정보가 담긴 JSON 파일을 생성해야 합니다. 예제 파일은 다음 위치에 제공됩니다. utils/loggers/comet/optimizer_config.json:
python utils/loggers/comet/hpo.py \
--comet_optimizer_config "utils/loggers/comet/optimizer_config.json"
에 지정되어 있습니다. hpo.py 스크립트는 다음과 동일한 인수를 허용합니다. train.py입니다. 스윕에 추가 인수를 전달하려면 스크립트 뒤에 추가하기만 하면 됩니다.
python utils/loggers/comet/hpo.py \
--comet_optimizer_config "utils/loggers/comet/optimizer_config.json" \
--save-period 1 \
--bbox_interval 1
결과 시각화
Comet은 스윕 결과를 시각화하는 다양한 방법을 제공합니다. 완료된 스윕이 있는 프로젝트를 여기에서 확인하십시오.
