Comet ML logo for machine learning experiment tracking

YOLOv5 với Comet#

Hướng dẫn này sẽ trình bày cách sử dụng YOLOv5 với Comet, một công cụ mạnh mẽ để theo dõi, so sánh và tối ưu hóa các thí nghiệm học máy.

Giới thiệu về Comet#

Comet xây dựng các công cụ giúp các nhà khoa học dữ liệu, kỹ sư và trưởng nhóm tăng tốc cũng như tối ưu hóa các mô hình machine learning và deep learning.

Theo dõi và trực quan hóa các chỉ số của mô hình trong thời gian thực, lưu các siêu tham số, tập dữ liệu và checkpoint mô hình của bạn, đồng thời trực quan hóa các dự đoán của mô hình với Comet Custom Panels! Comet đảm bảo bạn không bao giờ bỏ lỡ công việc của mình và giúp việc chia sẻ kết quả cũng như cộng tác giữa các nhóm có quy mô khác nhau trở nên dễ dàng!

Bắt đầu#

Cài đặt Comet#

pip install comet_ml

Cấu hình Thông tin xác thực Comet#

Có hai cách để cấu hình Comet với YOLOv5.

Bạn có thể thiết lập thông tin xác thực của mình thông qua các biến môi trường:

Biến môi trường

export COMET_API_KEY=YOUR_API_KEY
export COMET_PROJECT_NAME=YOUR_COMET_PROJECT_NAME # This will default to 'yolov5'

Hoặc tạo tệp .comet.config trong thư mục làm việc của bạn và thiết lập thông tin xác thực của bạn ở đó:

Tệp cấu hình Comet

[comet]
api_key=YOUR_API_KEY
project_name=YOUR_COMET_PROJECT_NAME # This will default to 'yolov5'

Chạy Tập lệnh huấn luyện#

# Train YOLOv5s on COCO128 for 5 epochs
python train.py --img 640 --batch 16 --epochs 5 --data coco128.yaml --weights yolov5s.pt

Vậy là xong! Comet sẽ tự động ghi lại các siêu tham số, đối số dòng lệnh, số liệu huấn luyện và xác thực của bạn. Bạn có thể trực quan hóa và phân tích các lần chạy của mình trong giao diện Comet UI.

Comet dashboard showing YOLOv5 training metrics and experiment tracking

Hãy thử một Ví dụ!#

Xem ví dụ về lần chạy hoàn thành tại đây.

Hoặc tốt hơn nữa, hãy tự mình thử trong Colab Notebook này:

Ghi nhật ký tự động#

Theo mặc định, Comet sẽ ghi lại các mục sau:

Số liệu#

Box Loss, Object Loss, Classification Loss cho dữ liệu huấn luyện và dữ liệu xác thực
Các số liệu mAP_0.5, mAP_0.5:0.95 cho dữ liệu xác thực
Precision và Recall cho dữ liệu xác thực

Tham số#

Siêu tham số mô hình
Tất cả các tham số được truyền qua các tùy chọn dòng lệnh

Trực quan hóa#

Confusion Matrix của các dự đoán mô hình trên dữ liệu xác thực
Các biểu đồ cho đường cong PR và F1 trên tất cả các lớp
Correlogram của Nhãn lớp

Cấu hình ghi nhật ký Comet#

Comet có thể được cấu hình để ghi lại dữ liệu bổ sung thông qua các cờ dòng lệnh được truyền tới tập lệnh huấn luyện hoặc thông qua các biến môi trường:

export COMET_MODE=online                           # Set whether to run Comet in 'online' or 'offline' mode. Defaults to online
export COMET_MODEL_NAME="yolov5"                   # Set the name for the saved model. Defaults to yolov5
export COMET_LOG_CONFUSION_MATRIX=false            # Set to disable logging a Comet Confusion Matrix. Defaults to true
export COMET_MAX_IMAGE_UPLOADS=30                  # Controls how many total image predictions to log to Comet. Defaults to 100.
export COMET_LOG_PER_CLASS_METRICS=true            # Set to log evaluation metrics for each detected class at the end of training. Defaults to false
export COMET_DEFAULT_CHECKPOINT_FILENAME="last.pt" # Set this if you would like to resume training from a different checkpoint. Defaults to 'last.pt'
export COMET_LOG_BATCH_LEVEL_METRICS=true          # Set this if you would like to log training metrics at the batch level. Defaults to false.
export COMET_LOG_PREDICTIONS=true                  # Set this to false to disable logging model predictions

Ghi nhật ký Checkpoint với Comet#

Việc ghi nhật ký Mô hình vào Comet bị vô hiệu hóa theo mặc định. Để bật tính năng này, hãy truyền đối số save-period vào tập lệnh huấn luyện. Thao tác này sẽ lưu các checkpoint đã ghi nhật ký vào Comet dựa trên giá trị khoảng thời gian do save-period cung cấp:

python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt \
  --save-period 1

Ghi nhật ký Dự đoán mô hình#

Theo mặc định, các dự đoán của mô hình (hình ảnh, nhãn ground truth và bounding box) sẽ được ghi lại vào Comet.

Bạn có thể kiểm soát tần suất ghi nhật ký dự đoán và các hình ảnh liên quan bằng cách truyền đối số dòng lệnh bbox_interval. Các dự đoán có thể được trực quan hóa bằng Bảng tùy chỉnh Object Detection của Comet. Tần suất này tương ứng với mỗi lô (batch) dữ liệu thứ N trên mỗi epoch. Trong ví dụ dưới đây, chúng ta đang ghi nhật ký mỗi lô dữ liệu thứ 2 cho mỗi epoch.

Lưu ý: Trình nạp dữ liệu xác thực YOLOv5 sẽ mặc định sử dụng batch size là 32, vì vậy bạn sẽ phải thiết lập tần suất ghi nhật ký cho phù hợp.

Dưới đây là một dự án mẫu sử dụng Bảng

python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt \
  --bbox_interval 2

Kiểm soát số lượng Hình ảnh dự đoán được ghi vào Comet#

Khi ghi nhật ký dự đoán từ YOLOv5, Comet sẽ ghi lại các hình ảnh liên quan đến từng tập dự đoán. Theo mặc định, tối đa 100 hình ảnh xác thực được ghi lại. Bạn có thể tăng hoặc giảm số lượng này bằng cách sử dụng biến môi trường COMET_MAX_IMAGE_UPLOADS:

env COMET_MAX_IMAGE_UPLOADS=200 python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt \
  --bbox_interval 1

Ghi nhật ký số liệu theo cấp lớp#

Sử dụng biến môi trường COMET_LOG_PER_CLASS_METRICS để ghi lại mAP, precision, recall, f1 cho từng lớp:

env COMET_LOG_PER_CLASS_METRICS=true python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt

Tải tập dữ liệu lên Comet Artifacts#

Nếu bạn muốn lưu trữ dữ liệu của mình bằng Comet Artifacts, bạn có thể làm như vậy bằng cách sử dụng cờ upload_dataset.

Tập dữ liệu phải được tổ chức như được mô tả trong tài liệu YOLOv5. Tệp cấu hình tập dữ liệu yaml phải tuân theo cùng định dạng với tệp coco128.yaml.

python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt \
  --upload_dataset

Bạn có thể tìm thấy tập dữ liệu đã tải lên trong tab Artifacts trong Không gian làm việc (Workspace) Comet của mình:

Comet artifacts panel for dataset versioning

Bạn có thể xem trước dữ liệu trực tiếp trong giao diện Comet UI:

Comet dataset preview and version history

Các Artifacts được quản lý phiên bản và cũng hỗ trợ thêm siêu dữ liệu về tập dữ liệu. Comet sẽ tự động ghi lại siêu dữ liệu từ tệp tập dữ liệu yaml của bạn:

Comet Artifact Metadata

Sử dụng Artifact đã lưu#

Nếu bạn muốn sử dụng tập dữ liệu từ Comet Artifacts, hãy đặt biến path trong tệp tập dữ liệu yaml của bạn để trỏ đến URL tài nguyên Artifact sau:

# Contents of artifact.yaml file
path: "comet://WORKSPACE_NAME/ARTIFACT_NAME:ARTIFACT_VERSION_OR_ALIAS"

Sau đó, truyền tệp này vào tập lệnh huấn luyện của bạn theo cách sau:

python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data artifact.yaml \
  --weights yolov5s.pt

Artifacts cũng cho phép bạn theo dõi dòng dõi của dữ liệu khi nó đi qua quy trình thử nghiệm của bạn. Tại đây, bạn có thể thấy biểu đồ hiển thị tất cả các thử nghiệm đã sử dụng tập dữ liệu đã tải lên của bạn:

Comet Artifact Lineage Graph

Tiếp tục chạy huấn luyện#

Nếu quá trình huấn luyện của bạn bị gián đoạn vì bất kỳ lý do gì, ví dụ: kết nối internet bị ngắt, bạn có thể tiếp tục quá trình chạy bằng cờ resume và Đường dẫn Chạy (Run Path) Comet.

Đường dẫn Chạy có định dạng sau comet://WORKSPACE_NAME/PROJECT_NAME/EXPERIMENT_ID.

Thao tác này sẽ khôi phục quá trình chạy về trạng thái trước khi bị gián đoạn, bao gồm khôi phục mô hình từ checkpoint, khôi phục tất cả các siêu tham số và đối số huấn luyện, và tải xuống các Artifact tập dữ liệu Comet nếu chúng được sử dụng trong quá trình chạy ban đầu. Quá trình chạy tiếp tục sẽ tiếp tục ghi vào Thử nghiệm hiện có trong giao diện Comet UI:

python train.py \
  --resume "comet://YOUR_RUN_PATH"

Tìm kiếm siêu tham số với Comet Optimizer#

YOLOv5 cũng được tích hợp với Comet's Optimizer, giúp việc trực quan hóa các đợt quét siêu tham số trong giao diện người dùng Comet trở nên đơn giản.

Cấu hình Đợt quét Optimizer#

Để cấu hình Comet Optimizer, bạn sẽ phải tạo một tệp JSON chứa thông tin về đợt quét. Một tệp mẫu đã được cung cấp trong utils/loggers/comet/optimizer_config.json:

python utils/loggers/comet/hpo.py \
  --comet_optimizer_config "utils/loggers/comet/optimizer_config.json"

Tập lệnh hpo.py chấp nhận các đối số giống như train.py. Nếu bạn muốn truyền thêm các đối số vào đợt quét của mình, chỉ cần thêm chúng sau tập lệnh:

python utils/loggers/comet/hpo.py \
  --comet_optimizer_config "utils/loggers/comet/optimizer_config.json" \
  --save-period 1 \
  --bbox_interval 1

Trực quan hóa kết quả#

Comet cung cấp nhiều cách để trực quan hóa kết quả của đợt quét. Hãy xem dự án có đợt quét hoàn thành tại đây.

Comet Hyperparameter Visualization

Những người đóng góp

GLglenn-jocher¹

Đã tạo 2 tháng trướcĐã cập nhật 2 tháng trước