用于机器学习实验跟踪的 Comet ML 徽标

YOLOv5 与 Comet#

本指南将介绍如何将 YOLOv5 与功能强大的 Comet 结合使用，以跟踪、比较和优化机器学习实验。

关于 Comet#

Comet 构建的工具可帮助数据科学家、工程师和团队负责人加速和优化机器学习与深度学习模型。

实时跟踪并可视化模型指标，保存超参数、数据集和模型检查点，并使用 Comet Custom Panels 可视化模型预测结果！Comet 确保你不会丢失工作进度，并让不同规模团队之间轻松共享结果和协作！

入门#

安装 Comet#

pip install comet_ml

配置 Comet 凭据#

你可以通过两种方式配置 Comet 与 YOLOv5。

你可以通过环境变量设置凭据：

环境变量

export COMET_API_KEY=YOUR_API_KEY
export COMET_PROJECT_NAME=YOUR_COMET_PROJECT_NAME # This will default to 'yolov5'

或者在工作目录中创建 .comet.config 文件，并在其中设置凭据：

Comet 配置文件

[comet]
api_key=YOUR_API_KEY
project_name=YOUR_COMET_PROJECT_NAME # This will default to 'yolov5'

运行训练脚本#

# Train YOLOv5s on COCO128 for 5 epochs
python train.py --img 640 --batch 16 --epochs 5 --data coco128.yaml --weights yolov5s.pt

就是这么简单！Comet 会自动记录你的超参数、命令行参数、训练指标和验证指标。你可以在 Comet UI 中可视化和分析运行结果。

显示 YOLOv5 训练指标和实验跟踪的 Comet 仪表板

试用示例！#

查看一个已完成运行的示例。

或者更好的是，在此 Colab Notebook 中亲自试用：

自动记录#

默认情况下，Comet 会记录以下项目：

指标#

训练和验证数据的框损失、目标损失和分类损失
验证数据的 mAP_0.5、mAP_0.5:0.95 指标
验证数据的精确率和召回率

参数量#

模型超参数
通过命令行选项传入的所有参数

可视化#

模型在验证数据上的预测结果的混淆矩阵
所有类别的 PR 曲线和 F1 曲线图
类别标签的相关图

配置 Comet 记录#

你可以通过传递给训练脚本的命令行标志或通过环境变量，配置 Comet 记录其他数据：

export COMET_MODE=online                           # Set whether to run Comet in 'online' or 'offline' mode. Defaults to online
export COMET_MODEL_NAME="yolov5"                   # Set the name for the saved model. Defaults to yolov5
export COMET_LOG_CONFUSION_MATRIX=false            # Set to disable logging a Comet Confusion Matrix. Defaults to true
export COMET_MAX_IMAGE_UPLOADS=30                  # Controls how many total image predictions to log to Comet. Defaults to 100.
export COMET_LOG_PER_CLASS_METRICS=true            # Set to log evaluation metrics for each detected class at the end of training. Defaults to false
export COMET_DEFAULT_CHECKPOINT_FILENAME="last.pt" # Set this if you would like to resume training from a different checkpoint. Defaults to 'last.pt'
export COMET_LOG_BATCH_LEVEL_METRICS=true          # Set this if you would like to log training metrics at the batch level. Defaults to false.
export COMET_LOG_PREDICTIONS=true                  # Set this to false to disable logging model predictions

使用 Comet 记录检查点#

默认情况下，使用 Comet 记录模型处于禁用状态。要启用此功能，请将 save-period 参数传递给训练脚本。这样会根据 save-period 提供的间隔值将记录的检查点保存到 Comet：

python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt \
  --save-period 1

记录模型预测结果#

默认情况下，模型预测结果（图像、真实标签和边界框）会记录到 Comet。

你可以通过传递 bbox_interval 命令行参数来控制记录预测结果及相关图像的频率。你可以使用 Comet 的目标检测自定义面板可视化预测结果。此频率对应于每个周期中每第 N 个数据批次。下面的示例中，我们记录每个周期的第 2 个数据批次。

注意： YOLOv5 验证数据加载器默认使用批次大小 32，因此你需要相应地设置记录频率。

这是一个使用该面板的示例项目

python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt \
  --bbox_interval 2

控制记录到 Comet 的预测图像数量#

从 YOLOv5 记录预测结果时，Comet 会记录与每组预测结果关联的图像。默认情况下，最多记录 100 张验证图像。你可以使用 COMET_MAX_IMAGE_UPLOADS 环境变量增加或减少此数量：

env COMET_MAX_IMAGE_UPLOADS=200 python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt \
  --bbox_interval 1

记录类别级指标#

使用 COMET_LOG_PER_CLASS_METRICS 环境变量记录每个类别的 mAP、精确率、召回率和 f1：

env COMET_LOG_PER_CLASS_METRICS=true python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt

将数据集上传到 Comet Artifacts#

如果你希望使用 Comet Artifacts 存储数据，可以使用 upload_dataset 标志来实现。

数据集应按照 YOLOv5 文档中的说明进行组织。数据集配置 yaml 文件必须采用与 coco128.yaml 文件相同的格式。

python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt \
  --upload_dataset

你可以在 Comet Workspace 的 Artifacts 选项卡中找到上传的数据集：

用于数据集版本管理的 Comet Artifacts 面板

你可以直接在 Comet UI 中预览数据：

Comet 数据集预览和版本历史

Artifacts 支持版本管理，也支持添加数据集元数据。Comet 会自动从你的数据集 yaml 文件中记录元数据：

Comet Artifact 元数据

使用已保存的 Artifact#

如果你希望使用 Comet Artifacts 中的数据集，请在数据集的 yaml 文件中设置 path 变量，使其指向以下 Artifact 资源 URL：

# Contents of artifact.yaml file
path: "comet://WORKSPACE_NAME/ARTIFACT_NAME:ARTIFACT_VERSION_OR_ALIAS"

然后按以下方式将此文件传递给训练脚本：

python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data artifact.yaml \
  --weights yolov5s.pt

Artifacts 还支持跟踪数据在实验工作流中流转时的谱系。你可以在这里看到一张图表，其中显示了所有使用过你上传数据集的实验：

Comet Artifact 谱系图

恢复训练运行#

如果训练运行因任何原因中断，例如网络连接中断，你可以使用 resume 标志和 Comet Run Path 恢复运行。

Run Path 的格式如下：comet://WORKSPACE_NAME/PROJECT_NAME/EXPERIMENT_ID。

这会将运行恢复到中断前的状态，包括从检查点恢复模型、恢复所有超参数和训练参数，以及在原始运行中使用过 Comet 数据集 Artifacts 时下载这些 Artifacts。恢复的运行将继续记录到 Comet UI 中现有的 Experiment：

python train.py \
  --resume "comet://YOUR_RUN_PATH"

使用 Comet Optimizer 搜索超参数#

YOLOv5 还集成了 Comet 的 Optimizer，让你可以轻松地在 Comet UI 中可视化超参数扫描。

配置 Optimizer 扫描#

要配置 Comet Optimizer，你需要创建一个包含扫描信息的 JSON 文件。utils/loggers/comet/optimizer_config.json 中提供了一个示例文件：

python utils/loggers/comet/hpo.py \
  --comet_optimizer_config "utils/loggers/comet/optimizer_config.json"

hpo.py 脚本接受与 train.py 相同的参数。如果你希望向扫描传递其他参数，只需将它们添加到脚本之后：

python utils/loggers/comet/hpo.py \
  --comet_optimizer_config "utils/loggers/comet/optimizer_config.json" \
  --save-period 1 \
  --bbox_interval 1

可视化结果#

Comet 提供了多种可视化扫描结果的方法。请查看一个已完成扫描的项目。

Comet 超参数可视化

贡献者

RAraimbekovm¹ GLglenn-jocher¹

创建于 2个月前已更新上周