YOLOv5 com Comet#

Este guia abordará como usar o YOLOv5 com o Comet, uma ferramenta poderosa para rastrear, comparar e otimizar experimentos de aprendizado de máquina.

Sobre o Comet#

O Comet cria ferramentas que ajudam cientistas de dados, engenheiros e líderes de equipe a acelerar e otimizar modelos de aprendizado de máquina e aprendizado profundo.

Rastreie e visualize métricas de modelos em tempo real, salve seus hiperparâmetros, conjuntos de dados e checkpoints de modelos, e visualize as previsões do seu modelo com os Comet Custom Panels! O Comet garante que você nunca perca o controle do seu trabalho e facilita o compartilhamento de resultados e a colaboração entre equipes de todos os tamanhos!

Começando#

Instalar o Comet#

pip install comet_ml

Configurar credenciais do Comet#

Existem duas maneiras de configurar o Comet com o YOLOv5.

Você pode definir suas credenciais através de variáveis de ambiente:

Variáveis de Ambiente

export COMET_API_KEY=YOUR_API_KEY
export COMET_PROJECT_NAME=YOUR_COMET_PROJECT_NAME # This will default to 'yolov5'

Ou crie um arquivo .comet.config no seu diretório de trabalho e defina suas credenciais nele:

Arquivo de Configuração do Comet

[comet]
api_key=YOUR_API_KEY
project_name=YOUR_COMET_PROJECT_NAME # This will default to 'yolov5'

Executar o script de treinamento#

# Train YOLOv5s on COCO128 for 5 epochs
python train.py --img 640 --batch 16 --epochs 5 --data coco128.yaml --weights yolov5s.pt

É isso! O Comet registrará automaticamente seus hiperparâmetros, argumentos de linha de comando, e métricas de treinamento e validação. Você pode visualizar e analisar suas execuções na interface do Comet.

Experimente um exemplo!#

Confira um exemplo de execução concluída aqui.

Ou melhor ainda, experimente você mesmo neste Colab Notebook:

Registrar automaticamente#

Por padrão, o Comet registrará os seguintes itens:

Métricas#

• Perda de Caixa, Perda de Objeto, Perda de Classificação para os dados de treinamento e validação
• Métricas mAP_0.5, mAP_0.5:0.95 para os dados de validação
• Precisão e Revocação para os dados de validação

Parâmetros#

• Hiperparâmetros do modelo
• Todos os parâmetros passados através das opções de linha de comando

Visualizações#

• Matriz de Confusão das previsões do modelo nos dados de validação
• Gráficos para as curvas PR e F1 em todas as classes
• Correlograma dos Rótulos de Classe

Configurar o registro do Comet#

O Comet pode ser configurado para registrar dados adicionais através de sinalizadores de linha de comando passados para o script de treinamento ou através de variáveis de ambiente:

export COMET_MODE=online                           # Set whether to run Comet in 'online' or 'offline' mode. Defaults to online
export COMET_MODEL_NAME="yolov5"                   # Set the name for the saved model. Defaults to yolov5
export COMET_LOG_CONFUSION_MATRIX=false            # Set to disable logging a Comet Confusion Matrix. Defaults to true
export COMET_MAX_IMAGE_UPLOADS=30                  # Controls how many total image predictions to log to Comet. Defaults to 100.
export COMET_LOG_PER_CLASS_METRICS=true            # Set to log evaluation metrics for each detected class at the end of training. Defaults to false
export COMET_DEFAULT_CHECKPOINT_FILENAME="last.pt" # Set this if you would like to resume training from a different checkpoint. Defaults to 'last.pt'
export COMET_LOG_BATCH_LEVEL_METRICS=true          # Set this if you would like to log training metrics at the batch level. Defaults to false.
export COMET_LOG_PREDICTIONS=true                  # Set this to false to disable logging model predictions

Registrar checkpoints com o Comet#

O registro de modelos no Comet está desativado por padrão. Para ativá-lo, passe o argumento save-period para o script de treinamento. Isso salvará os checkpoints registrados no Comet com base no valor de intervalo fornecido por save-period:

python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt \
  --save-period 1

Registrar predições de modelo#

Por padrão, as predições do modelo (imagens, rótulos ground truth e bounding boxes) serão registradas no Comet.

Você pode controlar a frequência das previsões registradas e as imagens associadas passando o argumento de linha de comando bbox_interval. As previsões podem ser visualizadas usando o painel personalizado de Detecção de Objetos do Comet. Essa frequência corresponde a cada N-ésimo lote de dados por época. No exemplo abaixo, estamos registrando cada 2º lote de dados para cada época.

Nota: O carregador de dados de validação do YOLOv5 usará por padrão um tamanho de lote de 32, portanto você precisará definir a frequência de registro de acordo.

Aqui está um exemplo de projeto usando o painel

python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt \
  --bbox_interval 2

Controlar o número de Imagens de Predição registradas no Comet#

Ao registrar previsões do YOLOv5, o Comet registrará as imagens associadas a cada conjunto de previsões. Por padrão, um máximo de 100 imagens de validação são registradas. Você pode aumentar ou diminuir esse número usando a variável de ambiente COMET_MAX_IMAGE_UPLOADS:

env COMET_MAX_IMAGE_UPLOADS=200 python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt \
  --bbox_interval 1

Registrar métricas de nível de classe#

Use a variável de ambiente COMET_LOG_PER_CLASS_METRICS para registrar mAP, precisão, revocação e f1 para cada classe:

env COMET_LOG_PER_CLASS_METRICS=true python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt

Carregar um dataset para o Comet Artifacts#

Se você quiser armazenar seus dados usando os Comet Artifacts, você pode fazer isso usando a flag upload_dataset.

O conjunto de dados deve ser organizado conforme descrito na documentação do YOLOv5. O arquivo de configuração do conjunto de dados yaml deve seguir o mesmo formato do arquivo coco128.yaml.

python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt \
  --upload_dataset

Você pode encontrar o dataset carregado na aba Artifacts no seu Workspace do Comet:

Você pode visualizar os dados diretamente na interface do Comet:

Os artefatos são versionados e também suportam a adição de metadados sobre o conjunto de dados. O Comet registrará automaticamente os metadados do seu arquivo de conjunto de dados yaml:

Usando um Artefato salvo#

Se você quiser usar um conjunto de dados dos Comet Artifacts, defina a variável path no seu arquivo de conjunto de dados yaml para apontar para a seguinte URL de recurso de artefato:

# Contents of artifact.yaml file
path: "comet://WORKSPACE_NAME/ARTIFACT_NAME:ARTIFACT_VERSION_OR_ALIAS"

Então passe este arquivo para o seu script de treinamento da seguinte maneira:

python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data artifact.yaml \
  --weights yolov5s.pt

Os artefatos também permitem rastrear a linhagem dos dados conforme eles fluem pelo seu fluxo de trabalho de experimentação. Aqui você pode ver um gráfico que mostra todos os experimentos que usaram seu dataset carregado:

Retomando uma execução de treinamento#

Se sua execução de treinamento for interrompida por qualquer motivo, por exemplo, conexão de internet instável, você poderá retomar a execução usando a flag resume e o caminho de execução do Comet (Run Path).

O Caminho de Execução tem o seguinte formato comet://WORKSPACE_NAME/PROJECT_NAME/EXPERIMENT_ID.

Isso restaurará a execução ao seu estado antes da interrupção, o que inclui restaurar o modelo a partir de um checkpoint, restaurar todos os hiperparâmetros e argumentos de treinamento, e baixar os Artefatos de dataset do Comet se eles foram usados na execução original. A execução retomada continuará registrando no Experimento existente na interface do Comet:

python train.py \
  --resume "comet://YOUR_RUN_PATH"

Busca de hiperparâmetros com o Otimizador do Comet#

O YOLOv5 também está integrado ao Comet's Optimizer, facilitando a visualização de varreduras de hiperparâmetros na interface do Comet.

Configurando uma varredura do Otimizador#

Para configurar o Comet Optimizer, você precisará criar um arquivo JSON com as informações sobre a varredura. Um arquivo de exemplo foi fornecido em utils/loggers/comet/optimizer_config.json:

python utils/loggers/comet/hpo.py \
  --comet_optimizer_config "utils/loggers/comet/optimizer_config.json"

O script hpo.py aceita os mesmos argumentos que train.py. Se você deseja passar argumentos adicionais para a sua varredura, basta adicioná-los após o script:

python utils/loggers/comet/hpo.py \
  --comet_optimizer_config "utils/loggers/comet/optimizer_config.json" \
  --save-period 1 \
  --bbox_interval 1

Visualizando resultados#

O Comet oferece várias maneiras de visualizar os resultados da sua varredura. Dê uma olhada em um projeto com uma varredura concluída aqui.