Evolución de hiperparámetros para YOLOv5#

📚 Esta guía explica la evolución de hiperparámetros para YOLOv5 🚀. La evolución de hiperparámetros es un método de optimización de hiperparámetros que utiliza un algoritmo genético (GA) para la optimización.

Los hiperparámetros del aprendizaje automático controlan diversos aspectos del entrenamiento, y encontrar valores óptimos para ellos puede ser un desafío. Los métodos tradicionales, como las búsquedas en cuadrícula, pueden volverse rápidamente intratables debido a:

1. El elevado número de dimensiones del espacio de búsqueda
2. Las correlaciones desconocidas entre las dimensiones
3. El elevado coste de evaluar la aptitud en cada punto

Esto hace que los algoritmos genéticos sean una opción adecuada para las búsquedas de hiperparámetros.

Antes de empezar#

Clona el repositorio e instala requirements.txt en un entorno de Python>=3.8.0, incluido PyTorch>=1.8. Los modelos y los conjuntos de datos se descargan automáticamente desde la última versión de YOLOv5.

git clone https://github.com/ultralytics/yolov5 # clone
cd yolov5
pip install -r requirements.txt # install

1. Inicializar los hiperparámetros#

YOLOv5 tiene alrededor de 30 hiperparámetros que se utilizan para distintos ajustes de entrenamiento. Estos se definen en los archivos *.yaml del directorio /data/hyps. Unas estimaciones iniciales mejores producirán mejores resultados finales, por lo que es importante inicializar correctamente estos valores antes de evolucionarlos. Si tienes dudas, utiliza simplemente los valores predeterminados, que están optimizados para entrenar YOLOv5 con COCO desde cero.

# YOLOv5 🚀 by Ultralytics, AGPL-3.0 license
# Hyperparameters for low-augmentation COCO training from scratch
# python train.py --batch 64 --cfg yolov5n6.yaml --weights '' --data coco.yaml --img 640 --epochs 300 --linear
# See tutorials for hyperparameter evolution https://github.com/ultralytics/yolov5#tutorials

lr0: 0.01 # initial learning rate (SGD=1E-2, Adam=1E-3)
lrf: 0.01 # final OneCycleLR learning rate (lr0 * lrf)
momentum: 0.937 # SGD momentum/Adam beta1
weight_decay: 0.0005 # optimizer weight decay 5e-4
warmup_epochs: 3.0 # warmup epochs (fractions ok)
warmup_momentum: 0.8 # warmup initial momentum
warmup_bias_lr: 0.1 # warmup initial bias lr
box: 0.05 # box loss gain
cls: 0.5 # cls loss gain
cls_pw: 1.0 # cls BCELoss positive_weight
obj: 1.0 # obj loss gain (scale with pixels)
obj_pw: 1.0 # obj BCELoss positive_weight
iou_t: 0.20 # IoU training threshold
anchor_t: 4.0 # anchor-multiple threshold
# anchors: 3  # anchors per output layer (0 to ignore)
fl_gamma: 0.0 # focal loss gamma (efficientDet default gamma=1.5)
hsv_h: 0.015 # image HSV-Hue augmentation (fraction)
hsv_s: 0.7 # image HSV-Saturation augmentation (fraction)
hsv_v: 0.4 # image HSV-Value augmentation (fraction)
degrees: 0.0 # image rotation (+/- deg)
translate: 0.1 # image translation (+/- fraction)
scale: 0.5 # image scale (+/- gain)
shear: 0.0 # image shear (+/- deg)
perspective: 0.0 # image perspective (+/- fraction), range 0-0.001
flipud: 0.0 # image flip up-down (probability)
fliplr: 0.5 # image flip left-right (probability)
mosaic: 1.0 # image mosaic (probability)
mixup: 0.0 # image mixup (probability)
copy_paste: 0.0 # segment copy-paste (probability)

2. Definir la aptitud#

La aptitud es el valor que buscamos maximizar. En YOLOv5 definimos una función de aptitud predeterminada como una combinación ponderada de métricas: mAP@0.5 aporta el 10 % del peso y mAP@0.5:0.95 aporta el 90 % restante, con precisión (P) y exhaustividad (R) ausentes. Puedes ajustar estos valores según consideres oportuno o utilizar la definición de aptitud predeterminada en utils/metrics.py (recomendado). Esta aptitud decide qué resultado se guarda en hyp_evolve.yaml; el propio algoritmo genético clasifica a los progenitores y a las élites únicamente por mAP@0.5, por lo que cambiar estos pesos no cambia la selección de progenitores.

def fitness(x):
    """Return model fitness as the sum of weighted metrics [P, R, mAP@0.5, mAP@0.5:0.95]."""
    w = [0.0, 0.0, 0.1, 0.9]  # weights for [P, R, mAP@0.5, mAP@0.5:0.95]
    return (x[:, :4] * w).sum(1)

3. Evolucionar#

La evolución se realiza sobre un escenario base que buscamos mejorar. El escenario base de este ejemplo consiste en hacer un ajuste fino de COCO128 durante 10 épocas utilizando YOLOv5s preentrenado. El comando de entrenamiento del escenario base es:

python train.py --epochs 10 --data coco128.yaml --weights yolov5s.pt --cache

Para evolucionar los hiperparámetros específicos de este escenario, partiendo de nuestros valores iniciales definidos en la Sección 1. y maximizando la aptitud definida en la Sección 2., añade --evolve:

# Single-GPU
python train.py --epochs 10 --data coco128.yaml --weights yolov5s.pt --cache --evolve

# Multi-GPU with delay
for i in {0..7}; do
  sleep $((30 * i)) # 30-second delay (optional)
  echo "Starting GPU $i..."
  nohup python train.py --epochs 10 --data coco128.yaml --weights yolov5s.pt --cache --device $i --evolve > "evolve_gpu_$i.log" &
done

# Continuous training (use with caution)
# for i in {0..7}; do
#   sleep $((30 * i))  # 30-second delay (optional)
#   echo "Starting continuous training on GPU $i..."
#   (
#     while true; do
#       python train.py --epochs 10 --data coco128.yaml --weights yolov5s.pt --cache --device $i --evolve > "evolve_gpu_$i.log"
#     done
#   ) &
# done

La configuración de evolución predeterminada se ejecuta durante 300 generaciones, y cada generación entrena el escenario base una vez para cada uno de los 50 individuos de la población. Puedes modificar las generaciones mediante el argumento --evolve, es decir, python train.py --evolve 1000.

Los principales operadores genéticos son cruce y mutación. Cada generación entrena a cada individuo y lo califica según mAP@0.5, selecciona progenitores mediante selección por torneo con las élites más aptas añadidas al grupo de progenitores, y construye la siguiente población mediante cruce y mutación, con tasas que se adaptan a medida que avanza la evolución. Los resultados se registran en runs/evolve/exp/evolve.csv, y la descendencia con mayor aptitud se guarda en cada generación como runs/evolve/exp/hyp_evolve.yaml:

# YOLOv5 Hyperparameter Evolution Results
# Best generation: 287
# Last generation: 300
#    metrics/precision,       metrics/recall,      metrics/mAP_0.5, metrics/mAP_0.5:0.95,         val/box_loss,         val/obj_loss,         val/cls_loss
#              0.54634,              0.55625,              0.58201,              0.33665,             0.056451,             0.042892,             0.013441

lr0: 0.01 # initial learning rate (SGD=1E-2, Adam=1E-3)
lrf: 0.2 # final OneCycleLR learning rate (lr0 * lrf)
momentum: 0.937 # SGD momentum/Adam beta1
weight_decay: 0.0005 # optimizer weight decay 5e-4
warmup_epochs: 3.0 # warmup epochs (fractions ok)
warmup_momentum: 0.8 # warmup initial momentum
warmup_bias_lr: 0.1 # warmup initial bias lr
box: 0.05 # box loss gain
cls: 0.5 # cls loss gain
cls_pw: 1.0 # cls BCELoss positive_weight
obj: 1.0 # obj loss gain (scale with pixels)
obj_pw: 1.0 # obj BCELoss positive_weight
iou_t: 0.20 # IoU training threshold
anchor_t: 4.0 # anchor-multiple threshold
# anchors: 3  # anchors per output layer (0 to ignore)
fl_gamma: 0.0 # focal loss gamma (efficientDet default gamma=1.5)
hsv_h: 0.015 # image HSV-Hue augmentation (fraction)
hsv_s: 0.7 # image HSV-Saturation augmentation (fraction)
hsv_v: 0.4 # image HSV-Value augmentation (fraction)
degrees: 0.0 # image rotation (+/- deg)
translate: 0.1 # image translation (+/- fraction)
scale: 0.5 # image scale (+/- gain)
shear: 0.0 # image shear (+/- deg)
perspective: 0.0 # image perspective (+/- fraction), range 0-0.001
flipud: 0.0 # image flip up-down (probability)
fliplr: 0.5 # image flip left-right (probability)
mosaic: 1.0 # image mosaic (probability)
mixup: 0.0 # image mixup (probability)
copy_paste: 0.0 # segment copy-paste (probability)

Recomendamos un mínimo de 300 generaciones de evolución para obtener los mejores resultados. Ten en cuenta que la evolución suele ser costosa y requiere mucho tiempo, ya que el escenario base se entrena miles de veces y posiblemente requiera cientos o miles de horas de GPU.

Cuando finalice la evolución, reutiliza la configuración descubierta indicando el archivo guardado en el entrenamiento, por ejemplo, python train.py --hyp runs/evolve/exp/hyp_evolve.yaml --data your.yaml --weights yolov5s.pt.

4. Visualiza#

evolve.csv se representa como evolve.png mediante utils.plots.plot_evolve() una vez finalizada la evolución, con un gráfico por hiperparámetro que muestra la aptitud (eje y) frente a los valores del hiperparámetro (eje x). El amarillo indica concentraciones más altas. Las distribuciones verticales indican que un parámetro se ha desactivado y no muta. Esto se puede seleccionar en el diccionario meta de train.py y resulta útil para fijar parámetros y evitar que evolucionen.

Entornos compatibles#

Ultralytics ofrece una variedad de entornos listos para usar, cada uno preinstalado con dependencias esenciales como CUDA, CUDNN, Python y PyTorch, para que puedas iniciar tus proyectos.

• Cuadernos de GPU gratuitos:
• Google Cloud: Guía de inicio rápido de GCP
• Amazon: Guía de inicio rápido de AWS
• Azure: Guía de inicio rápido de AzureML
• Docker: Guía de inicio rápido de Docker

Estado del proyecto#

Esta insignia indica que todas las pruebas de Integración continua (CI) de GitHub Actions de YOLOv5 se superan correctamente. Estas pruebas de CI comprueban rigurosamente la funcionalidad y el rendimiento de YOLOv5 en varios aspectos clave: entrenamiento, validación, inferencia, exportación y benchmarks. Garantizan un funcionamiento uniforme y fiable en macOS, Windows y Ubuntu, con pruebas que se realizan cada 24 horas y con cada nuevo commit.

Preguntas frecuentes#