Poda de modelos y dispersión en YOLOv5

📚 Esta guía explica cómo aplicar la poda a los modelos YOLOv5 🚀 para crear redes más eficientes manteniendo el rendimiento.

¿Qué es la poda modelo?

La poda de modelos es una técnica utilizada para reducir el tamaño y la complejidad de las redes neuronales eliminando los parámetros menos importantes (pesos y conexiones). Este proceso crea un modelo más eficiente con varias ventajas:

Modelo de tamaño reducido para facilitar la implantación en dispositivos con recursos limitados.
Mayor velocidad de inferencia con un impacto mínimo en la precisión
Menor uso de memoria y consumo de energía
Mejora de la eficacia global de las aplicaciones en tiempo real

La poda consiste en identificar y eliminar los parámetros que contribuyen mínimamente al rendimiento del modelo, lo que da lugar a un modelo más ligero con una precisión similar.

Antes de empezar

Clonar repo e instalar requirements.txt en a Python>=3.8.0 incluyendo PyTorch>=1.8. Los modelos y conjuntos de datos se descargan automáticamente de la últimaversión de YOLOv5 .

git clone https://github.com/ultralytics/yolov5 # clone
cd yolov5
pip install -r requirements.txt # install

Prueba de rendimiento de referencia

Antes de podar, establezca un rendimiento de referencia con el que comparar. Este comando prueba YOLOv5x en COCO val2017 con un tamaño de imagen de 640 píxeles. yolov5x.pt es el modelo más grande y preciso disponible. Otras opciones son yolov5s.pt, yolov5m.pt y yolov5l.pto su propio punto de control a partir del entrenamiento de un conjunto de datos personalizado ./weights/best.pt. Para más información sobre todos los modelos disponibles, consulte el archivo README tabla.

python val.py --weights yolov5x.pt --data coco.yaml --img 640 --half

Salida:

val: data=/content/yolov5/data/coco.yaml, weights=['yolov5x.pt'], batch_size=32, imgsz=640, conf_thres=0.001, iou_thres=0.65, task=val, device=, workers=8, single_cls=False, augment=False, verbose=False, save_txt=False, save_hybrid=False, save_conf=False, save_json=True, project=runs/val, name=exp, exist_ok=False, half=True, dnn=False
YOLOv5 🚀 v6.0-224-g4c40933 torch 1.10.0+cu111 CUDA:0 (Tesla V100-SXM2-16GB, 16160MiB)

Fusing layers...
Model Summary: 444 layers, 86705005 parameters, 0 gradients
val: Scanning '/content/datasets/coco/val2017.cache' images and labels... 4952 found, 48 missing, 0 empty, 0 corrupt: 100% 5000/5000 [00:00<?, ?it/s]
               Class     Images     Labels          P          R     mAP@.5 mAP@.5:.95: 100% 157/157 [01:12<00:00,  2.16it/s]
                 all       5000      36335      0.732      0.628      0.683      0.496
Speed: 0.1ms pre-process, 5.2ms inference, 1.7ms NMS per image at shape (32, 3, 640, 640)  # <--- base speed

Evaluating pycocotools mAP... saving runs/val/exp2/yolov5x_predictions.json...
...
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.507  # <--- base mAP
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.689
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.552
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.345
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.559
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.652
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.381
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.630
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.682
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.526
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.731
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.829
Results saved to runs/val/exp

Aplicar poda a YOLOv5x (30% de dispersión)

Podemos aplicar la poda al modelo utilizando la función torch_utils.prune() comando. Para probar un modelo podado, actualizamos val.py para reducir YOLOv5x a una dispersión de 0,3 (30% de los pesos a cero):

Captura de pantalla de la poda de YOLOv5x al 30% de dispersión

30% de producción podada:

val: data=/content/yolov5/data/coco.yaml, weights=['yolov5x.pt'], batch_size=32, imgsz=640, conf_thres=0.001, iou_thres=0.65, task=val, device=, workers=8, single_cls=False, augment=False, verbose=False, save_txt=False, save_hybrid=False, save_conf=False, save_json=True, project=runs/val, name=exp, exist_ok=False, half=True, dnn=False
YOLOv5 🚀 v6.0-224-g4c40933 torch 1.10.0+cu111 CUDA:0 (Tesla V100-SXM2-16GB, 16160MiB)

Fusing layers...
Model Summary: 444 layers, 86705005 parameters, 0 gradients
Pruning model...  0.3 global sparsity
val: Scanning '/content/datasets/coco/val2017.cache' images and labels... 4952 found, 48 missing, 0 empty, 0 corrupt: 100% 5000/5000 [00:00<?, ?it/s]
               Class     Images     Labels          P          R     mAP@.5 mAP@.5:.95: 100% 157/157 [01:11<00:00,  2.19it/s]
                 all       5000      36335      0.724      0.614      0.671      0.478
Speed: 0.1ms pre-process, 5.2ms inference, 1.7ms NMS per image at shape (32, 3, 640, 640)  # <--- prune speed

Evaluating pycocotools mAP... saving runs/val/exp3/yolov5x_predictions.json...
...
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.489  # <--- prune mAP
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.677
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.537
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.334
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.542
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.635
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.370
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.612
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.664
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.496
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.722
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.803
Results saved to runs/val/exp3

Análisis de resultados

A partir de los resultados, podemos observar:

30% de dispersión alcanzada: 30% de los parámetros de peso del modelo en nn.Conv2d capas son ahora cero
El tiempo de inferencia no cambia: A pesar de la poda, la velocidad de procesamiento es esencialmente la misma
Impacto mínimo en el rendimiento: el mAP se redujo ligeramente de 0,507 a 0,489 (sólo un 3,6% de reducción).
Reducción del tamaño del modelo: El modelo podado requiere menos memoria para su almacenamiento

Esto demuestra que la poda puede reducir significativamente la complejidad del modelo con un impacto menor en el rendimiento, lo que la convierte en una técnica de optimización eficaz para su despliegue en entornos con recursos limitados.

Ajuste de los modelos podados

Para obtener mejores resultados, los modelos podados deben afinarse después de la poda para recuperar la precisión. Para ello:

Aplicación de la poda con el nivel de dispersión deseado
Entrenamiento del modelo podado durante unas pocas épocas con una tasa de aprendizaje más baja.
Evaluación del modelo podado y ajustado frente al modelo de referencia

Este proceso ayuda a los parámetros restantes a adaptarse para compensar las conexiones eliminadas, recuperando a menudo la mayor parte o la totalidad de la precisión original.

Entornos compatibles

Ultralytics proporciona una serie de entornos listos para usar, cada uno de ellos preinstalado con dependencias esenciales como CUDA CUDNN, Pythony PyTorchpara poner en marcha sus proyectos.

Cuadernos gratuitos GPU:
Google Nube: Guía de inicio rápido de GCP
Amazon: Guía de inicio rápido de AWS
Azure: Guía de inicio rápido de AzureML
Docker: Guía de inicio rápido de Docker

Estado del proyecto

Este distintivo indica que todas las pruebas de integración continua (IC) deYOLOv5 GitHub Actions se han superado con éxito. Estas pruebas de IC comprueban rigurosamente la funcionalidad y el rendimiento de YOLOv5 en varios aspectos clave: formación, validación, inferencia, exportación y puntos de referencia. Garantizan un funcionamiento coherente y fiable en macOS, Windows y Ubuntu, con pruebas realizadas cada 24 horas y en cada nueva confirmación.

Creado hace 1 año ✏️ Actualizado hace 15 días