Saltar al contenido

Conjunto de datos COCO-Pose

El conjunto de datos COCO-Pose es una versi贸n especializada del conjunto de datos COCO (Objetos Comunes en Contexto), dise帽ado para tareas de estimaci贸n de la pose. Aprovecha las im谩genes y etiquetas de COCO Keypoints 2017 para permitir el entrenamiento de modelos como YOLO para tareas de estimaci贸n de la pose.

Imagen de muestra de pose

Modelos preentrenados COCO-Pose

Modelo tama帽o
(p铆xeles)
mAPpose
50-95
mAPpose
50
Velocidad
CPU ONNX
(ms)
Velocidad
A100 TensorRT
(ms)
par谩metros
(M)
FLOPs
(B)
YOLOv8n-pose 640 50.4 80.1 131.8 1.18 3.3 9.2
YOLOv8s-pose 640 60.0 86.2 233.2 1.42 11.6 30.2
YOLOv8m-pose 640 65.0 88.8 456.3 2.00 26.4 81.0
YOLOv8l-pose 640 67.6 90.0 784.5 2.59 44.4 168.6
YOLOv8x-pose 640 69.2 90.2 1607.1 3.73 69.4 263.2
YOLOv8x-pose-p6 1280 71.6 91.2 4088.7 10.04 99.1 1066.4

Caracter铆sticas principales

  • COCO-Pose se basa en el conjunto de datos COCO Keypoints 2017, que contiene 200.000 im谩genes etiquetadas con puntos clave para tareas de estimaci贸n de la pose.
  • El conjunto de datos admite 17 puntos clave para figuras humanas, lo que facilita la estimaci贸n detallada de la pose.
  • Al igual que COCO, proporciona m茅tricas de evaluaci贸n estandarizadas, incluida la similitud de puntos clave de objetos (OKS) para las tareas de estimaci贸n de la pose, lo que la hace adecuada para comparar el rendimiento de los modelos.

Estructura del conjunto de datos

El conjunto de datos COCO-Pose se divide en tres subconjuntos:

  1. Tren2017: Este subconjunto contiene una parte de las 118.000 im谩genes del conjunto de datos COCO, anotadas para el entrenamiento de los modelos de estimaci贸n de la pose.
  2. Val2017: Este subconjunto tiene una selecci贸n de im谩genes utilizadas con fines de validaci贸n durante el entrenamiento del modelo.
  3. Prueba2017: Este subconjunto consta de im谩genes utilizadas para probar y evaluar comparativamente los modelos entrenados. Las anotaciones de la verdad sobre el terreno para este subconjunto no est谩n disponibles p煤blicamente, y los resultados se env铆an al servidor de evaluaci贸n COCO para evaluar el rendimiento.

Aplicaciones

El conjunto de datos COCO-Pose se utiliza espec铆ficamente para entrenar y evaluar modelos de aprendizaje profundo en tareas de detecci贸n de puntos clave y estimaci贸n de poses, como OpenPose. El gran n煤mero de im谩genes anotadas del conjunto de datos y las m茅tricas de evaluaci贸n estandarizadas lo convierten en un recurso esencial para los investigadores y profesionales de la visi贸n por ordenador centrados en la estimaci贸n de la pose.

Conjunto de datos YAML

Se utiliza un archivo YAML (Yet Another Markup Language) para definir la configuraci贸n del conjunto de datos. Contiene informaci贸n sobre las rutas del conjunto de datos, las clases y otra informaci贸n relevante. En el caso del conjunto de datos COCO-Pose, el archivo coco-pose.yaml se mantiene en https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/coco-pose.yaml.

ultralytics/cfg/datasets/coco-pose.yaml

# Ultralytics YOLO 馃殌, AGPL-3.0 license
# COCO 2017 dataset https://cocodataset.org by Microsoft
# Documentation: https://docs.ultralytics.com/datasets/pose/coco/
# Example usage: yolo train data=coco-pose.yaml
# parent
# 鈹溾攢鈹 ultralytics
# 鈹斺攢鈹 datasets
#     鈹斺攢鈹 coco-pose  鈫 downloads here (20.1 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/coco-pose # dataset root dir
train: train2017.txt # train images (relative to 'path') 118287 images
val: val2017.txt # val images (relative to 'path') 5000 images
test: test-dev2017.txt # 20288 of 40670 images, submit to https://competitions.codalab.org/competitions/20794

# Keypoints
kpt_shape: [17, 3] # number of keypoints, number of dims (2 for x,y or 3 for x,y,visible)
flip_idx: [0, 2, 1, 4, 3, 6, 5, 8, 7, 10, 9, 12, 11, 14, 13, 16, 15]

# Classes
names:
  0: person

# Download script/URL (optional)
download: |
  from ultralytics.utils.downloads import download
  from pathlib import Path

  # Download labels
  dir = Path(yaml['path'])  # dataset root dir
  url = 'https://github.com/ultralytics/yolov5/releases/download/v1.0/'
  urls = [url + 'coco2017labels-pose.zip']  # labels
  download(urls, dir=dir.parent)
  # Download data
  urls = ['http://images.cocodataset.org/zips/train2017.zip',  # 19G, 118k images
          'http://images.cocodataset.org/zips/val2017.zip',  # 1G, 5k images
          'http://images.cocodataset.org/zips/test2017.zip']  # 7G, 41k images (optional)
  download(urls, dir=dir / 'images', threads=3)

Utilizaci贸n

Para entrenar un modelo YOLOv8n-pose en el conjunto de datos COCO-Pose durante 100 茅pocas con un tama帽o de imagen de 640, puedes utilizar los siguientes fragmentos de c贸digo. Para obtener una lista completa de los argumentos disponibles, consulta la p谩gina Entrenamiento del modelo.

Ejemplo de tren

from ultralytics import YOLO

# Load a model
model = YOLO("yolov8n-pose.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="coco-pose.yaml", epochs=100, imgsz=640)
# Start training from a pretrained *.pt model
yolo detect train data=coco-pose.yaml model=yolov8n.pt epochs=100 imgsz=640

Ejemplos de im谩genes y anotaciones

El conjunto de datos COCO-Pose contiene un variado conjunto de im谩genes con figuras humanas anotadas con puntos clave. Aqu铆 tienes algunos ejemplos de im谩genes del conjunto de datos, junto con sus correspondientes anotaciones:

Imagen de muestra del conjunto de datos

  • Imagen en mosaico: Esta imagen muestra un lote de entrenamiento compuesto por im谩genes del conjunto de datos en mosaico. El mosaico es una t茅cnica utilizada durante el entrenamiento que combina varias im谩genes en una sola para aumentar la variedad de objetos y escenas dentro de cada lote de entrenamiento. Esto ayuda a mejorar la capacidad del modelo para generalizarse a diferentes tama帽os de objetos, relaciones de aspecto y contextos.

El ejemplo muestra la variedad y complejidad de las im谩genes del conjunto de datos COCO-Pose y las ventajas de utilizar mosaicos durante el proceso de entrenamiento.

Citas y agradecimientos

Si utilizas el conjunto de datos COCO-Pose en tu trabajo de investigaci贸n o desarrollo, cita el siguiente documento:

@misc{lin2015microsoft,
      title={Microsoft COCO: Common Objects in Context},
      author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr Doll谩r},
      year={2015},
      eprint={1405.0312},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Queremos agradecer al Consorcio COCO la creaci贸n y el mantenimiento de este valioso recurso para la comunidad de visi贸n por ordenador. Para m谩s informaci贸n sobre el conjunto de datos COCO-Pose y sus creadores, visita el sitio web del conjunto de datos COCO.



Creado 2023-11-12, Actualizado 2024-05-18
Autores: glenn-jocher (5), RizwanMunawar (1), Laughing-q (1)

Comentarios