Conjunto de datos COCO-Pose

El conjunto de datos COCO-Pose es una versión especializada del conjunto de datos COCO (Objetos Comunes en Contexto), diseñado para tareas de estimación de la pose. Aprovecha las imágenes y etiquetas de COCO Keypoints 2017 para permitir el entrenamiento de modelos como YOLO para tareas de estimación de la pose.

Modelos preentrenados COCO-Pose

Características principales

• COCO-Pose se basa en el conjunto de datos COCO Keypoints 2017, que contiene 200.000 imágenes etiquetadas con puntos clave para tareas de estimación de la pose.
• El conjunto de datos admite 17 puntos clave para figuras humanas, lo que facilita la estimación detallada de la pose.
• Al igual que COCO, proporciona métricas de evaluación estandarizadas, incluida la similitud de puntos clave de objetos (OKS) para las tareas de estimación de la pose, lo que la hace adecuada para comparar el rendimiento de los modelos.

Estructura del conjunto de datos

El conjunto de datos COCO-Pose se divide en tres subconjuntos:

1. Tren2017: Este subconjunto contiene una parte de las 118.000 imágenes del conjunto de datos COCO, anotadas para el entrenamiento de los modelos de estimación de la pose.
2. Val2017: Este subconjunto tiene una selección de imágenes utilizadas con fines de validación durante el entrenamiento del modelo.
3. Prueba2017: Este subconjunto consta de imágenes utilizadas para probar y evaluar comparativamente los modelos entrenados. Las anotaciones de la verdad sobre el terreno para este subconjunto no están disponibles públicamente, y los resultados se envían al servidor de evaluación COCO para evaluar el rendimiento.

Aplicaciones

El conjunto de datos COCO-Pose se utiliza específicamente para entrenar y evaluar modelos de aprendizaje profundo en tareas de detección de puntos clave y estimación de poses, como OpenPose. El gran número de imágenes anotadas del conjunto de datos y las métricas de evaluación estandarizadas lo convierten en un recurso esencial para los investigadores y profesionales de la visión por ordenador centrados en la estimación de la pose.

Conjunto de datos YAML

Se utiliza un archivo YAML (Yet Another Markup Language) para definir la configuración del conjunto de datos. Contiene información sobre las rutas del conjunto de datos, las clases y otra información relevante. En el caso del conjunto de datos COCO-Pose, el archivo coco-pose.yaml se mantiene en https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/coco-pose.yaml.

# Ultralytics YOLO 🚀, AGPL-3.0 license
# COCO 2017 dataset https://cocodataset.org by Microsoft
# Documentation: https://docs.ultralytics.com/datasets/pose/coco/
# Example usage: yolo train data=coco-pose.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── coco-pose  ← downloads here (20.1 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/coco-pose # dataset root dir
train: train2017.txt # train images (relative to 'path') 118287 images
val: val2017.txt # val images (relative to 'path') 5000 images
test: test-dev2017.txt # 20288 of 40670 images, submit to https://competitions.codalab.org/competitions/20794

# Keypoints
kpt_shape: [17, 3] # number of keypoints, number of dims (2 for x,y or 3 for x,y,visible)
flip_idx: [0, 2, 1, 4, 3, 6, 5, 8, 7, 10, 9, 12, 11, 14, 13, 16, 15]

# Classes
names:
  0: person

# Download script/URL (optional)
download: |
  from ultralytics.utils.downloads import download
  from pathlib import Path

  # Download labels
  dir = Path(yaml['path'])  # dataset root dir
  url = 'https://github.com/ultralytics/assets/releases/download/v0.0.0/'
  urls = [url + 'coco2017labels-pose.zip']  # labels
  download(urls, dir=dir.parent)
  # Download data
  urls = ['http://images.cocodataset.org/zips/train2017.zip',  # 19G, 118k images
          'http://images.cocodataset.org/zips/val2017.zip',  # 1G, 5k images
          'http://images.cocodataset.org/zips/test2017.zip']  # 7G, 41k images (optional)
  download(urls, dir=dir / 'images', threads=3)

Utilización

Para entrenar un modelo YOLOv8n-pose en el conjunto de datos COCO-Pose durante 100 épocas con un tamaño de imagen de 640, puedes utilizar los siguientes fragmentos de código. Para obtener una lista completa de los argumentos disponibles, consulta la página Entrenamiento del modelo.

from ultralytics import YOLO

# Load a model
model = YOLO("yolov8n-pose.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="coco-pose.yaml", epochs=100, imgsz=640)

# Start training from a pretrained *.pt model
yolo detect train data=coco-pose.yaml model=yolov8n-pose.pt epochs=100 imgsz=640

Ejemplos de imágenes y anotaciones

El conjunto de datos COCO-Pose contiene un variado conjunto de imágenes con figuras humanas anotadas con puntos clave. Aquí tienes algunos ejemplos de imágenes del conjunto de datos, junto con sus correspondientes anotaciones:

• Imagen en mosaico: Esta imagen muestra un lote de entrenamiento compuesto por imágenes del conjunto de datos en mosaico. El mosaico es una técnica utilizada durante el entrenamiento que combina varias imágenes en una sola para aumentar la variedad de objetos y escenas dentro de cada lote de entrenamiento. Esto ayuda a mejorar la capacidad del modelo para generalizarse a diferentes tamaños de objetos, relaciones de aspecto y contextos.

El ejemplo muestra la variedad y complejidad de las imágenes del conjunto de datos COCO-Pose y las ventajas de utilizar mosaicos durante el proceso de entrenamiento.

Citas y agradecimientos

Si utilizas el conjunto de datos COCO-Pose en tu trabajo de investigación o desarrollo, cita el siguiente documento:

@misc{lin2015microsoft,
      title={Microsoft COCO: Common Objects in Context},
      author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr Dollár},
      year={2015},
      eprint={1405.0312},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Queremos agradecer al Consorcio COCO la creación y el mantenimiento de este valioso recurso para la comunidad de visión por ordenador. Para más información sobre el conjunto de datos COCO-Pose y sus creadores, visita el sitio web del conjunto de datos COCO.

PREGUNTAS FRECUENTES

¿Qué es el conjunto de datos COCO-Pose y cómo se utiliza con Ultralytics YOLO para la estimación de la pose?

El conjunto de datos COCO-Pose es una versión especializada del conjunto de datos COCO (Objetos Comunes en Contexto) diseñada para tareas de estimación de la pose. Se basa en las imágenes y anotaciones de COCO Keypoints 2017, lo que permite entrenar modelos como Ultralytics YOLO para la estimación detallada de la pose. Por ejemplo, puedes utilizar el conjunto de datos COCO-Pose para entrenar un modelo YOLOv8n-pose cargando un modelo preentrenado y entrenándolo con una configuración YAML. Para ver ejemplos de entrenamiento, consulta la documentación Entrenamiento.

¿Cómo puedo entrenar un modelo YOLOv8 con el conjunto de datos COCO-Pose?

El entrenamiento de un modelo YOLOv8 en el conjunto de datos COCO-Pose puede realizarse utilizando los comandos Python o CLI . Por ejemplo, para entrenar un modelo YOLOv8n-pose durante 100 épocas con un tamaño de imagen de 640, puedes seguir los pasos que se indican a continuación:

from ultralytics import YOLO

# Load a model
model = YOLO("yolov8n-pose.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="coco-pose.yaml", epochs=100, imgsz=640)

# Start training from a pretrained *.pt model
yolo detect train data=coco-pose.yaml model=yolov8n.pt epochs=100 imgsz=640

Para más detalles sobre el proceso de formación y los argumentos disponibles, consulta la página de formación.

¿Cuáles son las diferentes métricas que proporciona el conjunto de datos COCO-Pose para evaluar el rendimiento del modelo?

El conjunto de datos COCO-Pose proporciona varias métricas de evaluación estandarizadas para las tareas de estimación de la pose, similares al conjunto de datos COCO original. Entre las métricas clave se incluye la similitud de los puntos clave del objeto (OKS), que evalúa la precisión de los puntos clave predichos frente a las anotaciones de la verdad sobre el terreno. Estas métricas permiten realizar comparaciones exhaustivas de rendimiento entre distintos modelos. Por ejemplo, los modelos COCO-Pose preentrenados, como YOLOv8n-pose, YOLOv8s-pose, y otros, tienen métricas de rendimiento específicas enumeradas en la documentación, como ^mAPpose50-95y ^mAPpose50.

¿Cómo está estructurado y dividido el conjunto de datos COCO-Pose?

El conjunto de datos COCO-Pose se divide en tres subconjuntos:

1. Tren2017: Contiene una parte de las 118.000 imágenes COCO, anotadas para el entrenamiento de los modelos de estimación de la pose.
2. Val2017: Imágenes seleccionadas con fines de validación durante el entrenamiento del modelo.
3. Prueba2017: Imágenes utilizadas para probar y comparar modelos entrenados. Las anotaciones de la verdad sobre el terreno para este subconjunto no están disponibles públicamente; los resultados se envían al servidor de evaluación COCO para evaluar el rendimiento.

Estos subconjuntos ayudan a organizar eficazmente las fases de entrenamiento, validación y prueba. Para más detalles sobre la configuración, explora el coco-pose.yaml disponible en GitHub.

¿Cuáles son las principales características y aplicaciones del conjunto de datos COCO-Pose?

El conjunto de datos COCO-Pose amplía las anotaciones de COCO Keypoints 2017 para incluir 17 puntos clave de figuras humanas, lo que permite una estimación detallada de la pose. Las métricas de evaluación estandarizadas (por ejemplo, OKS) facilitan las comparaciones entre distintos modelos. Las aplicaciones del conjunto de datos COCO-Pose abarcan diversos ámbitos, como la analítica deportiva, la asistencia sanitaria y la interacción persona-ordenador, siempre que se requiera una estimación detallada de la pose de las figuras humanas. Para un uso práctico, aprovechar modelos preentrenados como los que se proporcionan en la documentación (por ejemplo, YOLOv8n-pose) puede agilizar considerablemente el proceso(Características principales).

Si utilizas el conjunto de datos COCO-Pose en tu trabajo de investigación o desarrollo, cita el artículo con la siguiente entrada BibTeX.

Comentarios