Conjunto de datos COCO-Pose

El conjunto de datos COCO-Pose es una versión especializada del conjunto de datos COCO (Common Objects in Context), diseñado para tareas de estimación de la pose. Aprovecha las imágenes y etiquetas de COCO Keypoints 2017 para permitir el entrenamiento de modelos como YOLO para tareas de estimación de la pose.

Modelos preentrenados COCO-Pose

Características principales

• COCO-Pose se basa en el conjunto de datos COCO Keypoints 2017, que contiene 200 000 imágenes etiquetadas con puntos clave para tareas de estimación de la pose.
• El conjunto de datos admite 17 puntos clave para figuras humanas, lo que facilita la estimación detallada de la pose.
• Al igual que COCO, proporciona métricas de evaluación estandarizadas, incluida la similitud de puntos clave de objetos (Object Keypoint Similarity, OKS) para tareas de estimación de la pose, lo que lo hace adecuado para comparar el rendimiento de los modelos.

Estructura del conjunto de datos

El conjunto de datos COCO-Pose se divide en tres subconjuntos:

1. Train2017: Este subconjunto contiene una parte de las 118 000 imágenes del conjunto de datos COCO, anotadas para el entrenamiento de modelos de estimación de la pose.
2. Val2017: Este subconjunto contiene una selección de imágenes utilizadas con fines de validación durante el entrenamiento del modelo.
3. Prueba2017: Este subconjunto consta de imágenes utilizadas para probar y evaluar comparativamente los modelos entrenados. Las anotaciones de la verdad sobre el terreno para este subconjunto no están disponibles públicamente, y los resultados se envían al servidor de evaluación COCO para evaluar el rendimiento.

Aplicaciones

El conjunto de datos COCO-Pose se utiliza específicamente para entrenar y evaluar modelos de aprendizaje profundo en tareas de detección de puntos clave y estimación de poses, como OpenPose. El gran número de imágenes anotadas del conjunto de datos y las métricas de evaluación estandarizadas lo convierten en un recurso esencial para los investigadores y profesionales de la visión por ordenador centrados en la estimación de la pose.

Conjunto de datos YAML

Para definir la configuración del conjunto de datos se utiliza un archivo YAML (Yet Another Markup Language). Contiene información sobre las rutas del conjunto de datos, las clases y otra información relevante. En el caso del conjunto de datos COCO-Pose, el archivo coco-pose.yaml se mantiene en https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/coco-pose.yaml.

# Ultralytics YOLO 🚀, AGPL-3.0 license
# COCO 2017 dataset https://cocodataset.org by Microsoft
# Documentation: https://docs.ultralytics.com/datasets/pose/coco/
# Example usage: yolo train data=coco-pose.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── coco-pose  ← downloads here (20.1 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/coco-pose # dataset root dir
train: train2017.txt # train images (relative to 'path') 118287 images
val: val2017.txt # val images (relative to 'path') 5000 images
test: test-dev2017.txt # 20288 of 40670 images, submit to https://competitions.codalab.org/competitions/20794

# Keypoints
kpt_shape: [17, 3] # number of keypoints, number of dims (2 for x,y or 3 for x,y,visible)
flip_idx: [0, 2, 1, 4, 3, 6, 5, 8, 7, 10, 9, 12, 11, 14, 13, 16, 15]

# Classes
names:
  0: person

# Download script/URL (optional)
download: |
  from ultralytics.utils.downloads import download
  from pathlib import Path

  # Download labels
  dir = Path(yaml['path'])  # dataset root dir
  url = 'https://github.com/ultralytics/assets/releases/download/v0.0.0/'
  urls = [url + 'coco2017labels-pose.zip']  # labels
  download(urls, dir=dir.parent)
  # Download data
  urls = ['http://images.cocodataset.org/zips/train2017.zip',  # 19G, 118k images
          'http://images.cocodataset.org/zips/val2017.zip',  # 1G, 5k images
          'http://images.cocodataset.org/zips/test2017.zip']  # 7G, 41k images (optional)
  download(urls, dir=dir / 'images', threads=3)

Utilización

Para entrenar un modelo YOLO11n-pose en el conjunto de datos COCO-Pose durante 100 épocas con un tamaño de imagen de 640, puede utilizar los siguientes fragmentos de código. Para obtener una lista completa de los argumentos disponibles, consulte la página de entrenamiento del modelo.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo11n-pose.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="coco-pose.yaml", epochs=100, imgsz=640)

# Start training from a pretrained *.pt model
yolo pose train data=coco-pose.yaml model=yolo11n-pose.pt epochs=100 imgsz=640

Ejemplos de imágenes y anotaciones

El conjunto de datos COCO-Pose contiene un variado conjunto de imágenes con figuras humanas anotadas con puntos clave. A continuación se muestran algunos ejemplos de imágenes del conjunto de datos, junto con sus correspondientes anotaciones:

• Imagen en mosaico: Esta imagen muestra un lote de entrenamiento compuesto por imágenes del conjunto de datos en mosaico. El mosaico es una técnica utilizada durante el entrenamiento que combina varias imágenes en una sola para aumentar la variedad de objetos y escenas dentro de cada lote de entrenamiento. Esto ayuda a mejorar la capacidad del modelo para generalizar a diferentes tamaños de objetos, relaciones de aspecto y contextos.

El ejemplo muestra la variedad y complejidad de las imágenes del conjunto de datos COCO-Pose y las ventajas de utilizar mosaicos durante el proceso de entrenamiento.

Citas y agradecimientos

Si utiliza el conjunto de datos COCO-Pose en su trabajo de investigación o desarrollo, cite el siguiente documento:

@misc{lin2015microsoft,
      title={Microsoft COCO: Common Objects in Context},
      author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr Dollár},
      year={2015},
      eprint={1405.0312},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Queremos agradecer al Consorcio COCO la creación y el mantenimiento de este valioso recurso para la comunidad de visión por ordenador. Para más información sobre el conjunto de datos COCO-Pose y sus creadores, visite el sitio web del conjunto de datos COCO.

PREGUNTAS FRECUENTES

¿Qué es el conjunto de datos COCO-Pose y cómo se utiliza con Ultralytics YOLO para la estimación de la pose?

El conjunto de datos COCO-Pose es una versión especializada del conjunto de datos COCO (Common Objects in Context) diseñada para tareas de estimación de la pose. Se basa en las imágenes y anotaciones de COCO Keypoints 2017, lo que permite entrenar modelos como Ultralytics YOLO para una estimación detallada de la pose. Por ejemplo, puede utilizar el conjunto de datos COCO-Pose para entrenar un modelo YOLO11n-pose cargando un modelo preentrenado y entrenándolo con una configuración YAML. Para ver ejemplos de entrenamiento, consulte la documentación de entrenamiento.

¿Cómo puedo entrenar un modelo YOLO11 en el conjunto de datos COCO-Pose?

El entrenamiento de un modelo YOLO11 en el conjunto de datos COCO-Pose puede realizarse utilizando los comandos Python o CLI . Por ejemplo, para entrenar un modelo YOLO11n-pose durante 100 épocas con un tamaño de imagen de 640, puede seguir los pasos que se indican a continuación:

from ultralytics import YOLO

# Load a model
model = YOLO("yolo11n-pose.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="coco-pose.yaml", epochs=100, imgsz=640)

# Start training from a pretrained *.pt model
yolo pose train data=coco-pose.yaml model=yolo11n-pose.pt epochs=100 imgsz=640

Para más detalles sobre el proceso de formación y los argumentos disponibles, consulte la página de formación.

¿Cuáles son las diferentes métricas que ofrece el conjunto de datos COCO-Pose para evaluar el rendimiento del modelo?

El conjunto de datos COCO-Pose proporciona varias métricas de evaluación estandarizadas para tareas de estimación de la pose, similares al conjunto de datos COCO original. Entre las métricas clave se incluye la similitud de los puntos clave de los objetos (OKS), que evalúa la precisión de los puntos clave predichos con respecto a las anotaciones reales. Estas métricas permiten realizar comparaciones exhaustivas de rendimiento entre distintos modelos. Por ejemplo, los modelos COCO-Pose preentrenados, como YOLO11n-pose, YOLO11s-pose y otros, tienen métricas de rendimiento específicas enumeradas en la documentación, como ^mAPpose50-95y ^mAPpose50.

¿Cómo se estructura y divide el conjunto de datos COCO-Pose?

El conjunto de datos COCO-Pose se divide en tres subconjuntos:

1. Tren2017: Contiene una parte de las 118 000 imágenes COCO, anotadas para el entrenamiento de modelos de estimación de la pose.
2. Val2017: Imágenes seleccionadas con fines de validación durante el entrenamiento del modelo.
3. Prueba2017: Imágenes utilizadas para probar y evaluar modelos entrenados. Las anotaciones de la verdad sobre el terreno para este subconjunto no están disponibles públicamente; los resultados se envían al servidor de evaluación COCO para evaluar el rendimiento.

Estos subconjuntos ayudan a organizar eficazmente las fases de entrenamiento, validación y prueba. Para más detalles sobre la configuración, consulte la página coco-pose.yaml disponible en GitHub.

¿Cuáles son las principales características y aplicaciones del conjunto de datos COCO-Pose?

El conjunto de datos COCO-Pose amplía las anotaciones de COCO Keypoints 2017 para incluir 17 puntos clave de figuras humanas, lo que permite una estimación detallada de la pose. Las métricas de evaluación estandarizadas (por ejemplo, OKS) facilitan las comparaciones entre distintos modelos. Las aplicaciones del conjunto de datos COCO-Pose abarcan diversos ámbitos, como la analítica deportiva, la atención sanitaria y la interacción persona-ordenador, siempre que se requiera una estimación detallada de la pose de las figuras humanas. En la práctica, el uso de modelos preentrenados como los que se incluyen en la documentación (por ejemplo, YOLO11n-pose) puede agilizar considerablemente el proceso(Características principales).

Si utiliza el conjunto de datos COCO-Pose en su trabajo de investigación o desarrollo, cite el artículo con la siguiente entrada BibTeX.

Creado hace 1 año ✏️ Actualizado hace 2 meses

Comentarios