Visión general de los conjuntos de datos de estimación de poses

Formatos de conjuntos de datos admitidos

Ultralytics YOLO formato

El formato de la etiqueta del conjunto de datos utilizado para entrenar los modelos de pose YOLO es el siguiente:

1. Un archivo de texto por imagen: Cada imagen del conjunto de datos tiene su correspondiente archivo de texto con el mismo nombre que el archivo de imagen y la extensión ".txt".
2. Una fila por objeto: Cada fila del archivo de texto corresponde a una instancia de objeto en la imagen.
3. Información del objeto por fila: Cada fila contiene la siguiente información sobre la instancia del objeto:
   • Índice de clase del objeto: Un número entero que representa la clase del objeto (por ejemplo, 0 para persona, 1 para coche, etc.).
   • Coordenadas del centro del objeto: Las coordenadas x e y del centro del objeto, normalizadas para que estén entre 0 y 1.
   • Anchura y altura del objeto: La anchura y la altura del objeto, normalizadas para que estén entre 0 y 1.
   • Coordenadas de los puntos clave del objeto: Los puntos clave del objeto, normalizados para que estén entre 0 y 1.

He aquí un ejemplo del formato de etiqueta para la tarea de estimación de la pose:

Formato con Dim = 2

<class-index> <x> <y> <width> <height> <px1> <py1> <px2> <py2> ... <pxn> <pyn>

Formato con Dim = 3

<class-index> <x> <y> <width> <height> <px1> <py1> <p1-visibility> <px2> <py2> <p2-visibility> <pxn> <pyn> <p2-visibility>

En este formato, <class-index> es el índice de la clase del objeto,<x> <y> <width> <height> son las coordenadas de la caja delimitadora, y <px1> <py1> <px2> <py2> ... <pxn> <pyn> son las coordenadas en píxeles de los puntos clave. Las coordenadas están separadas por espacios.

Conjunto de datos en formato YAML

El marco Ultralytics utiliza un formato de archivo YAML para definir el conjunto de datos y la configuración del modelo para entrenar Modelos de detección. He aquí un ejemplo del formato YAML utilizado para definir un conjunto de datos de detección:

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/coco8-pose  # dataset root dir
train: images/train  # train images (relative to 'path') 4 images
val: images/val  # val images (relative to 'path') 4 images
test:  # test images (optional)

# Keypoints
kpt_shape: [17, 3]  # number of keypoints, number of dims (2 for x,y or 3 for x,y,visible)
flip_idx: [0, 2, 1, 4, 3, 6, 5, 8, 7, 10, 9, 12, 11, 14, 13, 16, 15]

# Classes dictionary
names:
  0: person

En train y val especifican las rutas a los directorios que contienen las imágenes de entrenamiento y validación, respectivamente.

names es un diccionario de nombres de clases. El orden de los nombres debe coincidir con el orden de los índices de las clases objeto en los archivos del conjunto de datos YOLO .

(Opcional) Si los puntos son simétricos, necesitas flip_idx, como el lado izquierdo-derecho de un humano o de una cara. Por ejemplo, si suponemos cinco puntos clave del punto de referencia facial [ojo izquierdo, ojo derecho, nariz, boca izquierda, boca derecha], y el índice original es [0, 1, 2, 3, 4], entonces flip_idx es [1, 0, 2, 4, 3] (sólo intercambia el índice izquierda-derecha, es decir, 0-1 y 3-4, y no modifiques otros como la nariz en este ejemplo).

Utilización

from ultralytics import YOLO

# Load a model
model = YOLO('yolov8n-pose.pt')  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data='coco8-pose.yaml', epochs=100, imgsz=640)

# Start training from a pretrained *.pt model
yolo detect train data=coco8-pose.yaml model=yolov8n-pose.pt epochs=100 imgsz=640

Conjuntos de datos compatibles

En esta sección se describen los conjuntos de datos compatibles con el formato Ultralytics YOLO y que pueden utilizarse para entrenar modelos de estimación de la pose:

COCO-Pose

• Descripción: COCO-Pose es un conjunto de datos a gran escala de detección de objetos, segmentación y estimación de la pose. Es un subconjunto del popular conjunto de datos COCO y se centra en la estimación de la pose humana. COCO-Pose incluye múltiples puntos clave para cada instancia humana.
• Formato de etiqueta: Igual que el formato Ultralytics YOLO descrito anteriormente, con puntos clave para las poses humanas.
• Número de Clases: 1 (Humano).
• Puntos clave: 17 puntos clave: nariz, ojos, orejas, hombros, codos, muñecas, caderas, rodillas y tobillos.
• Utilización: Adecuado para entrenar modelos de estimación de la pose humana.
• Notas adicionales: El conjunto de datos es rico y diverso, y contiene más de 200.000 imágenes etiquetadas.
• Leer más sobre COCO-Pose

COCO8-Postura

• Descripción: Ultralytics COCO8-Pose es un pequeño pero versátil conjunto de datos de detección de poses compuesto por las 8 primeras imágenes del conjunto COCO train 2017, 4 para entrenamiento y 4 para validación.
• Formato de etiqueta: Igual que el formato Ultralytics YOLO descrito anteriormente, con puntos clave para las poses humanas.
• Número de Clases: 1 (Humano).
• Puntos clave: 17 puntos clave: nariz, ojos, orejas, hombros, codos, muñecas, caderas, rodillas y tobillos.
• Utilización: Adecuado para probar y depurar modelos de detección de objetos, o para experimentar con nuevos enfoques de detección.
• Notas adicionales: COCO8-Pose es ideal para comprobaciones de cordura y comprobaciones de CI.
• Leer más sobre COCO8-Pose

Postura del Tigre

• Descripción: Ultralytics Este conjunto de datos de poses de animales consta de 263 imágenes procedentes de un vídeo de YouTube, con 210 imágenes asignadas para el entrenamiento y 53 para la validación.
• Formato de etiqueta: Igual que el formato Ultralytics YOLO descrito anteriormente, con 12 puntos clave para la pose del animal y sin dimensión visible.
• Número de Clases: 1 (Tigre).
• Puntos clave: 12 puntos clave.
• Utilización: Ideal para poses de animales o cualquier otra pose que no sea humana.
• Leer más sobre la Postura del Tigre

Añadir tu propio conjunto de datos

Si tienes tu propio conjunto de datos y quieres utilizarlo para entrenar modelos de estimación de pose con el formato Ultralytics YOLO , asegúrate de que sigue el formato especificado anteriormente en "Ultralytics YOLO formato". Convierte tus anotaciones al formato requerido y especifica las rutas, el número de clases y los nombres de las clases en el archivo de configuración YAML.

Herramienta de conversión

Ultralytics proporciona una cómoda herramienta de conversión para convertir etiquetas del popular formato de conjunto de datos COCO al formato YOLO :

from ultralytics.data.converter import convert_coco

convert_coco(labels_dir='path/to/coco/annotations/', use_keypoints=True)

Esta herramienta de conversión puede utilizarse para convertir el conjunto de datos COCO o cualquier conjunto de datos en formato COCO al formato Ultralytics YOLO . El formato use_keypoints especifica si se incluyen puntos clave (para la estimación de la pose) en las etiquetas convertidas.

Comentarios