Ensemble de données COCO-Pose

Le jeu de données COCO-Pose est une version spécialisée du jeu de données COCO (Common Objects in Context), conçu pour les tâches d'estimation de la pose. Il exploite les images et les étiquettes de COCO Keypoints 2017 pour permettre l'entraînement de modèles tels que YOLO pour les tâches d'estimation de la pose.

Modèles pré-entraînés COCO-Pose

Caractéristiques principales

• COCO-Pose s'appuie sur l'ensemble de données COCO Keypoints 2017 qui contient 200K images étiquetées avec des points clés pour les tâches d'estimation de la pose.
• L'ensemble de données prend en charge 17 points clés pour les figures humaines, ce qui facilite l'estimation détaillée de la pose.
• Comme COCO, il fournit des mesures d'évaluation standardisées, y compris la similarité des points clés des objets (OKS) pour les tâches d'estimation de la pose, ce qui le rend adapté à la comparaison des performances des modèles.

Structure de l'ensemble de données

L'ensemble de données COCO-Pose est divisé en trois sous-ensembles :

1. Train2017: Ce sous-ensemble contient une partie des 118K images de l'ensemble de données COCO, annotées pour l'entraînement des modèles d'estimation de la pose.
2. Val2017: Ce sous-ensemble comporte une sélection d'images utilisées à des fins de validation pendant l'entraînement du modèle.
3. Test2017: Ce sous-ensemble est constitué d'images utilisées pour tester et étalonner les modèles entraînés. Les annotations de vérité terrain pour ce sous-ensemble ne sont pas accessibles au public, et les résultats sont soumis au serveur d'évaluation COCO pour l'évaluation des performances.

Applications

L'ensemble de données COCO-Pose est spécifiquement utilisé pour former et évaluer les modèles d'apprentissage profond dans les tâches de détection des points clés et d'estimation de la pose, comme OpenPose. Le grand nombre d'images annotées et les métriques d'évaluation normalisées de l'ensemble de données en font une ressource essentielle pour les chercheurs et les praticiens en vision par ordinateur qui se concentrent sur l'estimation de la pose.

Jeu de données YAML

Un fichier YAML (Yet Another Markup Language) est utilisé pour définir la configuration du jeu de données. Il contient des informations sur les chemins d'accès au jeu de données, les classes et d'autres informations pertinentes. Dans le cas du jeu de données COCO-Pose, le fichier YAML est un fichier de configuration. coco-pose.yaml est maintenu à https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/coco-pose.yaml.

# Ultralytics YOLO 🚀, AGPL-3.0 license
# COCO 2017 dataset https://cocodataset.org by Microsoft
# Documentation: https://docs.ultralytics.com/datasets/pose/coco/
# Example usage: yolo train data=coco-pose.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── coco-pose  ← downloads here (20.1 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/coco-pose # dataset root dir
train: train2017.txt # train images (relative to 'path') 118287 images
val: val2017.txt # val images (relative to 'path') 5000 images
test: test-dev2017.txt # 20288 of 40670 images, submit to https://competitions.codalab.org/competitions/20794

# Keypoints
kpt_shape: [17, 3] # number of keypoints, number of dims (2 for x,y or 3 for x,y,visible)
flip_idx: [0, 2, 1, 4, 3, 6, 5, 8, 7, 10, 9, 12, 11, 14, 13, 16, 15]

# Classes
names:
  0: person

# Download script/URL (optional)
download: |
  from ultralytics.utils.downloads import download
  from pathlib import Path

  # Download labels
  dir = Path(yaml['path'])  # dataset root dir
  url = 'https://github.com/ultralytics/yolov5/releases/download/v1.0/'
  urls = [url + 'coco2017labels-pose.zip']  # labels
  download(urls, dir=dir.parent)
  # Download data
  urls = ['http://images.cocodataset.org/zips/train2017.zip',  # 19G, 118k images
          'http://images.cocodataset.org/zips/val2017.zip',  # 1G, 5k images
          'http://images.cocodataset.org/zips/test2017.zip']  # 7G, 41k images (optional)
  download(urls, dir=dir / 'images', threads=3)

Utilisation

Pour entraîner un modèle YOLOv8n-pose sur l'ensemble de données COCO-Pose pendant 100 époques avec une taille d'image de 640, tu peux utiliser les extraits de code suivants. Pour obtenir une liste complète des arguments disponibles, reporte-toi à la page Formation du modèle.

from ultralytics import YOLO

# Load a model
model = YOLO('yolov8n-pose.pt')  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data='coco-pose.yaml', epochs=100, imgsz=640)

# Start training from a pretrained *.pt model
yolo detect train data=coco-pose.yaml model=yolov8n.pt epochs=100 imgsz=640

Exemples d'images et d'annotations

L'ensemble de données COCO-Pose contient un ensemble varié d'images avec des figures humaines annotées avec des points clés. Voici quelques exemples d'images tirées de l'ensemble de données, ainsi que les annotations correspondantes :

• Image mosaïque: Cette image montre un lot d'entraînement composé d'images de données mosaïquées. La mosaïque est une technique utilisée pendant la formation qui combine plusieurs images en une seule afin d'augmenter la variété d'objets et de scènes dans chaque lot de formation. Cela permet d'améliorer la capacité du modèle à s'adapter à différentes tailles d'objets, à différents rapports d'aspect et à différents contextes.

L'exemple montre la variété et la complexité des images de l'ensemble de données COCO-Pose et les avantages de l'utilisation du mosaïquage pendant le processus de formation.

Citations et remerciements

Si tu utilises l'ensemble de données COCO-Pose dans tes travaux de recherche ou de développement, cite l'article suivant :

@misc{lin2015microsoft,
      title={Microsoft COCO: Common Objects in Context},
      author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr Dollár},
      year={2015},
      eprint={1405.0312},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Nous tenons à remercier le Consortium COCO pour avoir créé et maintenu cette ressource précieuse pour la communauté de la vision par ordinateur. Pour plus d'informations sur l'ensemble de données COCO-Pose et ses créateurs, visite le site Web de l'ensemble de données COCO.

Commentaires