Ensemble de données COCO-Pose

Le jeu de données COCO-Pose est une version spécialisée du jeu de données COCO (Common Objects in Context), conçu pour les tâches d'estimation de la pose. Il exploite les images et les étiquettes de COCO Keypoints 2017 pour permettre l'entraînement de modèles tels que YOLO pour les tâches d'estimation de la pose.

Modèles pré-entraînés COCO-Pose

Caractéristiques principales

• COCO-Pose s'appuie sur l'ensemble de données COCO Keypoints 2017 qui contient 200K images étiquetées avec des points clés pour les tâches d'estimation de la pose.
• L'ensemble de données prend en charge 17 points clés pour les figures humaines, ce qui facilite l'estimation détaillée de la pose.
• Comme COCO, il fournit des mesures d'évaluation standardisées, y compris la similarité des points clés des objets (OKS) pour les tâches d'estimation de la pose, ce qui le rend adapté à la comparaison des performances des modèles.

Structure de l'ensemble de données

L'ensemble de données COCO-Pose est divisé en trois sous-ensembles :

1. Train2017: Ce sous-ensemble contient une partie des 118K images de l'ensemble de données COCO, annotées pour l'entraînement des modèles d'estimation de la pose.
2. Val2017: Ce sous-ensemble comporte une sélection d'images utilisées à des fins de validation pendant l'entraînement du modèle.
3. Test2017: Ce sous-ensemble est constitué d'images utilisées pour tester et étalonner les modèles entraînés. Les annotations de vérité terrain pour ce sous-ensemble ne sont pas accessibles au public, et les résultats sont soumis au serveur d'évaluation COCO pour l'évaluation des performances.

Applications

L'ensemble de données COCO-Pose est spécifiquement utilisé pour former et évaluer les modèles d'apprentissage profond dans les tâches de détection des points clés et d'estimation de la pose, comme OpenPose. Le grand nombre d'images annotées et les métriques d'évaluation normalisées de l'ensemble de données en font une ressource essentielle pour les chercheurs et les praticiens en vision par ordinateur qui se concentrent sur l'estimation de la pose.

Jeu de données YAML

Un fichier YAML (Yet Another Markup Language) est utilisé pour définir la configuration du jeu de données. Il contient des informations sur les chemins d'accès au jeu de données, les classes et d'autres informations pertinentes. Dans le cas du jeu de données COCO-Pose, le fichier YAML est un fichier de configuration. coco-pose.yaml est maintenu à https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/coco-pose.yaml.

# Ultralytics YOLO 🚀, AGPL-3.0 license
# COCO 2017 dataset https://cocodataset.org by Microsoft
# Documentation: https://docs.ultralytics.com/datasets/pose/coco/
# Example usage: yolo train data=coco-pose.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── coco-pose  ← downloads here (20.1 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/coco-pose # dataset root dir
train: train2017.txt # train images (relative to 'path') 118287 images
val: val2017.txt # val images (relative to 'path') 5000 images
test: test-dev2017.txt # 20288 of 40670 images, submit to https://competitions.codalab.org/competitions/20794

# Keypoints
kpt_shape: [17, 3] # number of keypoints, number of dims (2 for x,y or 3 for x,y,visible)
flip_idx: [0, 2, 1, 4, 3, 6, 5, 8, 7, 10, 9, 12, 11, 14, 13, 16, 15]

# Classes
names:
  0: person

# Download script/URL (optional)
download: |
  from ultralytics.utils.downloads import download
  from pathlib import Path

  # Download labels
  dir = Path(yaml['path'])  # dataset root dir
  url = 'https://github.com/ultralytics/assets/releases/download/v0.0.0/'
  urls = [url + 'coco2017labels-pose.zip']  # labels
  download(urls, dir=dir.parent)
  # Download data
  urls = ['http://images.cocodataset.org/zips/train2017.zip',  # 19G, 118k images
          'http://images.cocodataset.org/zips/val2017.zip',  # 1G, 5k images
          'http://images.cocodataset.org/zips/test2017.zip']  # 7G, 41k images (optional)
  download(urls, dir=dir / 'images', threads=3)

Utilisation

Pour entraîner un modèle YOLOv8n-pose sur l'ensemble de données COCO-Pose pendant 100 époques avec une taille d'image de 640, tu peux utiliser les extraits de code suivants. Pour obtenir une liste complète des arguments disponibles, reporte-toi à la page Formation du modèle.

from ultralytics import YOLO

# Load a model
model = YOLO("yolov8n-pose.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="coco-pose.yaml", epochs=100, imgsz=640)

# Start training from a pretrained *.pt model
yolo detect train data=coco-pose.yaml model=yolov8n-pose.pt epochs=100 imgsz=640

Exemples d'images et d'annotations

L'ensemble de données COCO-Pose contient un ensemble varié d'images avec des figures humaines annotées avec des points clés. Voici quelques exemples d'images tirées de l'ensemble de données, ainsi que les annotations correspondantes :

• Image mosaïque: Cette image montre un lot d'entraînement composé d'images de données mosaïquées. La mosaïque est une technique utilisée pendant la formation qui combine plusieurs images en une seule afin d'augmenter la variété d'objets et de scènes dans chaque lot de formation. Cela permet d'améliorer la capacité du modèle à s'adapter à différentes tailles d'objets, à différents rapports d'aspect et à différents contextes.

L'exemple montre la variété et la complexité des images de l'ensemble de données COCO-Pose et les avantages de l'utilisation du mosaïquage pendant le processus de formation.

Citations et remerciements

Si tu utilises l'ensemble de données COCO-Pose dans tes travaux de recherche ou de développement, cite l'article suivant :

@misc{lin2015microsoft,
      title={Microsoft COCO: Common Objects in Context},
      author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr Dollár},
      year={2015},
      eprint={1405.0312},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Nous tenons à remercier le Consortium COCO pour avoir créé et maintenu cette ressource précieuse pour la communauté de la vision par ordinateur. Pour plus d'informations sur l'ensemble de données COCO-Pose et ses créateurs, visite le site Web de l'ensemble de données COCO.

FAQ

Qu'est-ce que l'ensemble de données COCO-Pose et comment est-il utilisé avec Ultralytics YOLO pour l'estimation de la pose ?

Le jeu de données COCO-Pose est une version spécialisée du jeu de données COCO (Common Objects in Context) conçu pour les tâches d'estimation de la pose. Il s'appuie sur les images et les annotations de COCO Keypoints 2017, ce qui permet d'entraîner des modèles tels que Ultralytics YOLO pour une estimation détaillée de la pose. Par exemple, tu peux utiliser l'ensemble de données COCO-Pose pour entraîner un modèle YOLOv8n-pose en chargeant un modèle pré-entraîné et en l'entraînant avec une configuration YAML. Pour des exemples d'entraînement, voir la documentation sur l'entraînement.

Comment puis-je entraîner un modèle YOLOv8 sur l'ensemble de données COCO-Pose ?

L'entraînement d'un modèle YOLOv8 sur l'ensemble de données COCO-Pose peut être réalisé à l'aide des commandes Python ou CLI . Par exemple, pour entraîner un modèle YOLOv8n-pose pour 100 époques avec une taille d'image de 640, tu peux suivre les étapes ci-dessous :

from ultralytics import YOLO

# Load a model
model = YOLO("yolov8n-pose.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="coco-pose.yaml", epochs=100, imgsz=640)

# Start training from a pretrained *.pt model
yolo detect train data=coco-pose.yaml model=yolov8n.pt epochs=100 imgsz=640

Pour plus de détails sur le processus de formation et les arguments disponibles, consulte la page de formation.

Quelles sont les différentes mesures fournies par l'ensemble de données COCO-Pose pour évaluer la performance du modèle ?

L'ensemble de données COCO-Pose fournit plusieurs mesures d'évaluation standardisées pour les tâches d'estimation de la pose, similaires à l'ensemble de données COCO original. Les principales mesures comprennent la similarité des points clés des objets (OKS), qui évalue la précision des points clés prédits par rapport aux annotations de la vérité sur le terrain. Ces mesures permettent de comparer en profondeur les performances des différents modèles. Par exemple, les modèles pré-entraînés COCO-Pose tels que YOLOv8n-pose, YOLOv8s-pose, et d'autres ont des mesures de performance spécifiques listées dans la documentation, comme ^mAPpose50-95et ^mAPpose50.

Comment l'ensemble de données est-il structuré et divisé pour l'ensemble de données COCO-Pose ?

L'ensemble de données COCO-Pose est divisé en trois sous-ensembles :

1. Train2017: Contient une partie des 118K images COCO, annotées pour l'entraînement des modèles d'estimation de la pose.
2. Val2017: Images sélectionnées à des fins de validation pendant l'entraînement du modèle.
3. Test2017: Images utilisées pour tester et étalonner les modèles entraînés. Les annotations de vérité terrain pour ce sous-ensemble ne sont pas accessibles au public ; les résultats sont soumis au serveur d'évaluation COCO pour l'évaluation des performances.

Ces sous-ensembles permettent d'organiser efficacement les phases de formation, de validation et de test. Pour plus de détails sur la configuration, explore la page coco-pose.yaml disponible sur GitHub.

Quelles sont les principales caractéristiques et applications de l'ensemble de données COCO-Pose ?

Le jeu de données COCO-Pose étend les annotations de COCO Keypoints 2017 pour inclure 17 points clés pour les figures humaines, ce qui permet une estimation détaillée de la pose. Les métriques d'évaluation standardisées (par exemple, OKS) facilitent les comparaisons entre les différents modèles. Les applications de l'ensemble de données COCO-Pose couvrent divers domaines, tels que l'analyse sportive, les soins de santé et l'interaction homme-machine, chaque fois qu'une estimation détaillée de la pose des figures humaines est nécessaire. Pour une utilisation pratique, l'utilisation de modèles pré-entraînés tels que ceux fournis dans la documentation (par exemple, YOLOv8n-pose) peut considérablement simplifier le processus(Caractéristiques principales).

Si tu utilises l'ensemble de données COCO-Pose dans tes travaux de recherche ou de développement, cite l'article avec l'entrée BibTeX suivante.

Commentaires