Ensemble de données COCO-Pose

Le jeu de données COCO-Pose est une version spécialisée du jeu de données COCO (Common Objects in Context), conçu pour les tâches d'estimation de la pose. Il exploite les images et les étiquettes de COCO Keypoints 2017 pour permettre l'entraînement de modèles tels que YOLO pour les tâches d'estimation de la pose.

Modèles pré-entraînés COCO-Pose

Caractéristiques principales

• COCO-Pose s'appuie sur l'ensemble de données COCO Keypoints 2017 qui contient 200 000 images étiquetées avec des points clés pour les tâches d'estimation de la pose.
• L'ensemble de données prend en charge 17 points clés pour les figures humaines, ce qui facilite l'estimation détaillée de la pose.
• Comme COCO, il fournit des mesures d'évaluation normalisées, notamment la similarité des points clés des objets (OKS) pour les tâches d'estimation de la pose, ce qui le rend adapté à la comparaison des performances des modèles.

Structure de l'ensemble de données

L'ensemble de données COCO-Pose est divisé en trois sous-ensembles :

1. Train2017: Ce sous-ensemble contient une partie des 118 000 images de l'ensemble de données COCO, annotées pour l'entraînement des modèles d'estimation de la pose.
2. Val2017: Ce sous-ensemble contient une sélection d'images utilisées à des fins de validation lors de l'apprentissage du modèle.
3. Test2017: Ce sous-ensemble est constitué d'images utilisées pour tester et étalonner les modèles formés. Les annotations de vérité terrain pour ce sous-ensemble ne sont pas accessibles au public, et les résultats sont soumis au serveur d'évaluation COCO pour l'évaluation des performances.

Applications

L'ensemble de données COCO-Pose est spécifiquement utilisé pour la formation et l'évaluation de modèles d'apprentissage profond dans les tâches de détection de points clés et d'estimation de la pose, telles que OpenPose. Le grand nombre d'images annotées et les métriques d'évaluation standardisées du jeu de données en font une ressource essentielle pour les chercheurs et les praticiens de la vision par ordinateur qui se concentrent sur l'estimation de la pose.

Jeu de données YAML

Un fichier YAML (Yet Another Markup Language) est utilisé pour définir la configuration du jeu de données. Il contient des informations sur les chemins d'accès au jeu de données, les classes et d'autres informations pertinentes. Dans le cas du jeu de données COCO-Pose, le fichier coco-pose.yaml est conservé à l'adresse suivante https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/coco-pose.yaml.

# Ultralytics YOLO 🚀, AGPL-3.0 license
# COCO 2017 dataset https://cocodataset.org by Microsoft
# Documentation: https://docs.ultralytics.com/datasets/pose/coco/
# Example usage: yolo train data=coco-pose.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── coco-pose  ← downloads here (20.1 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/coco-pose # dataset root dir
train: train2017.txt # train images (relative to 'path') 118287 images
val: val2017.txt # val images (relative to 'path') 5000 images
test: test-dev2017.txt # 20288 of 40670 images, submit to https://competitions.codalab.org/competitions/20794

# Keypoints
kpt_shape: [17, 3] # number of keypoints, number of dims (2 for x,y or 3 for x,y,visible)
flip_idx: [0, 2, 1, 4, 3, 6, 5, 8, 7, 10, 9, 12, 11, 14, 13, 16, 15]

# Classes
names:
  0: person

# Download script/URL (optional)
download: |
  from ultralytics.utils.downloads import download
  from pathlib import Path

  # Download labels
  dir = Path(yaml['path'])  # dataset root dir
  url = 'https://github.com/ultralytics/assets/releases/download/v0.0.0/'
  urls = [url + 'coco2017labels-pose.zip']  # labels
  download(urls, dir=dir.parent)
  # Download data
  urls = ['http://images.cocodataset.org/zips/train2017.zip',  # 19G, 118k images
          'http://images.cocodataset.org/zips/val2017.zip',  # 1G, 5k images
          'http://images.cocodataset.org/zips/test2017.zip']  # 7G, 41k images (optional)
  download(urls, dir=dir / 'images', threads=3)

Utilisation

Pour entraîner un modèle YOLO11n-pose sur l'ensemble de données COCO-Pose pour 100 époques avec une taille d'image de 640, vous pouvez utiliser les extraits de code suivants. Pour une liste complète des arguments disponibles, reportez-vous à la page Entraînement du modèle.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo11n-pose.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="coco-pose.yaml", epochs=100, imgsz=640)

# Start training from a pretrained *.pt model
yolo pose train data=coco-pose.yaml model=yolo11n-pose.pt epochs=100 imgsz=640

Exemples d'images et d'annotations

L'ensemble de données COCO-Pose contient un ensemble varié d'images de figures humaines annotées avec des points clés. Voici quelques exemples d'images tirées de l'ensemble de données, ainsi que les annotations correspondantes :

• Image mosaïque: Cette image montre un lot d'entraînement composé d'images de données mosaïquées. La mosaïque est une technique utilisée pendant l'apprentissage qui combine plusieurs images en une seule afin d'augmenter la variété des objets et des scènes dans chaque lot d'apprentissage. Cela permet d'améliorer la capacité du modèle à s'adapter à différentes tailles d'objets, à différents rapports d'aspect et à différents contextes.

Cet exemple illustre la variété et la complexité des images de l'ensemble de données COCO-Pose et les avantages de l'utilisation du mosaïquage au cours du processus d'apprentissage.

Citations et remerciements

Si vous utilisez l'ensemble de données COCO-Pose dans vos travaux de recherche ou de développement, veuillez citer l'article suivant :

@misc{lin2015microsoft,
      title={Microsoft COCO: Common Objects in Context},
      author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr Dollár},
      year={2015},
      eprint={1405.0312},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Nous tenons à remercier le Consortium COCO pour avoir créé et maintenu cette ressource précieuse pour la communauté de la vision par ordinateur. Pour plus d'informations sur le jeu de données COCO-Pose et ses créateurs, visitez le site web du jeu de données COCO.

FAQ

Qu'est-ce que l'ensemble de données COCO-Pose et comment est-il utilisé avec Ultralytics YOLO pour l'estimation de la pose ?

Le jeu de données COCO-Pose est une version spécialisée du jeu de données COCO (Common Objects in Context) conçu pour les tâches d'estimation de la pose. Il s'appuie sur les images et les annotations de COCO Keypoints 2017, ce qui permet d'entraîner des modèles tels que Ultralytics YOLO pour l'estimation détaillée de la pose. Par exemple, vous pouvez utiliser l'ensemble de données COCO-Pose pour entraîner un modèle YOLO11n-pose en chargeant un modèle pré-entraîné et en l'entraînant avec une configuration YAML. Pour des exemples d'entraînement, reportez-vous à la documentation sur l'entraînement.

Comment puis-je entraîner un modèle YOLO11 sur le jeu de données COCO-Pose ?

L'entraînement d'un modèle YOLO11 sur l'ensemble de données COCO-Pose peut être réalisé à l'aide des commandes Python ou CLI . Par exemple, pour entraîner un modèle YOLO11n-pose pour 100 époques avec une taille d'image de 640, vous pouvez suivre les étapes ci-dessous :

from ultralytics import YOLO

# Load a model
model = YOLO("yolo11n-pose.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="coco-pose.yaml", epochs=100, imgsz=640)

# Start training from a pretrained *.pt model
yolo pose train data=coco-pose.yaml model=yolo11n-pose.pt epochs=100 imgsz=640

Pour plus de détails sur le processus de formation et les arguments disponibles, consultez la page consacrée à la formation.

Quelles sont les différentes mesures fournies par l'ensemble de données COCO-Pose pour évaluer la performance des modèles ?

L'ensemble de données COCO-Pose fournit plusieurs mesures d'évaluation standardisées pour les tâches d'estimation de la pose, similaires à l'ensemble de données COCO original. Les principales mesures comprennent la similarité des points clés des objets (OKS), qui évalue la précision des points clés prédits par rapport aux annotations de la réalité du terrain. Ces mesures permettent d'effectuer des comparaisons approfondies des performances entre différents modèles. Par exemple, les modèles pré-entraînés COCO-Pose tels que YOLO11n-pose, YOLO11s-pose et d'autres ont des mesures de performance spécifiques répertoriées dans la documentation, comme ^mAPpose50-95et ^mAPpose50.

Comment l'ensemble de données est-il structuré et divisé pour l'ensemble de données COCO-Pose ?

L'ensemble de données COCO-Pose est divisé en trois sous-ensembles :

1. Train2017: Contient une partie des 118 000 images COCO, annotées pour l'entraînement des modèles d'estimation de la pose.
2. Val2017: Images sélectionnées à des fins de validation pendant l'entraînement du modèle.
3. Test2017: Images utilisées pour tester et étalonner les modèles formés. Les annotations de vérité terrain pour ce sous-ensemble ne sont pas accessibles au public ; les résultats sont soumis au serveur d'évaluation COCO pour l'évaluation des performances.

Ces sous-ensembles permettent d'organiser efficacement les phases de formation, de validation et de test. Pour plus de détails sur la configuration, consultez la page coco-pose.yaml disponible sur GitHub.

Quelles sont les principales caractéristiques et applications de l'ensemble de données COCO-Pose ?

Le jeu de données COCO-Pose étend les annotations de COCO Keypoints 2017 pour inclure 17 points clés pour les figures humaines, permettant une estimation détaillée de la pose. Des mesures d'évaluation standardisées (par exemple, OKS) facilitent les comparaisons entre différents modèles. Les applications de l'ensemble de données COCO-Pose couvrent divers domaines, tels que l'analyse sportive, les soins de santé et l'interaction homme-machine, où une estimation détaillée de la pose des figures humaines est nécessaire. Pour une utilisation pratique, l'utilisation de modèles pré-entraînés tels que ceux fournis dans la documentation (par exemple, YOLO11n-pose) peut rationaliser le processus de manière significative(Caractéristiques principales).

Si vous utilisez l'ensemble de données COCO-Pose dans vos travaux de recherche ou de développement, veuillez citer l'article avec l'entrée BibTeX suivante.

📅C réé il y a 1 an ✏️ Mis à jour il y a 1 mois

Commentaires