Overslaan naar inhoud

COCO-Pose Dataset

De COCO-Pose dataset is een gespecialiseerde versie van de COCO (Common Objects in Context) dataset, ontworpen voor het schatten van houdingen. Het maakt gebruik van de COCO Keypoints 2017 afbeeldingen en labels om de training van modellen zoals YOLO voor pose schattingstaken mogelijk te maken.

Voorbeeldafbeelding houding

COCO-Pose Vooraf Getrainde Modellen

Model grootte
(pixels)
mAPpose
50-95
mAPpose
50
Snelheid
CPU ONNX
(ms)
Snelheid
A100 TensorRT
(ms)
params
(M)
FLOP's
(B)
YOLOv8n-pose 640 50.4 80.1 131.8 1.18 3.3 9.2
YOLOv8s-pose 640 60.0 86.2 233.2 1.42 11.6 30.2
YOLOv8m-pose 640 65.0 88.8 456.3 2.00 26.4 81.0
YOLOv8l-pose 640 67.6 90.0 784.5 2.59 44.4 168.6
YOLOv8x-pose 640 69.2 90.2 1607.1 3.73 69.4 263.2
YOLOv8x-pose-p6 1280 71.6 91.2 4088.7 10.04 99.1 1066.4

Belangrijkste kenmerken

  • COCO-Pose bouwt voort op de COCO Keypoints 2017 dataset die 200K afbeeldingen bevat die gelabeld zijn met keypoints voor pose-schattingstaken.
  • De dataset ondersteunt 17 sleutelpunten voor menselijke figuren, waardoor een gedetailleerde schatting van de houding mogelijk is.
  • Net als COCO biedt het gestandaardiseerde evaluatiemetrieken, waaronder Object Keypoint Similarity (OKS) voor pose estimation taken, waardoor het geschikt is voor het vergelijken van modelprestaties.

Structuur dataset

De COCO-Pose dataset is opgesplitst in drie subsets:

  1. Train2017: Deze subset bevat een deel van de 118K afbeeldingen van de COCO dataset, geannoteerd voor het trainen van modellen voor het schatten van de houding.
  2. Val2017: Deze subset bevat een selectie afbeeldingen die tijdens de modeltraining zijn gebruikt voor validatiedoeleinden.
  3. Test2017: Deze subset bestaat uit afbeeldingen die worden gebruikt voor het testen en benchmarken van de getrainde modellen. Ground truth annotaties voor deze subset zijn niet publiekelijk beschikbaar en de resultaten worden ingediend bij de COCO evaluatieserver voor prestatie-evaluatie.

Toepassingen

De COCO-Pose dataset wordt specifiek gebruikt voor het trainen en evalueren van deep learning modellen in keypoint detection en pose estimation taken, zoals OpenPose. Het grote aantal geannoteerde afbeeldingen en de gestandaardiseerde evaluatiemetrieken maken de dataset tot een essentiële bron voor computer vision onderzoekers en praktijkmensen die zich richten op pose estimation.

Dataset YAML

Een YAML (Yet Another Markup Language) bestand wordt gebruikt om de configuratie van de dataset te definiëren. Het bevat informatie over de paden, klassen en andere relevante informatie van de dataset. In het geval van de COCO-Pose dataset is de coco-pose.yaml bestand wordt onderhouden op https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/coco-pose.yaml.

ultralytics/cfg/datasets/coco-pose.yaml

# Ultralytics YOLO 🚀, AGPL-3.0 license
# COCO 2017 dataset https://cocodataset.org by Microsoft
# Documentation: https://docs.ultralytics.com/datasets/pose/coco/
# Example usage: yolo train data=coco-pose.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── coco-pose  ← downloads here (20.1 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/coco-pose # dataset root dir
train: train2017.txt # train images (relative to 'path') 118287 images
val: val2017.txt # val images (relative to 'path') 5000 images
test: test-dev2017.txt # 20288 of 40670 images, submit to https://competitions.codalab.org/competitions/20794

# Keypoints
kpt_shape: [17, 3] # number of keypoints, number of dims (2 for x,y or 3 for x,y,visible)
flip_idx: [0, 2, 1, 4, 3, 6, 5, 8, 7, 10, 9, 12, 11, 14, 13, 16, 15]

# Classes
names:
  0: person

# Download script/URL (optional)
download: |
  from ultralytics.utils.downloads import download
  from pathlib import Path

  # Download labels
  dir = Path(yaml['path'])  # dataset root dir
  url = 'https://github.com/ultralytics/assets/releases/download/v0.0.0/'
  urls = [url + 'coco2017labels-pose.zip']  # labels
  download(urls, dir=dir.parent)
  # Download data
  urls = ['http://images.cocodataset.org/zips/train2017.zip',  # 19G, 118k images
          'http://images.cocodataset.org/zips/val2017.zip',  # 1G, 5k images
          'http://images.cocodataset.org/zips/test2017.zip']  # 7G, 41k images (optional)
  download(urls, dir=dir / 'images', threads=3)

Gebruik

Om een YOLOv8n-pose model te trainen op de COCO-Pose dataset voor 100 epochs met een afbeeldingsgrootte van 640, kun je de volgende codefragmenten gebruiken. Raadpleeg de pagina Model Training voor een uitgebreide lijst met beschikbare argumenten.

Voorbeeld trein

from ultralytics import YOLO

# Load a model
model = YOLO("yolov8n-pose.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="coco-pose.yaml", epochs=100, imgsz=640)
# Start training from a pretrained *.pt model
yolo detect train data=coco-pose.yaml model=yolov8n-pose.pt epochs=100 imgsz=640

Voorbeeldafbeeldingen en -annotaties

De COCO-Pose dataset bevat een diverse set afbeeldingen met menselijke figuren geannoteerd met sleutelpunten. Hier zijn enkele voorbeelden van afbeeldingen uit de dataset, samen met de bijbehorende annotaties:

Voorbeeldafbeelding dataset

  • Gemozaïekte afbeelding: Deze afbeelding toont een trainingsbatch die bestaat uit gemozaïekte afbeeldingen van de dataset. Mozaïeken is een techniek die tijdens het trainen wordt gebruikt om meerdere afbeeldingen te combineren tot één afbeelding om de verscheidenheid aan objecten en scènes binnen elke trainingsbatch te vergroten. Dit helpt het vermogen van het model om te generaliseren naar verschillende objectgroottes, beeldverhoudingen en contexten te verbeteren.

Het voorbeeld toont de verscheidenheid en complexiteit van de afbeeldingen in de COCO-Pose dataset en de voordelen van het gebruik van mozaïek tijdens het trainingsproces.

Citaten en erkenningen

Als je de COCO-Pose dataset gebruikt in je onderzoek of ontwikkeling, citeer dan het volgende artikel:

@misc{lin2015microsoft,
      title={Microsoft COCO: Common Objects in Context},
      author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr Dollár},
      year={2015},
      eprint={1405.0312},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

We willen graag het COCO Consortium bedanken voor het maken en onderhouden van deze waardevolle bron voor de computer vision gemeenschap. Ga voor meer informatie over de COCO-Pose dataset en de makers naar de COCO dataset website.

FAQ

Wat is de COCO-Pose dataset en hoe wordt deze gebruikt met Ultralytics YOLO voor het schatten van de houding?

De COCO-Pose dataset is een gespecialiseerde versie van de COCO (Common Objects in Context) dataset, ontworpen voor het schatten van houdingen. Het bouwt voort op de COCO Keypoints 2017 afbeeldingen en annotaties, waardoor het mogelijk is om modellen te trainen zoals Ultralytics YOLO voor gedetailleerde schatting van de houding. Je kunt bijvoorbeeld de COCO-Pose dataset gebruiken om een YOLOv8n-pose model te trainen door een voorgetraind model te laden en het te trainen met een YAML configuratie. Raadpleeg de documentatie over training voor trainingsvoorbeelden.

Hoe kan ik een YOLOv8 model trainen op de COCO-Pose dataset?

Het trainen van een YOLOv8 model op de COCO-Pose dataset kan worden uitgevoerd met de commando's Python of CLI . Om bijvoorbeeld een YOLOv8n-pose model te trainen voor 100 epochs met een afbeeldingsgrootte van 640, kun je de onderstaande stappen volgen:

Voorbeeld trein

from ultralytics import YOLO

# Load a model
model = YOLO("yolov8n-pose.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="coco-pose.yaml", epochs=100, imgsz=640)
# Start training from a pretrained *.pt model
yolo detect train data=coco-pose.yaml model=yolov8n.pt epochs=100 imgsz=640

Kijk voor meer informatie over het trainingsproces en de beschikbare argumenten op de trainingspagina.

Wat zijn de verschillende metrieken die de COCO-Pose dataset biedt voor het evalueren van de modelprestaties?

De COCO-Pose dataset biedt verschillende gestandaardiseerde evaluatiemetrieken voor pose schattingstaken, vergelijkbaar met de originele COCO dataset. De belangrijkste meetgegevens zijn onder andere de Object Sleutelpunt Gelijkenis (OKS), die de nauwkeurigheid van voorspelde sleutelpunten evalueert ten opzichte van de grondgetrouwe annotaties. Deze meetgegevens maken grondige prestatievergelijkingen tussen verschillende modellen mogelijk. Bijvoorbeeld, de COCO-Pose voorgetrainde modellen zoals YOLOv8n-pose, YOLOv8s-pose en andere hebben specifieke prestatiecijfers in de documentatie, zoals mAPpose50-95en mAPpose50.

Hoe is de dataset gestructureerd en opgesplitst voor de COCO-Pose dataset?

De COCO-Pose dataset is opgesplitst in drie subsets:

  1. Train2017: Bevat een deel van de 118K COCO-afbeeldingen, geannoteerd voor het trainen van modellen voor het schatten van de houding.
  2. Val2017: Geselecteerde beelden voor validatiedoeleinden tijdens modeltraining.
  3. Test2017: Afbeeldingen gebruikt voor het testen en benchmarken van getrainde modellen. Ground truth annotaties voor deze subset zijn niet publiekelijk beschikbaar; resultaten worden ingediend bij de COCO evaluatieserver voor prestatie-evaluatie.

Deze subsets helpen om de training, validatie en testfasen effectief te organiseren. Bekijk voor configuratiedetails de coco-pose.yaml bestand beschikbaar op GitHub.

Wat zijn de belangrijkste kenmerken en toepassingen van de COCO-Pose dataset?

De COCO-Pose dataset breidt de COCO Keypoints 2017 annotaties uit met 17 keypoints voor menselijke figuren, waardoor een gedetailleerde schatting van de houding mogelijk is. Gestandaardiseerde evaluatiemetrieken (zoals OKS) maken vergelijkingen tussen verschillende modellen mogelijk. Toepassingen van de COCO-Pose dataset omvatten verschillende domeinen, zoals sportanalyse, gezondheidszorg en mens-computer interactie, waar gedetailleerde schatting van de houding van menselijke figuren nodig is. Voor praktisch gebruik kan het gebruik van voorgetrainde modellen zoals die in de documentatie staan (bijv. YOLOv8n-pose) het proces aanzienlijk stroomlijnen(Belangrijkste Kenmerken).

Als je de COCO-Pose dataset gebruikt in je onderzoek of ontwikkeling, citeer het artikel dan met de volgende BibTeX vermelding.



Aangemaakt 2023-11-12, Bijgewerkt 2024-07-17
Auteurs: hnliu_2@stu.xidian.edu.cn (1), glenn-jocher (7), RizwanMunawar (1), Laughing-q (1)

Reacties