COCO-Pose-Datensatz

Der COCO-Pose-Datensatz ist eine spezielle Version des COCO-Datensatzes (Common Objects in Context), der für Aufgaben der Posenschätzung entwickelt wurde. Er nutzt die COCO Keypoints 2017 Bilder und Labels, um das Training von Modellen wie YOLO für Posenschätzungsaufgaben zu ermöglichen.

COCO-Pose vortrainierte Modelle

Hauptmerkmale

• COCO-Pose baut auf dem COCO Keypoints 2017 Datensatz auf, der 200.000 Bilder enthält, die mit Keypoints für Posenschätzungsaufgaben beschriftet sind.
• Der Datensatz unterstützt 17 Keypoints für menschliche Figuren, die eine detaillierte Posenschätzung ermöglichen.
• Wie COCO bietet es standardisierte Bewertungsmetriken, darunter Object Keypoint Similarity (OKS) für Posenschätzungsaufgaben, und eignet sich daher für den Vergleich der Modellleistung.

Struktur des Datensatzes

Der COCO-Pose-Datensatz ist in drei Teilmengen aufgeteilt:

1. Train2017: Diese Untergruppe enthält einen Teil der 118.000 Bilder aus dem COCO-Datensatz, die für das Training von Modellen zur Posenschätzung beschriftet wurden.
2. Val2017: Diese Untergruppe enthält eine Auswahl von Bildern, die während der Modellschulung zur Validierung verwendet wurden.
3. Test2017: Diese Untergruppe besteht aus Bildern, die zum Testen und Benchmarking der trainierten Modelle verwendet werden. Die Ergebnisse werden zur Leistungsbewertung an den COCO-Evaluierungsserver übermittelt.

Anwendungen

Der COCO-Pose-Datensatz wird speziell für das Training und die Evaluierung von Deep-Learning-Modellen für die Erkennung von Keypoints und Posenschätzungsaufgaben wie OpenPose verwendet. Die große Anzahl an kommentierten Bildern und die standardisierten Bewertungsmetriken machen den Datensatz zu einer unverzichtbaren Ressource für Bildverarbeitungsforscher und -praktiker, die sich mit Posenschätzungen beschäftigen.

Datensatz YAML

Eine YAML-Datei (Yet Another Markup Language) wird verwendet, um die Konfiguration des Datensatzes zu definieren. Sie enthält Informationen über die Pfade des Datensatzes, die Klassen und andere relevante Informationen. Im Fall des COCO-Pose-Datensatzes ist die coco-pose.yaml Datei wird verwaltet unter https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/coco-pose.yaml.

# Ultralytics YOLO 🚀, AGPL-3.0 license
# COCO 2017 dataset https://cocodataset.org by Microsoft
# Documentation: https://docs.ultralytics.com/datasets/pose/coco/
# Example usage: yolo train data=coco-pose.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── coco-pose  ← downloads here (20.1 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/coco-pose # dataset root dir
train: train2017.txt # train images (relative to 'path') 118287 images
val: val2017.txt # val images (relative to 'path') 5000 images
test: test-dev2017.txt # 20288 of 40670 images, submit to https://competitions.codalab.org/competitions/20794

# Keypoints
kpt_shape: [17, 3] # number of keypoints, number of dims (2 for x,y or 3 for x,y,visible)
flip_idx: [0, 2, 1, 4, 3, 6, 5, 8, 7, 10, 9, 12, 11, 14, 13, 16, 15]

# Classes
names:
  0: person

# Download script/URL (optional)
download: |
  from ultralytics.utils.downloads import download
  from pathlib import Path

  # Download labels
  dir = Path(yaml['path'])  # dataset root dir
  url = 'https://github.com/ultralytics/yolov5/releases/download/v1.0/'
  urls = [url + 'coco2017labels-pose.zip']  # labels
  download(urls, dir=dir.parent)
  # Download data
  urls = ['http://images.cocodataset.org/zips/train2017.zip',  # 19G, 118k images
          'http://images.cocodataset.org/zips/val2017.zip',  # 1G, 5k images
          'http://images.cocodataset.org/zips/test2017.zip']  # 7G, 41k images (optional)
  download(urls, dir=dir / 'images', threads=3)

Verwendung

Um ein YOLOv8n-pose-Modell auf dem COCO-Pose-Datensatz für 100 Epochen mit einer Bildgröße von 640 zu trainieren, kannst du die folgenden Codeschnipsel verwenden. Eine umfassende Liste der verfügbaren Argumente findest du auf der Seite Modelltraining.

from ultralytics import YOLO

# Load a model
model = YOLO('yolov8n-pose.pt')  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data='coco-pose.yaml', epochs=100, imgsz=640)

# Start training from a pretrained *.pt model
yolo detect train data=coco-pose.yaml model=yolov8n.pt epochs=100 imgsz=640

Beispielbilder und Anmerkungen

Der COCO-Pose-Datensatz enthält eine Vielzahl von Bildern mit menschlichen Figuren, die mit Keypoints versehen sind. Hier sind einige Beispiele für Bilder aus dem Datensatz, zusammen mit den entsprechenden Anmerkungen:

• Mosaikbild: Dieses Bild zeigt einen Trainingsstapel, der aus Mosaikbildern des Datensatzes besteht. Beim Mosaikieren werden mehrere Bilder zu einem einzigen Bild zusammengefügt, um die Vielfalt der Objekte und Szenen in jedem Trainingsstapel zu erhöhen. Dadurch wird die Fähigkeit des Modells verbessert, sich auf verschiedene Objektgrößen, Seitenverhältnisse und Kontexte einzustellen.

Das Beispiel zeigt die Vielfalt und Komplexität der Bilder im COCO-Pose-Datensatz und die Vorteile der Mosaikbildung im Trainingsprozess.

Zitate und Danksagungen

Wenn du den COCO-Pose-Datensatz in deiner Forschungs- oder Entwicklungsarbeit verwendest, zitiere bitte das folgende Papier:

@misc{lin2015microsoft,
      title={Microsoft COCO: Common Objects in Context},
      author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr Dollár},
      year={2015},
      eprint={1405.0312},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Wir möchten dem COCO-Konsortium für die Erstellung und Pflege dieser wertvollen Ressource für die Computer Vision Community danken. Weitere Informationen über den COCO-Pose-Datensatz und seine Schöpfer findest du auf der Website des COCO-Datensatzes.

Kommentare