COCO-Pose-Datensatz

Das COCO-Pose-Dataset ist eine spezielle Version des COCO-Datasets (Common Objects in Context), das für Aufgaben der Pose-Schätzung entwickelt wurde. Es nutzt die COCO Keypoints 2017-Bilder und -Beschriftungen, um das Training von Modellen wie YOLO für Aufgaben der Pose-Schätzung zu ermöglichen.

COCO-Pose, vortrainierte Modelle

Hauptmerkmale

• COCO-Pose baut auf dem COCO Keypoints 2017-Datensatz auf, der 200.000 Bilder enthält, die mit Keypoints für Aufgaben zur Schätzung der Körperhaltung gekennzeichnet sind.
• Der Datensatz unterstützt 17 Keypoints für menschliche Figuren und ermöglicht so eine detaillierte Pose-Schätzung.
• Wie COCO bietet es standardisierte Bewertungsmetriken, einschliesslich Object Keypoint Similarity (OKS) für Aufgaben zur Schätzung der Körperhaltung, wodurch es für den Vergleich der Modellleistung geeignet ist.

Dataset-Struktur

Der COCO-Pose-Datensatz ist in drei Teilmengen unterteilt:

1. Train2017: Diese Teilmenge enthält 56599 Bilder aus dem COCO-Datensatz, die für das Training von Pose-Schätzungsmodellen annotiert sind.
2. Val2017: Diese Teilmenge enthält 2346 Bilder, die für Validierungszwecke während des Modelltrainings verwendet werden.
3. Test2017: Diese Teilmenge besteht aus Bildern, die zum Testen und Benchmarking der trainierten Modelle verwendet werden. Ground-Truth-Annotationen für diese Teilmenge sind nicht öffentlich verfügbar, und die Ergebnisse werden zur Leistungsbewertung an den COCO-Evaluierungsserver übermittelt.

Anwendungen

Der COCO-Pose-Datensatz wird speziell für das Training und die Evaluierung von Deep-Learning-Modellen in Keypoint-Erkennungs- und Pose-Schätzungsaufgaben wie OpenPose verwendet. Die große Anzahl annotierter Bilder und die standardisierten Evaluationsmetriken des Datensatzes machen ihn zu einer wichtigen Ressource für Computer-Vision-Forscher und -Praktiker, die sich auf die Pose-Schätzung konzentrieren.

Datensatz-YAML

Eine YAML-Datei (Yet Another Markup Language) wird verwendet, um die Konfiguration des Datensatzes zu definieren. Sie enthält Informationen über die Pfade, Klassen und andere relevante Informationen des Datensatzes. Im Fall des COCO-Pose-Datensatzes ist die coco-pose.yaml Datei wird verwaltet unter https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/coco-pose.yaml.

# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# COCO 2017 Keypoints dataset https://cocodataset.org by Microsoft
# Documentation: https://docs.ultralytics.com/datasets/pose/coco/
# Example usage: yolo train data=coco-pose.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── coco-pose ← downloads here (20.1 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: coco-pose # dataset root dir
train: train2017.txt # train images (relative to 'path') 56599 images
val: val2017.txt # val images (relative to 'path') 2346 images
test: test-dev2017.txt # 20288 of 40670 images, submit to https://codalab.lisn.upsaclay.fr/competitions/7403

# Keypoints
kpt_shape: [17, 3] # number of keypoints, number of dims (2 for x,y or 3 for x,y,visible)
flip_idx: [0, 2, 1, 4, 3, 6, 5, 8, 7, 10, 9, 12, 11, 14, 13, 16, 15]

# Classes
names:
  0: person

# Download script/URL (optional)
download: |
  from pathlib import Path

  from ultralytics.utils.downloads import download

  # Download labels
  dir = Path(yaml["path"])  # dataset root dir
  url = "https://github.com/ultralytics/assets/releases/download/v0.0.0/"
  urls = [f"{url}coco2017labels-pose.zip"]
  download(urls, dir=dir.parent)
  # Download data
  urls = [
      "http://images.cocodataset.org/zips/train2017.zip",  # 19G, 118k images
      "http://images.cocodataset.org/zips/val2017.zip",  # 1G, 5k images
      "http://images.cocodataset.org/zips/test2017.zip",  # 7G, 41k images (optional)
  ]
  download(urls, dir=dir / "images", threads=3)

Nutzung

Um ein YOLO11n-Pose-Modell auf dem COCO-Pose-Datensatz für 100 Epochen mit einer Bildgröße von 640 zu trainieren, können Sie die folgenden Code-Snippets verwenden. Eine umfassende Liste der verfügbaren Argumente finden Sie auf der Trainings-Seite des Modells.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo11n-pose.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="coco-pose.yaml", epochs=100, imgsz=640)

# Start training from a pretrained *.pt model
yolo pose train data=coco-pose.yaml model=yolo11n-pose.pt epochs=100 imgsz=640

sample_images und Anmerkungen

Der COCO-Pose-Datensatz enthält eine vielfältige Sammlung von Bildern mit menschlichen Figuren, die mit Keypoints annotiert sind. Hier sind einige Beispiele für Bilder aus dem Datensatz zusammen mit den entsprechenden Anmerkungen:

• Mosaikbild: Dieses Bild zeigt einen Trainings-Batch, der aus Mosaik-Datensatzbildern besteht. Mosaicing ist eine Technik, die während des Trainings verwendet wird und mehrere Bilder zu einem einzigen Bild kombiniert, um die Vielfalt der Objekte und Szenen innerhalb jedes Trainings-Batch zu erhöhen. Dies trägt dazu bei, die Fähigkeit des Modells zu verbessern, auf verschiedene Objektgrößen, Seitenverhältnisse und Kontexte zu generalisieren.

Das Beispiel demonstriert die Vielfalt und Komplexität der Bilder im COCO-Pose-Datensatz und die Vorteile der Verwendung von Mosaicing während des Trainingsprozesses.

Zitate und Danksagungen

Wenn Sie den COCO-Pose-Datensatz in Ihrer Forschungs- oder Entwicklungsarbeit verwenden, zitieren Sie bitte das folgende Paper:

@misc{lin2015microsoft,
      title={Microsoft COCO: Common Objects in Context},
      author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr Dollár},
      year={2015},
      eprint={1405.0312},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Wir möchten das COCO-Konsortium für die Erstellung und Pflege dieser wertvollen Ressource für die Computer-Vision-Community anerkennen. Weitere Informationen über den COCO-Pose-Datensatz und seine Urheber finden Sie auf der COCO-Datensatz-Website.

FAQ

Was ist der COCO-Pose-Datensatz und wie wird er mit Ultralytics YOLO für die Pose-Schätzung verwendet?

Der COCO-Pose-Datensatz ist eine spezialisierte Version des COCO-Datensatzes (Common Objects in Context), der für Aufgaben der Pose-Schätzung entwickelt wurde. Er baut auf den COCO Keypoints 2017-Bildern und -Annotationen auf und ermöglicht das Training von Modellen wie Ultralytics YOLO für die detaillierte Pose-Schätzung. Sie können beispielsweise den COCO-Pose-Datensatz verwenden, um ein YOLO11n-Pose-Modell zu trainieren, indem Sie ein vortrainiertes Modell laden und es mit einer YAML-Konfiguration trainieren. Beispiele für das Training finden Sie in der Trainingsdokumentation.

Wie kann ich ein YOLO11-Modell auf dem COCO-Pose-Datensatz trainieren?

Das Trainieren eines YOLO11-Modells auf dem COCO-Pose-Datensatz kann entweder mit Python- oder CLI-Befehlen erfolgen. Um beispielsweise ein YOLO11n-Pose-Modell für 100 Epochen mit einer Bildgröße von 640 zu trainieren, können Sie die folgenden Schritte ausführen:

from ultralytics import YOLO

# Load a model
model = YOLO("yolo11n-pose.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="coco-pose.yaml", epochs=100, imgsz=640)

# Start training from a pretrained *.pt model
yolo pose train data=coco-pose.yaml model=yolo11n-pose.pt epochs=100 imgsz=640

Weitere Informationen zum Trainingsprozess und zu den verfügbaren Argumenten finden Sie auf der Trainingsseite.

Welche verschiedenen Metriken stellt das COCO-Pose-Dataset zur Bewertung der Modellleistung bereit?

Der COCO-Pose-Datensatz bietet mehrere standardisierte Evaluierungsmetriken für Aufgaben der Pose-Schätzung, ähnlich dem ursprünglichen COCO-Datensatz. Zu den wichtigsten Metriken gehört die Object Keypoint Similarity (OKS), die die Genauigkeit der vorhergesagten Keypoints anhand von Ground-Truth-Annotationen bewertet. Diese Metriken ermöglichen gründliche Leistungsvergleiche zwischen verschiedenen Modellen. Beispielsweise sind die COCO-Pose-vorab trainierten Modelle wie YOLO11n-pose, YOLO11s-pose und andere mit spezifischen Leistungsmetriken in der Dokumentation aufgeführt, wie mAP^pose50-95 und mAP^pose50.

Wie ist der Datensatz für den COCO-Pose-Datensatz strukturiert und aufgeteilt?

Der COCO-Pose-Datensatz ist in drei Teilmengen unterteilt:

1. Train2017: Enthält 56599 COCO-Bilder, die für das Training von Pose-Schätzungsmodellen annotiert sind.
2. Val2017: 2346 Bilder für Validierungszwecke während des Modelltrainings.
3. Test2017: Bilder, die zum Testen und Benchmarking trainierter Modelle verwendet werden. Ground-Truth-Annotationen für diese Teilmenge sind nicht öffentlich verfügbar; die Ergebnisse werden zur Leistungsbewertung an den COCO-Evaluierungsserver übermittelt.

Diese Teilmengen helfen, die Trainings-, Validierungs- und Testphasen effektiv zu organisieren. Konfigurationsdetails finden Sie unter coco-pose.yaml Datei verfügbar auf GitHub.

Was sind die wichtigsten Merkmale und Anwendungen des COCO-Pose-Datensatzes?

Der COCO-Pose-Datensatz erweitert die COCO Keypoints 2017-Annotationen um 17 Keypoints für menschliche Figuren und ermöglicht so eine detaillierte Pose-Schätzung. Standardisierte Evaluationsmetriken (z. B. OKS) erleichtern Vergleiche zwischen verschiedenen Modellen. Die Anwendungen des COCO-Pose-Datensatzes erstrecken sich über verschiedene Bereiche wie Sportanalytik, Gesundheitswesen und Mensch-Computer-Interaktion, überall dort, wo eine detaillierte Pose-Schätzung von menschlichen Figuren erforderlich ist. Für den praktischen Einsatz kann die Nutzung vortrainierter Modelle, wie sie in der Dokumentation bereitgestellt werden (z. B. YOLO11n-pose), den Prozess erheblich vereinfachen (Key Features).

Wenn Sie den COCO-Pose-Datensatz in Ihrer Forschungs- oder Entwicklungsarbeit verwenden, zitieren Sie bitte das Paper mit dem folgenden BibTeX-Eintrag.

📅 Erstellt vor 1 Jahr ✏️ Aktualisiert vor 8 Monaten

Kommentare