COCO-Pose Datensatz

Der COCO-Pose-Datensatz ist eine spezialisierte Version des COCO-Datensatzes (Common Objects in Context), der für Pose-Estimation-Aufgaben entwickelt wurde. Er nutzt die COCO Keypoints 2017 Bilder und Labels, um das Training von Modellen wie YOLO für Pose-Estimation-Aufgaben zu ermöglichen.

Beispielbild für Pose

COCO-Pose Vortrainierte Modelle

Modell	Größe ^(Pixel)	mAP^pose 50-95	mAP^pose 50	Geschwindigkeit ^{CPU ONNX (ms)}	Geschwindigkeit ^{T4 TensorRT10 (ms)}	Parameter ^(M)	FLOPs ^(B)
YOLO11n-Pose	640	50.0	81.0	52.4 ± 0.5	1.7 ± 0.0	2.9	7.4
YOLO11s-Pose	640	58.9	86.3	90.5 ± 0.6	2.6 ± 0.0	9.9	23.1
YOLO11m-Pose	640	64.9	89.4	187.3 ± 0.8	4.9 ± 0.1	20.9	71.4
YOLO11l-Pose	640	66.1	89.9	247.7 ± 1.1	6.4 ± 0.1	26.1	90.3
YOLO11x-Pose	640	69.5	91.1	488.0 ± 13.9	12.1 ± 0.2	58.8	202.8

Hauptmerkmale

COCO-Pose basiert auf dem COCO Keypoints 2017 Datensatz, der 200.000 Bilder enthält, die mit Keypoints für Aufgaben der Posenschätzung annotiert sind.
Der Datensatz unterstützt 17 Keypoints für menschliche Figuren und ermöglicht so eine detaillierte Pose-Schätzung.
Ähnlich wie COCO bietet es standardisierte Bewertungsmetriken, einschließlich Object Keypoint Similarity (OKS) für Aufgaben der Posenschätzung, wodurch es sich zum Vergleich der Modellleistung eignet.

Dataset-Struktur

Der COCO-Pose-Datensatz ist in drei Untergruppen aufgeteilt:

Train2017: Dieser Teilsatz enthält 56599 Bilder aus dem COCO-Datensatz, die für das Training von Pose-Estimation-Modellen annotiert wurden.
Val2017: Diese Teilmenge enthält 2346 Bilder, die für Validierungszwecke während des Modelltrainings verwendet werden.
Test2017: Dieser Teilsatz besteht aus Bildern, die zum Testen und Benchmarking der trainierten Modelle verwendet werden. Ground-Truth-Annotationen für diesen Teilsatz sind nicht öffentlich verfügbar, und die Ergebnisse werden zur Leistungsbewertung an den COCO-Evaluierungsserver übermittelt.

Anwendungen

Der COCO-Pose-Datensatz wird speziell für das Training und die Evaluierung von Deep-Learning-Modellen in Schlüsselpunkterkennungs- und Posenschätzungsaufgaben, wie OpenPose, verwendet. Die große Anzahl annotierter Bilder und die standardisierten Bewertungsmetriken des Datensatzes machen ihn zu einer unverzichtbaren Ressource für Computer-Vision-Forschende und -Praktiker, die sich auf Posenschätzung konzentrieren.

Datensatz-YAML

Eine YAML (Yet Another Markup Language)-Datei wird verwendet, um die Dataset-Konfiguration zu definieren. Sie enthält Informationen über die Pfade, Klassen und andere relevante Informationen des Datasets. Im Falle des COCO-Pose-Datasets, coco-pose.yaml Datei wird verwaltet unter https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/coco-pose.yaml.

Ultralytics/cfg/datasets/COCO-pose.yaml

# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# COCO 2017 Keypoints dataset https://cocodataset.org by Microsoft
# Documentation: https://docs.ultralytics.com/datasets/pose/coco/
# Example usage: yolo train data=coco-pose.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── coco-pose ← downloads here (20.1 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: coco-pose # dataset root dir
train: train2017.txt # train images (relative to 'path') 56599 images
val: val2017.txt # val images (relative to 'path') 2346 images
test: test-dev2017.txt # 20288 of 40670 images, submit to https://codalab.lisn.upsaclay.fr/competitions/7403

# Keypoints
kpt_shape: [17, 3] # number of keypoints, number of dims (2 for x,y or 3 for x,y,visible)
flip_idx: [0, 2, 1, 4, 3, 6, 5, 8, 7, 10, 9, 12, 11, 14, 13, 16, 15]

# Classes
names:
  0: person

# Keypoint names per class
kpt_names:
  0:
    - nose
    - left_eye
    - right_eye
    - left_ear
    - right_ear
    - left_shoulder
    - right_shoulder
    - left_elbow
    - right_elbow
    - left_wrist
    - right_wrist
    - left_hip
    - right_hip
    - left_knee
    - right_knee
    - left_ankle
    - right_ankle

# Download script/URL (optional)
download: |
  from pathlib import Path

  from ultralytics.utils import ASSETS_URL
  from ultralytics.utils.downloads import download

  # Download labels
  dir = Path(yaml["path"])  # dataset root dir

  urls = [f"{ASSETS_URL}/coco2017labels-pose.zip"]
  download(urls, dir=dir.parent)
  # Download data
  urls = [
      "http://images.cocodataset.org/zips/train2017.zip",  # 19G, 118k images
      "http://images.cocodataset.org/zips/val2017.zip",  # 1G, 5k images
      "http://images.cocodataset.org/zips/test2017.zip",  # 7G, 41k images (optional)
  ]
  download(urls, dir=dir / "images", threads=3)

Nutzung

Um ein YOLO11n-pose-Modell auf dem COCO-Pose-Datensatz für 100 Epochen mit einer Bildgröße von 640 zu trainieren, können Sie die folgenden Code-Snippets verwenden. Eine umfassende Liste der verfügbaren Argumente finden Sie auf der Modell-Trainings-Seite.

Trainingsbeispiel

PythonCLI

from ultralytics import YOLO

# Load a model
model = YOLO("yolo11n-pose.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="coco-pose.yaml", epochs=100, imgsz=640)

# Start training from a pretrained *.pt model
yolo pose train data=coco-pose.yaml model=yolo11n-pose.pt epochs=100 imgsz=640

sample_images und Anmerkungen

Der COCO-Pose-Datensatz enthält einen vielfältigen Satz von Bildern mit menschlichen Figuren, die mit Schlüsselpunkten annotiert sind. Hier sind einige Beispiele von Bildern aus dem Datensatz, zusammen mit ihren entsprechenden Annotationen:

Beispielbild des Datensatzes

Mosaikbild: Dieses Bild zeigt einen Trainings-Batch, der aus Mosaik-Datensatzbildern besteht. Mosaicing ist eine Technik, die während des Trainings verwendet wird und mehrere Bilder zu einem einzigen Bild kombiniert, um die Vielfalt der Objekte und Szenen innerhalb jedes Trainings-Batch zu erhöhen. Dies trägt dazu bei, die Fähigkeit des Modells zu verbessern, auf verschiedene Objektgrößen, Seitenverhältnisse und Kontexte zu generalisieren.

Das Beispiel veranschaulicht die Vielfalt und Komplexität der Bilder im COCO-Pose-Datensatz sowie die Vorteile der Verwendung von Mosaicing während des Trainingsprozesses.

Zitate und Danksagungen

Wenn Sie den COCO-Pose-Datensatz in Ihrer Forschungs- oder Entwicklungsarbeit verwenden, zitieren Sie bitte das folgende Paper:

BibTeX

@misc{lin2015microsoft,
      title={Microsoft COCO: Common Objects in Context},
      author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr Dollár},
      year={2015},
      eprint={1405.0312},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Wir möchten dem COCO Consortium für die Erstellung und Pflege dieser wertvollen Ressource für die Computer-Vision-Community danken. Weitere Informationen zum COCO-Pose-Datensatz und seinen Erstellern finden Sie auf der COCO-Datensatz-Website.

FAQ

Was ist der COCO-Pose-Datensatz und wie wird er mit Ultralytics YOLO für die Pose-Schätzung verwendet?

Der COCO-Pose-Datensatz ist eine spezialisierte Version des COCO-Datensatzes (Common Objects in Context), der für Pose-Estimation-Aufgaben entwickelt wurde. Er basiert auf den COCO Keypoints 2017 Bildern und Annotationen und ermöglicht das Training von Modellen wie Ultralytics YOLO für detaillierte Pose-Estimation. Zum Beispiel können Sie den COCO-Pose-Datensatz verwenden, um ein YOLO11n-pose-Modell zu trainieren, indem Sie ein vortrainiertes Modell laden und es mit einer yaml-Konfiguration trainieren. Trainingsbeispiele finden Sie in der Trainings-Dokumentation.

Wie kann ich ein YOLO11-Modell auf dem COCO-Pose-Datensatz trainieren?

Das Training eines YOLO11-Modells auf dem COCO-Pose-Dataset kann entweder mit Python- oder CLI-Befehlen durchgeführt werden. Um beispielsweise ein YOLO11n-pose-Modell für 100 Epochen mit einer Bildgröße von 640 zu trainieren, können Sie die folgenden Schritte ausführen:

Trainingsbeispiel

PythonCLI

from ultralytics import YOLO

# Load a model
model = YOLO("yolo11n-pose.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="coco-pose.yaml", epochs=100, imgsz=640)

# Start training from a pretrained *.pt model
yolo pose train data=coco-pose.yaml model=yolo11n-pose.pt epochs=100 imgsz=640

Weitere Informationen zum Trainingsprozess und zu den verfügbaren Argumenten finden Sie auf der Trainingsseite.

Welche verschiedenen Metriken stellt der COCO-Pose-Datensatz zur Bewertung der Modellleistung bereit?

Der COCO-Pose-Datensatz bietet mehrere standardisierte Bewertungsmetriken für Posenschätzungsaufgaben, ähnlich dem ursprünglichen COCO-Datensatz. Zu den Schlüsselmetriken gehört die Object Keypoint Similarity (OKS), die die Genauigkeit der vorhergesagten Schlüsselpunkte im Vergleich zu den Ground-Truth-Annotationen bewertet. Diese Metriken ermöglichen gründliche Leistungsvergleiche zwischen verschiedenen Modellen. Beispielsweise haben die vortrainierten COCO-Pose-Modelle wie YOLO11n-pose, YOLO11s-pose und andere spezifische Leistungsmetriken in der Dokumentation aufgeführt, wie mAP^pose50-95 und mAP^pose50.

Wie ist der Datensatz für den COCO-Pose-Datensatz strukturiert und aufgeteilt?

Der COCO-Pose-Datensatz ist in drei Untergruppen aufgeteilt:

Train2017: Enthält 56599 COCO-Bilder, die für das Training von Pose-Estimation-Modellen annotiert wurden.
Val2017: 2346 Bilder für Validierungszwecke während des Modelltrainings.
Test2017: Bilder, die zum Testen und Benchmarking trainierter Modelle verwendet werden. Ground-Truth-Annotationen für diesen Teilsatz sind nicht öffentlich verfügbar; die Ergebnisse werden zur Leistungsbewertung an den COCO-Evaluierungsserver übermittelt.

Diese Teilmengen helfen, die Trainings-, Validierungs- und Testphasen effektiv zu organisieren. Konfigurationsdetails finden Sie unter coco-pose.yaml Datei verfügbar auf GitHub.

Welche Hauptmerkmale und Anwendungen hat der COCO-Pose-Datensatz?

Der COCO-Pose-Datensatz erweitert die COCO Keypoints 2017 Annotationen um 17 Schlüsselpunkte für menschliche Figuren, was eine detaillierte Posenschätzung ermöglicht. Standardisierte Bewertungsmetriken (z. B. OKS) erleichtern Vergleiche zwischen verschiedenen Modellen. Anwendungen des COCO-Pose-Datensatzes erstrecken sich über verschiedene Bereiche wie Sportanalysen, Gesundheitswesen und Mensch-Computer-Interaktion, wo immer eine detaillierte Posenschätzung menschlicher Figuren erforderlich ist. Für den praktischen Einsatz kann die Nutzung vortrainierter Modelle, wie sie in der Dokumentation bereitgestellt werden (z. B. YOLO11n-pose), den Prozess erheblich optimieren (Hauptmerkmale).

Wenn Sie den COCO-Pose-Datensatz in Ihrer Forschungs- oder Entwicklungsarbeit verwenden, zitieren Sie das Paper mit dem folgenden BibTeX-Eintrag.

📅 Erstellt vor 2 Jahren ✏️ Aktualisiert vor 1 Jahr