コンテンツにスキップ

COCO-Poseデータセット

COCO-Poseデータセットは、ポーズ推定タスク用に設計されたCOCO（Common Objects in Context）データセットの特殊バージョンです。COCO Keypoints 2017の画像とラベルを活用して、ポーズ推定タスク用のYOLOのようなモデルのトレーニングを可能にします。

ポーズのサンプル画像

COCO-Pose事前学習済みモデル

モデル サイズ
(ピクセル)		 mAPpose
50-95		 mAPpose
50		 速度
CPU ONNX
(ms)		 速度
T4 TensorRT10
(ms)		 params
(M)		 FLOPs
(B)
YOLO11n-pose 640 50.0 81.0 52.4 ± 0.5 1.7 ± 0.0 2.9 7.6
YOLO11s-pose 640 58.9 86.3 90.5 ± 0.6 2.6 ± 0.0 9.9 23.2
YOLO11m-pose 640 64.9 89.4 187.3 ± 0.8 4.9 ± 0.1 20.9 71.7
YOLO11l-pose 640 66.1 89.9 247.7 ± 1.1 6.4 ± 0.1 26.2 90.7
YOLO11x-pose 640 69.5 91.1 488.0 ± 13.9 12.1 ± 0.2 58.8 203.3

主な特徴

  • COCO-Poseは、ポーズ推定タスク用にキーポイントでラベル付けされた20万枚の画像を含むCOCO Keypoints 2017データセットを基に構築されています。
  • このデータセットは、人物に対して17個のキーポイントをサポートしており、詳細な姿勢推定を容易にします。
  • COCOと同様に、ポーズ推定タスク用のObject Keypoint Similarity（OKS）を含む標準化された評価指標を提供し、モデルのパフォーマンスを比較するのに適しています。

データセットの構造

COCO-Poseデータセットは、3つのサブセットに分割されています。

  1. Train2017：このサブセットには、ポーズ推定モデルのトレーニング用にアノテーションが付けられたCOCOデータセットの56599個の画像が含まれています。
  2. Val2017: このサブセットには、モデルのトレーニング中の検証を目的として使用される2346枚の画像があります。
  3. Test2017: このサブセットは、トレーニング済みモデルのテストとベンチマークに使用される画像で構成されています。このサブセットの正解アノテーションは公開されておらず、結果はパフォーマンス評価のためにCOCO評価サーバーに送信されます。

アプリケーション

COCO-Poseデータセットは、OpenPoseなどのキーポイント検出およびポーズ推定タスクにおける深層学習モデルのトレーニングと評価に特に使用されます。データセットの多数のアノテーション付き画像と標準化された評価指標により、ポーズ推定に焦点を当てたコンピュータビジョンの研究者や実務家にとって不可欠なリソースとなっています。

データセット YAML

データセットの構成を定義するために、YAML（Yet Another Markup Language）ファイルが使用されます。これには、データセットのパス、クラス、およびその他の関連情報が含まれています。COCO-Poseデータセットの場合、 coco-pose.yaml fileは以下で管理されています: https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/coco-pose.yaml.

ultralytics/cfg/datasets/coco-pose.yaml

# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# COCO 2017 Keypoints dataset https://cocodataset.org by Microsoft
# Documentation: https://docs.ultralytics.com/datasets/pose/coco/
# Example usage: yolo train data=coco-pose.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── coco-pose ← downloads here (20.1 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: coco-pose # dataset root dir
train: train2017.txt # train images (relative to 'path') 56599 images
val: val2017.txt # val images (relative to 'path') 2346 images
test: test-dev2017.txt # 20288 of 40670 images, submit to https://codalab.lisn.upsaclay.fr/competitions/7403

# Keypoints
kpt_shape: [17, 3] # number of keypoints, number of dims (2 for x,y or 3 for x,y,visible)
flip_idx: [0, 2, 1, 4, 3, 6, 5, 8, 7, 10, 9, 12, 11, 14, 13, 16, 15]

# Classes
names:
  0: person

# Download script/URL (optional)
download: |
  from pathlib import Path

  from ultralytics.utils.downloads import download

  # Download labels
  dir = Path(yaml["path"])  # dataset root dir
  url = "https://github.com/ultralytics/assets/releases/download/v0.0.0/"
  urls = [f"{url}coco2017labels-pose.zip"]
  download(urls, dir=dir.parent)
  # Download data
  urls = [
      "http://images.cocodataset.org/zips/train2017.zip",  # 19G, 118k images
      "http://images.cocodataset.org/zips/val2017.zip",  # 1G, 5k images
      "http://images.cocodataset.org/zips/test2017.zip",  # 7G, 41k images (optional)
  ]
  download(urls, dir=dir / "images", threads=3)

使用法

画像サイズ640でCOCO-Poseデータセット上でYOLO11n-poseモデルを100エポック学習させるには、以下のコードスニペットを使用できます。利用可能な引数の包括的なリストについては、モデルのトレーニングページを参照してください。

学習の例

from ultralytics import YOLO

# Load a model
model = YOLO("yolo11n-pose.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="coco-pose.yaml", epochs=100, imgsz=640)

# Start training from a pretrained *.pt model
yolo pose train data=coco-pose.yaml model=yolo11n-pose.pt epochs=100 imgsz=640

サンプル画像とアノテーション

COCO-Poseデータセットには、キーポイントでアノテーションが付けられた人物の多様な画像セットが含まれています。以下は、データセットからの画像の例と、それに対応するアノテーションです。

データセットのサンプル画像

  • モザイク化された画像: この画像は、モザイク化されたデータセット画像で構成されるトレーニングバッチを示しています。モザイキングは、各トレーニングバッチ内のオブジェクトとシーンの多様性を高めるために、複数の画像を1つの画像に結合するトレーニング中に使用される手法です。これにより、さまざまなオブジェクトのサイズ、アスペクト比、およびコンテキストに対するモデルの汎化能力が向上します。

この例は、COCO-Poseデータセット内の画像の多様性と複雑さ、およびトレーニングプロセス中にモザイク処理を使用する利点を示しています。

引用と謝辞

COCO-Poseデータセットを研究または開発で使用する場合は、次の論文を引用してください。

@misc{lin2015microsoft,
      title={Microsoft COCO: Common Objects in Context},
      author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr Dollár},
      year={2015},
      eprint={1405.0312},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

コンピュータビジョンコミュニティにとって貴重なリソースを作成および管理しているCOCOコンソーシアムに感謝いたします。COCO-Poseデータセットとその作成者の詳細については、COCOデータセットのWebサイトをご覧ください。

よくある質問

COCO-Poseデータセットとは何ですか？また、姿勢推定のためにUltralytics YOLOとどのように使用されますか？

COCO-Poseデータセットは、ポーズ推定タスク用に設計されたCOCO（Common Objects in Context）データセットの特殊バージョンです。COCO Keypoints 2017の画像とアノテーションに基づいて構築されており、詳細なポーズ推定のためにUltralytics YOLOのようなモデルのトレーニングを可能にします。たとえば、COCO-Poseデータセットを使用して、事前トレーニング済みのモデルをロードし、YAML構成でトレーニングすることにより、YOLO11n-poseモデルをトレーニングできます。トレーニングの例については、トレーニングドキュメントを参照してください。

COCO-PoseデータセットでYOLO11モデルをトレーニングするにはどうすればよいですか？

COCO-PoseデータセットでのYOLO11モデルの学習は、pythonまたはCLIコマンドのいずれかを使用して実行できます。たとえば、画像サイズ640で100エポックのYOLO11n-poseモデルを学習するには、以下の手順に従います。

学習の例

from ultralytics import YOLO

# Load a model
model = YOLO("yolo11n-pose.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="coco-pose.yaml", epochs=100, imgsz=640)

# Start training from a pretrained *.pt model
yolo pose train data=coco-pose.yaml model=yolo11n-pose.pt epochs=100 imgsz=640

トレーニングプロセスと利用可能な引数の詳細については、トレーニングページを確認してください。

モデルの性能を評価するためにCOCO-Poseデータセットが提供するさまざまな指標は何ですか？

COCO-Poseデータセットは、元のCOCOデータセットと同様に、ポーズ推定タスクのためのいくつかの標準化された評価指標を提供します。主要な指標には、予測されたキーポイントの精度をグランドトゥルースのアノテーションと比較して評価するObject Keypoint Similarity（OKS）が含まれます。これらの指標により、異なるモデル間の徹底的なパフォーマンス比較が可能になります。たとえば、YOLO11n-pose、YOLO11s-poseなどのCOCO-Pose事前トレーニング済みモデルには、ドキュメントに記載されているmAPpose50-95やmAPpose50などの特定のパフォーマンス指標があります。

COCO-Poseデータセットでは、データセットはどのように構成され、分割されていますか？

COCO-Poseデータセットは、3つのサブセットに分割されています。

  1. Train2017：ポーズ推定モデルのトレーニング用にアノテーションが付けられた56599個のCOCO画像が含まれています。
  2. Val2017: モデルのトレーニング中の検証を目的とした2346枚の画像。
  3. Test2017: トレーニング済みモデルのテストとベンチマークに使用される画像。このサブセットの正解アノテーションは公開されていません。結果はパフォーマンス評価のためにCOCO評価サーバーに送信されます。

これらのサブセットは、トレーニング、検証、およびテストのフェーズを効果的に整理するのに役立ちます。構成の詳細については、以下をご覧ください。 coco-pose.yaml ファイルは以下で入手できます。 GitHub.

COCO-Poseデータセットの主な機能と応用は何ですか？

COCO-Poseデータセットは、COCO Keypoints 2017のアノテーションを拡張して、人物の17個のキーポイントを含め、詳細なポーズ推定を可能にします。標準化された評価指標（OKSなど）により、異なるモデル間の比較が容易になります。COCO-Poseデータセットのアプリケーションは、スポーツ分析、ヘルスケア、ヒューマンコンピュータインタラクションなど、人物の詳細なポーズ推定が必要とされるさまざまな分野に及びます。実用的な使用のために、ドキュメントで提供されているような事前トレーニング済みのモデル（YOLO11n-poseなど）を活用すると、プロセスを大幅に効率化できます（主な機能）。

COCO-Poseデータセットを研究または開発で使用する場合は、次のBibTeXエントリを使用して論文を引用してください。



📅 1年前に作成 ✏️ 8か月前に更新
glenn-jocher jk4e Y-T-G ambitious-octopus RizwanMunawar UltralyticsAssistant MatthewNoyce hnliu_2@stu.xidian.edu.cn Laughing-q

コメント