YOLO Vision 2026:

Набор данных COCO-Pose#

Датасет COCO-Pose адаптирует COCO (Common Objects in Context) для оценки позы: 58 945 изображений из COCO Keypoints 2017, размеченных для 156 165 людей с использованием схемы из 17 ключевых точек. Это стандартный набор для обучения и бенчмаркинга моделей ключевых точек, таких как Ultralytics YOLO26, а подмножество COCO8-Pose, состоящее из 8 изображений, повторяет его формат для быстрой проверки.

COCO pose estimation with human keypoints

Предобученные модели COCO-Pose#

Модельразмер
(пиксели)
mAPpose
50-95(e2e)
mAPpose
50(e2e)
Скорость
CPU ONNX
(мс)
Скорость
T4 TensorRT10
(мс)
параметры
(М)
FLOPs
(Б)
YOLO26n-pose64057.283.340.3 ± 0.51.8 ± 0.02.97.5
YOLO26s-pose64063.086.685.3 ± 0.92.7 ± 0.010.423.9
YOLO26m-pose64068.889.6218.0 ± 1.55.0 ± 0.121.573.1
YOLO26l-pose64070.490.5275.4 ± 2.46.5 ± 0.125.991.3
YOLO26x-pose64071.691.6565.4 ± 3.012.2 ± 0.257.6201.7

Ключевые особенности#

  • COCO-Pose создан на основе соревнования COCO Keypoints 2017, в котором размечено 1 710 498 индивидуальных ключевых точек для 156 165 аннотированных людей.
  • Каждая аннотация человека использует 17 типов ключевых точек — нос, глаза, уши, плечи, локти, запястья, бедра, колени и лодыжки, — которые сохраняются в виде тройок (x, y, visibility).
  • Как и COCO, он предоставляет стандартизированные метрики оценки, включая сходство ключевых точек объекта (OKS) для задач оценки позы, что делает его подходящим для сравнения производительности моделей.
  • Размер скачивания: ~20,2 ГБ при первом использовании (train2017.zip + val2017.zip + разметка). Файл test2017.zip размером 7 ГБ не загружается автоматически, так как эти изображения имеют скрытую разметку и нужны только для отправки в test-dev2017.

Структура набора данных#

Для обучения и валидации COCO-Pose включает только изображения COCO 2017 с размеченными ключевыми точками людей, поэтому его размеченные выборки меньше, чем в полном наборе COCO. Его YAML-файл определяет три подмножества:

  1. Train2017: Это подмножество содержит 56 599 изображений из набора данных COCO, размеченных для обучения моделей оценки позы.
  2. Val2017: Это подмножество содержит 2 346 изображений, используемых для целей валидации во время обучения модели.
  3. Test-dev2017: подмножество из 20 288 изображений из полного набора test2017, содержащего 40 670 изображений со скрытой разметкой. YAML-файл датасета связывает этот сплит с сервером оценки ключевых точек COCO test-dev.

Обучение в таком масштабе — это то, в чем больше всего помогает Ultralytics Platform: она управляет вычислениями, позволяя запускать и отслеживать запуски без выделения собственных GPU.

Применение#

Датасет COCO-Pose специально используется для обучения и оценки моделей глубокого обучения по задачам детектирования ключевых точек и оценки позы. Большое количество размеченных изображений и стандартизированные метрики оценки делают этот датасет незаменимым ресурсом для исследователей и практиков в области компьютерного зрения, работающих с позами человека.

YAML набора данных#

Для определения конфигурации датасета используется YAML-файл. Он содержит информацию о путях датасета, классах и других相关 данных. В случае датасета COCO-Pose файл coco-pose.yaml поддерживается по адресу https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/coco-pose.yaml.

ultralytics/cfg/datasets/coco-pose.yaml
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# COCO 2017 Keypoints dataset https://cocodataset.org by Microsoft
# Documentation: https://docs.ultralytics.com/datasets/pose/coco
# Example usage: yolo train data=coco-pose.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── coco-pose ← downloads here (20.2 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: coco-pose # dataset root dir
train: train2017.txt # train images (relative to 'path') 56599 images
val: val2017.txt # val images (relative to 'path') 2346 images
test: test-dev2017.txt # 20288 of 40670 images, submit to https://codalab.lisn.upsaclay.fr/competitions/7403

# Keypoints
kpt_shape: [17, 3] # number of keypoints, number of dims (2 for x,y or 3 for x,y,visible)
flip_idx: [0, 2, 1, 4, 3, 6, 5, 8, 7, 10, 9, 12, 11, 14, 13, 16, 15]

# Classes
names:
  0: person

# Keypoint names per class
kpt_names:
  0:
    - nose
    - left_eye
    - right_eye
    - left_ear
    - right_ear
    - left_shoulder
    - right_shoulder
    - left_elbow
    - right_elbow
    - left_wrist
    - right_wrist
    - left_hip
    - right_hip
    - left_knee
    - right_knee
    - left_ankle
    - right_ankle

# Download script/URL (optional)
download: |
  from pathlib import Path

  from ultralytics.utils import ASSETS_URL
  from ultralytics.utils.downloads import download

  # Download labels
  dir = Path(yaml["path"])  # dataset root dir

  urls = [f"{ASSETS_URL}/coco2017labels-pose.zip"]
  download(urls, dir=dir.parent)

  # Download data (test2017.zip excluded: ground truth is withheld, only used for the CodaLab test-dev split)
  urls = [
      "http://images.cocodataset.org/zips/train2017.zip",  # 19G, 118k images
      "http://images.cocodataset.org/zips/val2017.zip",  # 1G, 5k images
  ]
  download(urls, dir=dir / "images", threads=3)

Использование#

Чтобы обучить модель YOLO26n-pose на датасете COCO-Pose в течение 100 эпох с размером изображения 640, ты можешь использовать следующие фрагменты кода. Полный список доступных аргументов см. на странице модели Обучение.

Пример обучения
from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-pose.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="coco-pose.yaml", epochs=100, imgsz=640)

Примеры изображений и аннотации#

Набор данных COCO-Pose содержит разнообразный набор изображений с человеческими фигурами, аннотированными ключевыми точками. Вот несколько примеров изображений из этого набора данных вместе с соответствующими аннотациями:

COCO pose estimation dataset mosaic training batch

  • Мозаичное изображение: это изображение демонстрирует обучающий пакет, составленный из мозаично собранных изображений. Мозаика — это техника, используемая во время обучения, которая объединяет несколько изображений в одно, чтобы увеличить разнообразие объектов и сцен в каждом обучающем пакете. Это помогает улучшить способность модели к обобщению при работе с объектами различных размеров, соотношений сторон и контекстов.

Пример демонстрирует разнообразие и сложность изображений в наборе данных COCO-Pose, а также преимущества использования мозаики в процессе обучения.

Цитирование и благодарности#

Если ты используешь набор данных COCO-Pose в своих исследованиях или разработках, пожалуйста, сошлися на следующую статью:

Цитата
@misc{lin2015microsoft,
      title={Microsoft COCO: Common Objects in Context},
      author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr Dollár},
      year={2015},
      eprint={1405.0312},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Мы хотели бы выразить признательность Консорциуму COCO за создание и поддержку этого ценного ресурса для сообщества компьютерного зрения. Дополнительную информацию о датасете COCO-Pose и его создателях можно найти на сайте датасета COCO.

FAQ#

  • COCO-Pose предоставляет изображения и аннотации COCO Keypoints 2017, преобразованные в формат ключевых точек YOLO с использованием схемы из 17 ключевых точек для 58 945 изображений. Укажи на него любую модель pose от Ultralytics с помощью data=coco-pose.yaml, а на странице Обучение описан каждый аргумент, который ты можешь настроить.

  • Загрузи yolo26n-pose.pt и вызови model.train(data="coco-pose.yaml", epochs=100, imgsz=640) — полный код для Python и CLI см. в разделе Пример обучения выше, а полный список аргументов — на странице обучения.

  • Датасет COCO-Pose предоставляет несколько стандартизированных метрик оценки для задач оценки позы, аналогичных исходному датасету COCO. Ключевые метрики включают сходство ключевых точек объекта (OKS), которое оценивает точность предсказанных ключевых точек по сравнению с истинной разметкой. Эти метрики позволяют проводить тщательное сравнение производительности различных моделей. Например, предобученные модели COCO-Pose, такие как YOLO26n-pose, YOLO26s-pose и другие, имеют конкретные метрики производительности, перечисленные в документации, такие как mAPpose50-95 и mAPpose50.

  • COCO-Pose поставляет два размеченных сплита: 56 599 изображений train2017 и 2 346 изображений val2017. Третий сплит, test-dev2017 (20 288 из 40 670 изображений test2017), сохраняет истинную разметку в тайме; YAML-файл датасета связывает его с сервером оценки ключевых точек COCO test-dev. Точные пути сплитов см. в разделе Структура датасета или в файле coco-pose.yaml на GitHub.

  • COCO-Pose использует 17 типов человеческих ключевых точек и наследует стандартизированные метрики COCO, включая сходство ключевых точек объекта (OKS), для сравнения моделей. Эта комбинация подходит для таких приложений с позами человека, как спортивная аналитика, здравоохранение и взаимодействие человека с компьютером. Предобученные веса YOLO26-pose перечислены в разделе Предобученные модели COCO-Pose.

    Подробнее о моделях ключевых точек см. в документации по задаче Оценка позы.

Комментарии