Набор данных COCO-Pose
Набор данных COCO-Pose - это специализированная версия набора данных COCO (Common Objects in Context), предназначенная для задач оценки позы. В ней используются изображения и метки COCO Keypoints 2017, что позволяет обучать модели типа YOLO для задач оценки позы.
Предварительно обученные модели COCO-Pose
Модель | Размер (пикселей) |
mAPpose 50-95 |
mAPpose 50 |
Скорость CPU ONNX (мс) |
Скорость A100 TensorRT (мс) |
params (M) |
FLOPs (B) |
---|---|---|---|---|---|---|---|
YOLOv8n-pose | 640 | 50.4 | 80.1 | 131.8 | 1.18 | 3.3 | 9.2 |
YOLOv8s-pose | 640 | 60.0 | 86.2 | 233.2 | 1.42 | 11.6 | 30.2 |
YOLOv8m-pose | 640 | 65.0 | 88.8 | 456.3 | 2.00 | 26.4 | 81.0 |
YOLOv8l-pose | 640 | 67.6 | 90.0 | 784.5 | 2.59 | 44.4 | 168.6 |
YOLOv8x-pose | 640 | 69.2 | 90.2 | 1607.1 | 3.73 | 69.4 | 263.2 |
YOLOv8x-pose-p6 | 1280 | 71.6 | 91.2 | 4088.7 | 10.04 | 99.1 | 1066.4 |
Основные характеристики
- COCO-Pose построен на базе датасета COCO Keypoints 2017, который содержит 200K изображений, помеченных ключевыми точками для задач оценки позы.
- Набор данных поддерживает 17 ключевых точек для человеческих фигур, что облегчает детальную оценку позы.
- Как и COCO, он предоставляет стандартизированные метрики оценки, включая сходство по ключевым точкам объектов (OKS) для задач оценки позы, что делает его подходящим для сравнения производительности моделей.
Структура набора данных
Набор данных COCO-Pose разбит на три подмножества:
- Train2017: Это подмножество содержит часть из 118 тысяч изображений из набора данных COCO, аннотированных для тренировки моделей оценки позы.
- Val2017: В этом подмножестве собраны изображения, которые использовались для проверки во время обучения модели.
- Test2017: Это подмножество состоит из изображений, используемых для тестирования и бенчмаркинга обученных моделей. Наземные истинные аннотации для этого подмножества не находятся в открытом доступе, и результаты отправляются на сервер оценки COCO для оценки производительности.
Приложения
Набор данных COCO-Pose специально используется для обучения и оценки моделей глубокого обучения в задачах обнаружения ключевых точек и оценки позы, таких как OpenPose. Большое количество аннотированных изображений и стандартизированные метрики оценки делают этот набор данных важным ресурсом для исследователей и практиков в области компьютерного зрения, занимающихся оценкой позы.
Набор данных YAML
Для определения конфигурации набора данных используется файл YAML (Yet Another Markup Language). Он содержит информацию о путях к набору данных, классах и другую необходимую информацию. В случае с набором данных COCO-Pose файл coco-pose.yaml
файл хранится по адресу https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/coco-pose.yaml.
ultralytics/cfg/datasets/coco-pose.yaml
# Ultralytics YOLO 🚀, AGPL-3.0 license
# COCO 2017 dataset https://cocodataset.org by Microsoft
# Documentation: https://docs.ultralytics.com/datasets/pose/coco/
# Example usage: yolo train data=coco-pose.yaml
# parent
# ├── ultralytics
# └── datasets
# └── coco-pose ← downloads here (20.1 GB)
# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/coco-pose # dataset root dir
train: train2017.txt # train images (relative to 'path') 118287 images
val: val2017.txt # val images (relative to 'path') 5000 images
test: test-dev2017.txt # 20288 of 40670 images, submit to https://competitions.codalab.org/competitions/20794
# Keypoints
kpt_shape: [17, 3] # number of keypoints, number of dims (2 for x,y or 3 for x,y,visible)
flip_idx: [0, 2, 1, 4, 3, 6, 5, 8, 7, 10, 9, 12, 11, 14, 13, 16, 15]
# Classes
names:
0: person
# Download script/URL (optional)
download: |
from ultralytics.utils.downloads import download
from pathlib import Path
# Download labels
dir = Path(yaml['path']) # dataset root dir
url = 'https://github.com/ultralytics/yolov5/releases/download/v1.0/'
urls = [url + 'coco2017labels-pose.zip'] # labels
download(urls, dir=dir.parent)
# Download data
urls = ['http://images.cocodataset.org/zips/train2017.zip', # 19G, 118k images
'http://images.cocodataset.org/zips/val2017.zip', # 1G, 5k images
'http://images.cocodataset.org/zips/test2017.zip'] # 7G, 41k images (optional)
download(urls, dir=dir / 'images', threads=3)
Использование
Чтобы обучить модель YOLOv8n-pose на наборе данных COCO-Pose в течение 100 эпох при размере изображения 640, ты можешь воспользоваться следующими фрагментами кода. Полный список доступных аргументов ты найдешь на странице обучения модели.
Пример поезда
Примеры изображений и аннотаций
Набор данных COCO-Pose содержит разнообразный набор изображений с человеческими фигурами, аннотированными ключевыми точками. Вот несколько примеров изображений из этого набора, а также соответствующие им аннотации:
- Мозаичное изображение: Это изображение демонстрирует тренировочную партию, состоящую из мозаичных изображений набора данных. Мозаика - это техника, используемая во время обучения, которая объединяет несколько изображений в одно, чтобы увеличить разнообразие объектов и сцен в каждой обучающей партии. Это помогает улучшить способность модели к обобщению на различные размеры объектов, соотношение сторон и контекст.
Этот пример демонстрирует разнообразие и сложность изображений в наборе данных COCO-Pose и преимущества использования мозаики в процессе обучения.
Цитаты и благодарности
Если ты используешь набор данных COCO-Pose в своих исследованиях или разработках, пожалуйста, ссылайся на следующую статью:
@misc{lin2015microsoft,
title={Microsoft COCO: Common Objects in Context},
author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr Dollár},
year={2015},
eprint={1405.0312},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
Мы хотели бы выразить благодарность консорциуму COCO за создание и поддержку этого ценного ресурса для сообщества компьютерного зрения. Чтобы узнать больше о наборе данных COCO-Pose и его создателях, посети сайт набора данных COCO.