Ultralytics YOLO27:

Conjunto de dados COCO-Pose#

O conjunto de dados COCO-Pose adapta o COCO (Objetos comuns em contexto) para a estimativa de pose: 58.945 imagens do COCO Keypoints 2017, anotadas com 156.165 pessoas usando um esquema de 17 pontos-chave. É o conjunto de referência para treinar e avaliar modelos de pontos-chave, como o Ultralytics YOLO26, e o subconjunto COCO8-Pose, com 8 imagens, reproduz seu formato para verificações rápidas de sanidade.

Estimativa de pose no COCO com pontos-chave humanos

Modelos pré-treinados com COCO-Pose#

Modelotamanho
(pixels)
mAPpose
50-95(e2e)
mAPpose
50(e2e)
Velocidade
CPU ONNX
(ms)
Velocidade
T4 TensorRT10
(ms)
parâmetros
(M)
FLOPs
(B)
YOLO26n-pose64057.283.340.3 ± 0.51.8 ± 0.02.97.6
YOLO26s-pose64063.086.685.3 ± 0.92.7 ± 0.010.424.1
YOLO26m-pose64068.889.6218.0 ± 1.55.0 ± 0.121.573.3
YOLO26l-pose64070.490.5275.4 ± 2.46.5 ± 0.125.991.7
YOLO26x-pose64071.691.6565.4 ± 3.012.2 ± 0.257.6202.3

Principais funcionalidades#

  • COCO-Pose é baseado no desafio COCO Keypoints 2017, que rotula 1.710.498 pontos-chave individuais em 156.165 pessoas anotadas.
  • Cada anotação de pessoa usa 17 tipos de pontos-chave — nariz, olhos, orelhas, ombros, cotovelos, pulsos, quadris, joelhos e tornozelos — armazenados como tuplas (x, y, visibility).
  • Assim como o COCO, ele oferece métricas de avaliação padronizadas, incluindo a Similaridade de pontos-chave de objetos (OKS) para tarefas de estimativa de pose, o que o torna adequado para comparar o desempenho dos modelos.
  • Tamanho do download: ~20.2 GB no primeiro uso (train2017.zip + val2017.zip + rótulos). O arquivo test2017.zip, de 7 GB, não é baixado automaticamente, pois essas imagens têm a verdade fundamental retida e só são necessárias para uma submissão ao test-dev2017.

Estrutura do conjunto de dados#

Para treinamento e validação, COCO-Pose inclui apenas imagens do COCO 2017 com pessoas anotadas com pontos-chave; por isso, suas divisões rotuladas são menores do que o COCO completo. O arquivo YAML define três subconjuntos:

  1. Train2017: Este subconjunto contém 56.599 imagens do conjunto de dados COCO, anotadas para treinar modelos de estimativa de pose.
  2. Val2017: Este subconjunto contém 2.346 imagens usadas para validação durante o treinamento do modelo.
  3. Test-dev2017: Um subconjunto de 20.288 imagens do conjunto test2017 completo, que contém 40.670 imagens e tem a verdade fundamental retida. O arquivo YAML do conjunto de dados vincula essa divisão ao servidor de avaliação de pontos-chave do COCO test-dev.

É nesse tipo de treinamento em grande escala que a Plataforma Ultralytics mais ajuda: ela gerencia os recursos computacionais para que você possa iniciar e monitorar execuções sem provisionar suas próprias GPUs.

Aplicações#

O conjunto de dados COCO-Pose é usado especificamente para treinar e avaliar modelos de aprendizado profundo em detecção de pontos-chave e estimativa de pose. O grande número de imagens anotadas e as métricas de avaliação padronizadas fazem desse conjunto de dados um recurso essencial para pesquisadores e profissionais de visão computacional que trabalham com poses humanas.

YAML do conjunto de dados#

Um arquivo YAML é usado para definir a configuração do conjunto de dados. Ele contém informações sobre os caminhos, as classes e outros dados relevantes do conjunto. No caso do conjunto de dados COCO-Pose, o arquivo coco-pose.yaml é mantido em https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/coco-pose.yaml.

ultralytics/cfg/datasets/coco-pose.yaml
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# COCO 2017 Keypoints dataset https://cocodataset.org by Microsoft
# Documentation: https://docs.ultralytics.com/datasets/pose/coco
# Example usage: yolo train data=coco-pose.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── coco-pose ← downloads here (20.2 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: coco-pose # dataset root dir
train: train2017.txt # train images (relative to 'path') 56599 images
val: val2017.txt # val images (relative to 'path') 2346 images
test: test-dev2017.txt # 20288 of 40670 images, submit to https://codalab.lisn.upsaclay.fr/competitions/7403

# Keypoints
kpt_shape: [17, 3] # number of keypoints, number of dims (2 for x,y or 3 for x,y,visible)
flip_idx: [0, 2, 1, 4, 3, 6, 5, 8, 7, 10, 9, 12, 11, 14, 13, 16, 15]

# Classes
names:
  0: person

# Keypoint names per class
kpt_names:
  0:
    - nose
    - left_eye
    - right_eye
    - left_ear
    - right_ear
    - left_shoulder
    - right_shoulder
    - left_elbow
    - right_elbow
    - left_wrist
    - right_wrist
    - left_hip
    - right_hip
    - left_knee
    - right_knee
    - left_ankle
    - right_ankle

# Download script/URL (optional)
download: |
  from pathlib import Path

  from ultralytics.utils import ASSETS_URL
  from ultralytics.utils.downloads import download

  # Download labels
  dir = Path(yaml["path"])  # dataset root dir

  urls = [f"{ASSETS_URL}/coco2017labels-pose.zip"]
  download(urls, dir=dir.parent)

  # Download data (test2017.zip excluded: ground truth is withheld, only used for the CodaLab test-dev split)
  urls = [
      "http://images.cocodataset.org/zips/train2017.zip",  # 19G, 118k images
      "http://images.cocodataset.org/zips/val2017.zip",  # 1G, 5k images
  ]
  download(urls, dir=dir / "images", threads=3)

Uso#

Para treinar um modelo YOLO26n-pose no conjunto de dados COCO-Pose por 100 épocas, com imagens de tamanho 640, você pode usar os trechos de código a seguir. Para ver a lista completa de argumentos disponíveis, consulte a página de treinamento do modelo.

Exemplo de treino
from ultralytics import YOLO

# Carregar um modelo
model = YOLO("yolo26n-pose.pt")  # carregue um modelo pré-treinado (recomendado para treinamento)

# Treinar o modelo
results = model.train(data="coco-pose.yaml", epochs=100, imgsz=640)

Imagens de exemplo e anotações#

O conjunto de dados COCO-Pose contém um conjunto diversificado de imagens com figuras humanas anotadas com pontos-chave. Aqui estão alguns exemplos de imagens do conjunto de dados, junto com suas anotações correspondentes:

Mosaico de um lote de treinamento do conjunto de dados de estimativa de pose COCO

  • Imagem em mosaico: esta imagem mostra um lote de treinamento composto por imagens do conjunto de dados organizadas em mosaico. A criação de mosaicos é uma técnica usada durante o treinamento que combina várias imagens numa só para aumentar a variedade de objetos e cenas em cada lote de treinamento. Isso ajuda a melhorar a capacidade do modelo de generalizar para diferentes tamanhos de objetos, proporções e contextos.

O exemplo mostra a variedade e a complexidade das imagens no conjunto de dados COCO-Pose e os benefícios do uso de mosaicos durante o processo de treinamento.

Citações e agradecimentos#

Se você usar o conjunto de dados COCO-Pose em sua pesquisa ou trabalho de desenvolvimento, cite o artigo a seguir:

Citação
@misc{lin2015microsoft,
      title={Microsoft COCO: Common Objects in Context},
      author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr Dollár},
      year={2015},
      eprint={1405.0312},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Gostaríamos de agradecer ao Consórcio COCO por criar e manter esse valioso recurso para a comunidade de visão computacional. Para saber mais sobre o conjunto de dados COCO-Pose e seus criadores, visite o site do conjunto de dados COCO.

Perguntas frequentes#

  • O COCO-Pose fornece as imagens e anotações do COCO Keypoints 2017 convertidas para o formato de pontos-chave do YOLO, usando um esquema de 17 pontos-chave em 58,945 imagens. Aponte qualquer modelo de pose do Ultralytics YOLO para data=coco-pose.yaml; a página de Treinamento documenta todos os argumentos que você pode ajustar a partir daí.

  • Carregue yolo26n-pose.pt e chame model.train(data="coco-pose.yaml", epochs=100, imgsz=640) — consulte o Exemplo de treinamento acima para ver os trechos completos de Python e CLI, e a página de treinamento para obter uma lista abrangente de argumentos.

  • O conjunto de dados COCO-Pose fornece várias métricas padronizadas para avaliar tarefas de estimativa de pose, semelhantes às do conjunto de dados COCO original. Entre as principais métricas está a Similaridade de Pontos-chave do Objeto (OKS), que avalia a precisão dos pontos-chave previstos em relação às anotações de referência. Essas métricas permitem comparações rigorosas de desempenho entre diferentes modelos. Por exemplo, os modelos pré-treinados COCO-Pose, como YOLO26n-pose, YOLO26s-pose e outros, têm métricas de desempenho específicas listadas na documentação, como mAPpose50-95 e mAPpose50.

  • O COCO-Pose inclui duas divisões rotuladas: 56,599 imagens train2017 e 2,346 imagens val2017. Uma terceira divisão, test-dev2017 (20,288 das 40,670 imagens test2017 completas), mantém os dados de referência privados; o YAML do conjunto de dados a vincula ao servidor de avaliação de pontos-chave COCO test-dev. Consulte a seção Estrutura do conjunto de dados ou o arquivo coco-pose.yaml no GitHub para ver os caminhos exatos das divisões.

  • O COCO-Pose usa 17 tipos de pontos-chave humanos e herda as métricas padronizadas do COCO, incluindo a Similaridade de Pontos-chave do Objeto (OKS), para comparar modelos. Essa combinação é adequada para aplicações de pose humana, como análise esportiva, saúde e interação humano-computador. Os pesos pré-treinados YOLO26-pose estão listados em Modelos pré-treinados COCO-Pose.

    Para saber mais sobre modelos de pontos-chave, consulte a documentação da tarefa de Estimativa de pose.

Comentários