Visão geral dos conjuntos de dados de estimativa de pose
Formatos de conjuntos de dados suportados
Ultralytics YOLO formato
O formato da etiqueta do conjunto de dados utilizado para treinar os modelos de pose do YOLO é o seguinte:
- Um ficheiro de texto por imagem: Cada imagem do conjunto de dados tem um ficheiro de texto correspondente com o mesmo nome que o ficheiro de imagem e a extensão ".txt".
- Uma linha por objeto: Cada linha no ficheiro de texto corresponde a uma instância de objeto na imagem.
- Informação do objeto por linha: Cada linha contém as seguintes informações sobre a instância do objeto:
- Índice da classe do objeto: Um número inteiro que representa a classe do objeto (por exemplo, 0 para pessoa, 1 para carro, etc.).
- Coordenadas do centro do objeto: As coordenadas x e y do centro do objeto, normalizadas para estarem entre 0 e 1.
- Largura e altura do objeto: A largura e a altura do objeto, normalizadas para estarem entre 0 e 1.
- Coordenadas do ponto-chave do objeto: Os pontos-chave do objeto, normalizados para estarem entre 0 e 1.
Segue-se um exemplo do formato da etiqueta para a tarefa de estimativa de pose:
Formata com Dim = 2
Formata com Dim = 3
<class-index> <x> <y> <width> <height> <px1> <py1> <p1-visibility> <px2> <py2> <p2-visibility> <pxn> <pyn> <p2-visibility>
Neste formato, <class-index> é o índice da classe do objeto,<x> <y> <width> <height> são as coordenadas da caixa delimitadora, e <px1> <py1> <px2> <py2> ... <pxn> <pyn> são as coordenadas de píxeis dos pontos-chave. As coordenadas são separadas por espaços.
Formato YAML do conjunto de dados
A estrutura Ultralytics usa um formato de arquivo YAML para definir o conjunto de dados e a configuração do modelo para treinar Modelos de deteção. Aqui está um exemplo do formato YAML usado para definir um conjunto de dados de deteção:
# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/coco8-pose # dataset root dir
train: images/train # train images (relative to 'path') 4 images
val: images/val # val images (relative to 'path') 4 images
test: # test images (optional)
# Keypoints
kpt_shape: [17, 3] # number of keypoints, number of dims (2 for x,y or 3 for x,y,visible)
flip_idx: [0, 2, 1, 4, 3, 6, 5, 8, 7, 10, 9, 12, 11, 14, 13, 16, 15]
# Classes dictionary
names:
0: person
O train e val especificam os caminhos para os directórios que contêm as imagens de treino e de validação, respetivamente.
names é um dicionário de nomes de classes. A ordem dos nomes deve corresponder à ordem dos índices das classes de objectos nos ficheiros do conjunto de dados YOLO .
(Opcional) se os pontos forem simétricos, então precisas de flip_idx, como o lado esquerdo-direito de uma pessoa ou rosto. Por exemplo, se assumirmos cinco pontos-chave da marca facial: [olho esquerdo, olho direito, nariz, boca esquerda, boca direita], e o índice original é [0, 1, 2, 3, 4], então flip_idx é [1, 0, 2, 4, 3] (troca apenas o índice esquerdo-direito, ou seja, 0-1 e 3-4, e não modifica outros como o nariz neste exemplo).
Utilização
Exemplo
Conjuntos de dados suportados
Esta secção descreve os conjuntos de dados que são compatíveis com o formato Ultralytics YOLO e que podem ser utilizados para treinar modelos de estimativa de pose:
COCO-Pose
- Descrição: COCO-Pose é um conjunto de dados de deteção de objectos, segmentação e estimativa de pose em grande escala. É um subconjunto do popular conjunto de dados COCO e concentra-se na estimativa da pose humana. COCO-Pose inclui múltiplos pontos-chave para cada instância humana.
- Formato da etiqueta: Igual ao formato Ultralytics YOLO descrito acima, com pontos-chave para poses humanas.
- Número de classes: 1 (Humano).
- Pontos-chave: 17 pontos-chave, incluindo nariz, olhos, orelhas, ombros, cotovelos, pulsos, ancas, joelhos e tornozelos.
- Utilização: Adequado para treinar modelos de estimativa de pose humana.
- Notas adicionais: O conjunto de dados é rico e diversificado, contendo mais de 200 mil imagens etiquetadas.
- Ler mais sobre COCO-Pose
COCO8-Pose
- Descrição: Ultralytics COCO8-Pose é um pequeno, mas versátil conjunto de dados de deteção de pose composto pelas primeiras 8 imagens do conjunto COCO train 2017, 4 para treino e 4 para validação.
- Formato da etiqueta: Igual ao formato Ultralytics YOLO descrito acima, com pontos-chave para poses humanas.
- Número de classes: 1 (Humano).
- Pontos-chave: 17 pontos-chave, incluindo nariz, olhos, orelhas, ombros, cotovelos, pulsos, ancas, joelhos e tornozelos.
- Utilização: Adequado para testar e depurar modelos de deteção de objectos, ou para experimentar novas abordagens de deteção.
- Notas adicionais: COCO8-Pose é ideal para verificações de sanidade e verificações de IC.
- Ler mais sobre COCO8-Pose
Pose de tigre
- Descrição: Ultralytics Este conjunto de dados de pose de animais inclui 263 imagens provenientes de um vídeo do YouTube, com 210 imagens alocadas para treino e 53 para validação.
- Formato da etiqueta: Igual ao formato Ultralytics YOLO descrito acima, com 12 pontos-chave para a pose do animal e sem dimensão visível.
- Número de classes: 1 (Tigre).
- Pontos-chave: 12 pontos-chave.
- Usa: Ótimo para a pose de animais ou qualquer outra pose que não seja humana.
- Ler mais sobre a pose do tigre
Adicionar o teu próprio conjunto de dados
Se tiveres o teu próprio conjunto de dados e quiseres utilizá-lo para treinar modelos de estimativa de pose com o formato Ultralytics YOLO , certifica-te de que segue o formato especificado acima em "Ultralytics YOLO format". Converte suas anotações para o formato necessário e especifica os caminhos, o número de classes e os nomes das classes no arquivo de configuração YAML.
Ferramenta de conversão
Ultralytics fornece uma ferramenta de conversão conveniente para converter etiquetas do popular formato de conjunto de dados COCO para o formato YOLO :
Exemplo
Esta ferramenta de conversão pode ser utilizada para converter o conjunto de dados COCO ou qualquer conjunto de dados no formato COCO para o formato Ultralytics YOLO . A ferramenta use_keypoints especifica se os pontos-chave (para estimativa da pose) devem ser incluídos nas etiquetas convertidas.
FAQ
Qual é o formato Ultralytics YOLO para a estimativa da pose?
O formato Ultralytics YOLO para conjuntos de dados de estimativa de pose envolve a etiquetagem de cada imagem com um ficheiro de texto correspondente. Cada linha do ficheiro de texto armazena informações sobre uma instância de objeto:
- Índice da classe de objeto
- Coordenadas do centro do objeto (x e y normalizados)
- Largura e altura do objeto (normalizadas)
- Coordenadas do ponto-chave do objeto (pxn e pyn normalizados)
Para poses 2D, os pontos-chave incluem coordenadas de píxeis. Para 3D, cada ponto-chave também tem um sinalizador de visibilidade. Para mais informações, consulta Ultralytics YOLO format.
Como é que utilizo o conjunto de dados COCO-Pose com Ultralytics YOLO ?
To use the COCO-Pose dataset with Ultralytics YOLO:
- Download the dataset and prepare your label files in the YOLO format.
- Create a YAML configuration file specifying paths to training and validation images, keypoint shape, and class names.
-
Use the configuration file for training:
Como posso adicionar o meu próprio conjunto de dados para a estimativa da pose em Ultralytics YOLO ?
To add your dataset:
- Convert your annotations to the Ultralytics YOLO format.
- Create a YAML configuration file specifying the dataset paths, number of classes, and class names.
-
Use the configuration file to train your model:
from ultralytics import YOLO model = YOLO("yolov8n-pose.pt") results = model.train(data="your-dataset.yaml", epochs=100, imgsz=640)For complete steps, check the Adding your own dataset section.
Qual é o objetivo do ficheiro YAML do conjunto de dados em Ultralytics YOLO ?
O arquivo YAML do conjunto de dados em Ultralytics YOLO define o conjunto de dados e a configuração do modelo para treinamento. Especifica caminhos para imagens de treino, validação e teste, formas de pontos-chave, nomes de classes e outras opções de configuração. Esse formato estruturado ajuda a simplificar o gerenciamento do conjunto de dados e o treinamento do modelo. Aqui está um exemplo de formato YAML:
Lê mais sobre a criação de ficheiros de configuração YAML no formato Dataset YAML.
Como posso converter as etiquetas do conjunto de dados COCO para o formato Ultralytics YOLO para estimativa da pose?
Ultralytics fornece uma ferramenta de conversão para converter etiquetas de conjuntos de dados COCO para o formato YOLO , incluindo informações sobre pontos-chave:
from ultralytics.data.converter import convert_coco
convert_coco(labels_dir="path/to/coco/annotations/", use_keypoints=True)
Esta ferramenta ajuda a integrar sem problemas os conjuntos de dados COCO nos projectos YOLO . Para mais informações, consulta a secção Ferramenta de Conversão.
