Ultralytics YOLO27:

Conjunto de dados COCO-Seg#

O conjunto de dados COCO-Seg oferece máscaras de segmentação de instâncias do COCO (Objetos Comuns em Contexto) — 118.287 imagens de treino e 5.000 de validação, com máscaras poligonais em 80 categorias de objetos — no formato de rótulos Ultralytics YOLO. Ele usa as imagens originais e as anotações de segmentação nativas do COCO, convertidas para o treino YOLO, sendo um recurso essencial para pesquisadores e desenvolvedores que trabalham com tarefas de segmentação de instâncias.

Modelos pré-treinados COCO-Seg#

Modelotamanho
(pixels)
mAPcaixa
50-95(e2e)
mAPmáscara
50-95(e2e)
Velocidade
CPU ONNX
(ms)
Velocidade
T4 TensorRT10
(ms)
parâmetros
(M)
FLOPs
(B)
YOLO26n-seg64039.633.953.3 ± 0.52.1 ± 0.02.79.3
YOLO26s-seg64047.340.0118.4 ± 0.93.3 ± 0.010.434.5
YOLO26m-seg64052.544.1328.2 ± 2.46.7 ± 0.123.6121.7
YOLO26l-seg64054.445.5387.0 ± 3.78.0 ± 0.128.0140.1
YOLO26x-seg64056.547.0787.0 ± 6.816.4 ± 0.162.8314.0

Principais funcionalidades#

  • O COCO-Seg oferece máscaras de segmentação de instâncias para 123.287 imagens rotuladas do COCO train2017/val2017 (118.287 de treino + 5.000 de validação), dentro do conjunto mais amplo de cerca de ~330 mil imagens do COCO.
  • O conjunto de dados contém as mesmas 80 categorias de objetos do conjunto de dados COCO original.
  • As anotações fornecem máscaras de segmentação de instâncias no formato de rótulos poligonais YOLO.
  • O COCO-Seg oferece métricas mAP e mAR padronizadas para avaliar o desempenho da segmentação de instâncias, permitindo comparar modelos de forma eficaz.
  • Tamanho do download: cerca de ~20,3 GB na primeira utilização (train2017.zip + val2017.zip + rótulos). O arquivo test2017.zip, de 7 GB, não é baixado automaticamente, pois essas imagens não têm dados de referência disponíveis e só são necessárias para uma submissão test-dev2017.

Estrutura do conjunto de dados#

O conjunto de dados COCO-Seg está dividido em três subconjuntos:

  1. Train2017: 118.287 imagens para treinar modelos de segmentação de instâncias.
  2. Val2017: 5.000 imagens usadas para validação durante o desenvolvimento do modelo.
  3. Test-dev2017: 20.288 das 40.670 imagens test2017, usadas para benchmarking. As anotações de ground truth desse subconjunto não estão disponíveis publicamente, então as predições devem ser enviadas ao servidor de avaliação do COCO para pontuação.

Para experimentos em menor escala, veja os subconjuntos COCO128-Seg (128 imagens) e COCO8-Seg (8 imagens).

Aplicações#

O COCO-Seg é amplamente usado para treinar e avaliar modelos de aprendizagem profunda em segmentação de instâncias, como os modelos YOLO. O grande número de imagens anotadas, a diversidade das categorias de objetos e as métricas de avaliação padronizadas fazem dele um recurso indispensável para pesquisadores e profissionais de visão computacional. Também é possível explorar e gerenciar as anotações completas do COCO-Seg na Ultralytics Platform.

YAML do conjunto de dados#

Um arquivo YAML é usado para definir a configuração do conjunto de dados. Ele contém informações sobre os caminhos, as classes e outros dados relevantes do conjunto de dados. No caso do conjunto de dados COCO-Seg, o arquivo coco.yaml é mantido em https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/coco.yaml.

ultralytics/cfg/datasets/coco.yaml
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# COCO 2017 dataset https://cocodataset.org by Microsoft
# Documentation: https://docs.ultralytics.com/datasets/detect/coco
# Example usage: yolo train data=coco.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── coco ← downloads here (20.3 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: coco # dataset root dir
train: train2017.txt # train images (relative to 'path') 118287 images
val: val2017.txt # val images (relative to 'path') 5000 images
test: test-dev2017.txt # 20288 of 40670 images, submit via https://cocodataset.org/#detection-eval

# Classes
names:
  0: person
  1: bicycle
  2: car
  3: motorcycle
  4: airplane
  5: bus
  6: train
  7: truck
  8: boat
  9: traffic light
  10: fire hydrant
  11: stop sign
  12: parking meter
  13: bench
  14: bird
  15: cat
  16: dog
  17: horse
  18: sheep
  19: cow
  20: elephant
  21: bear
  22: zebra
  23: giraffe
  24: backpack
  25: umbrella
  26: handbag
  27: tie
  28: suitcase
  29: frisbee
  30: skis
  31: snowboard
  32: sports ball
  33: kite
  34: baseball bat
  35: baseball glove
  36: skateboard
  37: surfboard
  38: tennis racket
  39: bottle
  40: wine glass
  41: cup
  42: fork
  43: knife
  44: spoon
  45: bowl
  46: banana
  47: apple
  48: sandwich
  49: orange
  50: broccoli
  51: carrot
  52: hot dog
  53: pizza
  54: donut
  55: cake
  56: chair
  57: couch
  58: potted plant
  59: bed
  60: dining table
  61: toilet
  62: tv
  63: laptop
  64: mouse
  65: remote
  66: keyboard
  67: cell phone
  68: microwave
  69: oven
  70: toaster
  71: sink
  72: refrigerator
  73: book
  74: clock
  75: vase
  76: scissors
  77: teddy bear
  78: hair drier
  79: toothbrush

# Download script/URL (optional)
download: |
  from pathlib import Path

  from ultralytics.utils import ASSETS_URL
  from ultralytics.utils.downloads import download

  # Download labels
  segments = True  # segment or box labels
  dir = Path(yaml["path"])  # dataset root dir
  urls = [ASSETS_URL + ("/coco2017labels-segments.zip" if segments else "/coco2017labels.zip")]  # labels
  download(urls, dir=dir.parent)

  # Download data (test2017.zip excluded: ground truth is withheld, only used for the eval-server test-dev split)
  urls = [
      "http://images.cocodataset.org/zips/train2017.zip",  # 19G, 118k images
      "http://images.cocodataset.org/zips/val2017.zip",  # 1G, 5k images
  ]
  download(urls, dir=dir / "images", threads=3)

Uso#

Para treinar um modelo YOLO26n-seg no conjunto de dados COCO-Seg por 100 épocas, com tamanho de imagem 640, você pode usar os trechos de código a seguir. Para ver a lista completa de argumentos disponíveis, consulte a página de treinamento do modelo.

Exemplo de treino
from ultralytics import YOLO

# Carregar um modelo
model = YOLO("yolo26n-seg.pt")  # carregue um modelo pré-treinado (recomendado para treinamento)

# Treinar o modelo
results = model.train(data="coco.yaml", epochs=100, imgsz=640)

Imagens de exemplo e anotações#

O COCO-Seg contém as mesmas imagens diversificadas, categorias de objetos e cenas complexas do COCO, com máscaras de segmentação de instâncias no formato de rótulo YOLO. Veja alguns exemplos de imagens do conjunto de dados e as respectivas máscaras de segmentação de instâncias:

Mosaico do lote de treinamento do conjunto de dados de segmentação COCO

  • Imagem em mosaico: esta imagem mostra um lote de treinamento composto por imagens do conjunto de dados organizadas em mosaico. O mosaico é uma técnica usada durante o treinamento que combina várias imagens em uma só para aumentar a variedade de objetos e cenas em cada lote de treinamento. Isso ajuda o modelo a generalizar para diferentes tamanhos de objetos, proporções e contextos.

Citações e agradecimentos#

Se você usar o conjunto de dados COCO-Seg em seus trabalhos de pesquisa ou desenvolvimento, cite o artigo original do COCO e reconheça a extensão COCO-Seg:

Citação
@misc{lin2015microsoft,
      title={Microsoft COCO: Common Objects in Context},
      author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr Dollár},
      year={2015},
      eprint={1405.0312},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Agradecemos ao COCO Consortium por criar e manter esse recurso inestimável para a comunidade de visão computacional. Para saber mais sobre o conjunto de dados COCO e seus criadores, visite o site do conjunto de dados COCO.

Perguntas frequentes#

  • COCO-Seg é a compilação no formato Ultralytics YOLO das máscaras nativas de segmentação de instâncias do COCO (Objetos Comuns em Contexto), para as mesmas 118.287 imagens train2017 e 5.000 imagens val2017. As anotações originais do COCO já incluem essas máscaras poligonais para todas as 80 categorias de objetos; o COCO-Seg as converte para o formato de rótulo YOLO usado no treinamento de segmentação de instâncias de objetos.

  • Para treinar um modelo YOLO26n-seg no conjunto de dados COCO-Seg por 100 épocas, com tamanho de imagem 640, você pode usar os trechos de código a seguir. Para ver uma lista detalhada dos argumentos de treinamento disponíveis, consulte a página de treinamento do modelo.

    Exemplo de treino
    from ultralytics import YOLO
    
    # Carregar um modelo
    model = YOLO("yolo26n-seg.pt")  # carregue um modelo pré-treinado (recomendado para treinamento)
    
    # Treinar o modelo
    results = model.train(data="coco.yaml", epochs=100, imgsz=640)
  • O conjunto de dados COCO-Seg inclui vários recursos importantes:

    • Fornece máscaras de segmentação de instâncias para 123.287 imagens COCO train2017/val2017 rotuladas (118.287 train + 5.000 val).
    • Anota as mesmas 80 categorias de objetos encontradas no COCO original.
    • Fornece máscaras de segmentação de instâncias no formato de rótulo poligonal YOLO.
    • Usa métricas de avaliação padronizadas, como Precisão Média (Precision média, mAP) e Recall Médio (mAR), para tarefas de segmentação de instâncias.
  • O conjunto de dados COCO-Seg é compatível com vários modelos YOLO26 de segmentação pré-treinados, com diferentes métricas de desempenho. Veja um resumo dos modelos disponíveis e suas principais métricas:

    Modelotamanho
    (pixels)
    mAPcaixa
    50-95(e2e)
    mAPmáscara
    50-95(e2e)
    Velocidade
    CPU ONNX
    (ms)
    Velocidade
    T4 TensorRT10
    (ms)
    parâmetros
    (M)
    FLOPs
    (B)
    YOLO26n-seg64039.633.953.3 ± 0.52.1 ± 0.02.79.3
    YOLO26s-seg64047.340.0118.4 ± 0.93.3 ± 0.010.434.5
    YOLO26m-seg64052.544.1328.2 ± 2.46.7 ± 0.123.6121.7
    YOLO26l-seg64054.445.5387.0 ± 3.78.0 ± 0.128.0140.1
    YOLO26x-seg64056.547.0787.0 ± 6.816.4 ± 0.162.8314.0

    Esses modelos vão do leve YOLO26n-seg ao mais potente YOLO26x-seg, oferecendo diferentes equilíbrios entre velocidade e precisão para atender aos requisitos de várias aplicações. Para saber mais sobre a seleção de modelos, visite a página de modelos da Ultralytics.

  • O conjunto de dados COCO-Seg está dividido em três subconjuntos para atender a necessidades específicas de treinamento e avaliação:

    1. Train2017: contém 118.287 imagens usadas principalmente para treinar modelos de segmentação de instâncias.
    2. Val2017: inclui 5.000 imagens usadas para validação durante o processo de treinamento.
    3. Test-dev2017: inclui 20.288 das 40.670 imagens test2017 reservadas para testar e avaliar modelos treinados. Observe que as anotações de ground truth desse subconjunto não estão disponíveis publicamente e que os resultados de desempenho são enviados ao servidor de avaliação do COCO para análise.

    Para experimentos em menor escala, você também pode considerar o conjunto de dados COCO128-Seg (128 imagens) ou o conjunto de dados COCO8-Seg, uma versão compacta com apenas 8 imagens do conjunto COCO train 2017.

Comentários