Inizia

Dataset COCO-Seg

COCO 2017 Segmentation preview 1
COCO 2017 Segmentation preview 2
COCO 2017 Segmentation preview 3
COCO 2017 Segmentation preview 4
123,272
COCO 2017 Segmentation
ultralytics
PublicSegment

Everyday photos with per-instance object masks, Microsoft COCO's 2017 release and the standard instance-segmentation benchmark. Images were gathered from Flickr and outlined by crowdworkers, with dense, overlapping objects at widely varying scales; only train and val are included because test-dev labels are withheld. Source: Lin et al., "Microsoft COCO: Common Objects in Context," ECCV 2014; cocodataset.org.

80 classes11.6 GBOct 23, 2026
personbicyclecarmotorcycle+76
instance-segmentationcocococo2017+1

Il dataset COCO-Seg fornisce maschere di segmentazione di istanze COCO (oggetti comuni nel contesto): 118,287 immagini di addestramento e 5,000 di convalida, con maschere poligonali per 80 categorie di oggetti, nel formato delle etichette Ultralytics YOLO. Usa le immagini originali e le annotazioni native di segmentazione di COCO, convertite per l'addestramento YOLO, ed è una risorsa standard per ricercatori e sviluppatori che lavorano su attività di segmentazione di istanze.

Modelli preaddestrati COCO-Seg#

Modellodimensione
(pixel)
mAPbox50-95
(e2e)
mAPmask50-95
(e2e)
Velocità
CPU ONNX
(ms)
Velocità
T4 TensorRT10
(ms)
parametri
(M)
FLOPs
(B)
YOLO26n-seg64039.633.953.3 ± 0.52.1 ± 0.02.79.3
YOLO26s-seg64047.340.0118.4 ± 0.93.3 ± 0.010.434.5
YOLO26m-seg64052.544.1328.2 ± 2.46.7 ± 0.123.6121.7
YOLO26l-seg64054.445.5387.0 ± 3.78.0 ± 0.128.0140.1
YOLO26x-seg64056.547.0787.0 ± 6.816.4 ± 0.162.8314.0

Funzionalità principali#

  • COCO-Seg fornisce maschere di segmentazione di istanze per 123.287 immagini COCO train2017/val2017 etichettate (118.287 di addestramento + 5.000 di convalida), su circa ~330.000 immagini della versione più ampia di COCO.
  • Il dataset comprende le stesse 80 categorie di oggetti del dataset COCO originale.
  • Le annotazioni forniscono maschere di segmentazione di istanze nel formato delle etichette poligonali YOLO.
  • COCO-Seg fornisce metriche standardizzate mAP e mAR per valutare le prestazioni della segmentazione di istanze, consentendo confronti efficaci tra modelli.
  • Dimensione del download: ~20,3 GB al primo utilizzo (train2017.zip + val2017.zip + etichette). Il file test2017.zip da 7 GB non viene scaricato automaticamente, poiché le relative immagini non hanno le annotazioni di riferimento e serve solo per una submission test-dev2017.

Struttura del dataset#

Il dataset COCO-Seg è suddiviso in tre sottoinsiemi:

  1. Train2017: 118.287 immagini per addestrare modelli di segmentazione delle istanze.
  2. Val2017: 5.000 immagini usate per la validazione durante lo sviluppo del modello.
  3. Test-dev2017: 20.288 delle 40.670 immagini di test2017, usate per il benchmarking. Le annotazioni di ground truth per questo sottoinsieme non sono disponibili pubblicamente, quindi le predizioni devono essere inviate al server di valutazione COCO per ottenere un punteggio.

Per le sperimentazioni su scala ridotta, consulta i sottoinsiemi COCO128-Seg (128 immagini) e COCO8-Seg (8 immagini).

Applicazioni#

COCO-Seg è ampiamente usato per addestrare e valutare modelli di deep learning nella segmentazione di istanze, ad esempio i modelli YOLO. L'elevato numero di immagini annotate, la varietà delle categorie di oggetti e le metriche di valutazione standardizzate ne fanno una risorsa di riferimento per ricercatori e professionisti della visione artificiale. Puoi anche esplorare e gestire le annotazioni complete di COCO-Seg su Ultralytics Platform.

YAML del dataset#

Un file YAML viene usato per definire la configurazione del dataset. Contiene informazioni sui percorsi, sulle classi e su altri aspetti rilevanti del dataset. Per il dataset COCO-Seg, il file coco.yaml è gestito in https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/coco.yaml.

ultralytics/cfg/datasets/coco.yaml
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# COCO 2017 dataset https://cocodataset.org by Microsoft
# Documentation: https://docs.ultralytics.com/datasets/detect/coco
# Example usage: yolo train data=coco.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── coco ← downloads here (20.3 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: coco # dataset root dir
train: train2017.txt # train images (relative to 'path') 118287 images
val: val2017.txt # val images (relative to 'path') 5000 images
test: test-dev2017.txt # 20288 of 40670 images, submit via https://cocodataset.org/#detection-eval

# Classes
names:
  0: person
  1: bicycle
  2: car
  3: motorcycle
  4: airplane
  5: bus
  6: train
  7: truck
  8: boat
  9: traffic light
  10: fire hydrant
  11: stop sign
  12: parking meter
  13: bench
  14: bird
  15: cat
  16: dog
  17: horse
  18: sheep
  19: cow
  20: elephant
  21: bear
  22: zebra
  23: giraffe
  24: backpack
  25: umbrella
  26: handbag
  27: tie
  28: suitcase
  29: frisbee
  30: skis
  31: snowboard
  32: sports ball
  33: kite
  34: baseball bat
  35: baseball glove
  36: skateboard
  37: surfboard
  38: tennis racket
  39: bottle
  40: wine glass
  41: cup
  42: fork
  43: knife
  44: spoon
  45: bowl
  46: banana
  47: apple
  48: sandwich
  49: orange
  50: broccoli
  51: carrot
  52: hot dog
  53: pizza
  54: donut
  55: cake
  56: chair
  57: couch
  58: potted plant
  59: bed
  60: dining table
  61: toilet
  62: tv
  63: laptop
  64: mouse
  65: remote
  66: keyboard
  67: cell phone
  68: microwave
  69: oven
  70: toaster
  71: sink
  72: refrigerator
  73: book
  74: clock
  75: vase
  76: scissors
  77: teddy bear
  78: hair drier
  79: toothbrush

# Download script/URL (optional)
download: |
  from pathlib import Path

  from ultralytics.utils import ASSETS_URL
  from ultralytics.utils.downloads import download

  # Download labels
  segments = True  # segment or box labels
  dir = Path(yaml["path"])  # dataset root dir
  urls = [ASSETS_URL + ("/coco2017labels-segments.zip" if segments else "/coco2017labels.zip")]  # labels
  download(urls, dir=dir.parent)

  # Download data (test2017.zip excluded: ground truth is withheld, only used for the eval-server test-dev split)
  urls = [
      "http://images.cocodataset.org/zips/train2017.zip",  # 19G, 118k images
      "http://images.cocodataset.org/zips/val2017.zip",  # 1G, 5k images
  ]
  download(urls, dir=dir / "images", threads=3)

Utilizzo#

Per addestrare un modello YOLO26n-seg sul dataset COCO-Seg per 100 epoche con una dimensione delle immagini di 640, puoi usare i seguenti snippet di codice.

Esempio di addestramento
from ultralytics import YOLO

# Carica un modello
model = YOLO("yolo26n-seg.pt")  # carica un modello preaddestrato (consigliato per l'addestramento)

# Addestra il modello
results = model.train(data="coco.yaml", epochs=100, imgsz=640)

Immagini di esempio e annotazioni#

COCO-Seg contiene le stesse immagini varie, categorie di oggetti e scene complesse di COCO, con maschere di segmentazione delle istanze nel formato di etichette YOLO. Ecco alcuni esempi di immagini del dataset e delle relative maschere di segmentazione delle istanze:

Mosaico di un batch di addestramento del dataset di segmentazione COCO

  • Immagine con mosaico: questa immagine mostra un batch di addestramento composto da immagini del dataset disposte a mosaico. Il mosaico è una tecnica usata durante l'addestramento che combina più immagini in un'unica immagine per aumentare la varietà di oggetti e scene in ogni batch di addestramento. Questo aiuta il modello a generalizzare a dimensioni degli oggetti, rapporti d'aspetto e contesti diversi.

Citazioni e ringraziamenti#

Se usi il dataset COCO-Seg nel tuo lavoro di ricerca o sviluppo, cita il paper originale di COCO e menziona l'estensione COCO-Seg:

Citazione
@misc{lin2015microsoft,
      title={Microsoft COCO: Common Objects in Context},
      author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr Dollár},
      year={2015},
      eprint={1405.0312},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Ringraziamo il Consorzio COCO per aver creato e mantenuto questa preziosa risorsa per la comunità della visione artificiale.

Domande frequenti#

  • COCO-Seg è il pacchetto in formato Ultralytics YOLO delle maschere native di segmentazione di istanze di COCO (oggetti comuni nel contesto) per le stesse 118,287 immagini train2017 e 5,000 immagini val2017. Le annotazioni originali di COCO includono già queste maschere poligonali per tutte le 80 categorie di oggetti; COCO-Seg le converte nel formato delle etichette YOLO usato per l'addestramento alla segmentazione di istanze di oggetti.

  • Per addestrare un modello YOLO26n-seg sul dataset COCO-Seg per 100 epoche con una dimensione delle immagini di 640, puoi usare i seguenti frammenti di codice. Per un elenco dettagliato degli argomenti di addestramento disponibili, consulta la pagina Addestramento del modello.

    Esempio di addestramento
    from ultralytics import YOLO
    
    # Carica un modello
    model = YOLO("yolo26n-seg.pt")  # carica un modello preaddestrato (consigliato per l'addestramento)
    
    # Addestra il modello
    results = model.train(data="coco.yaml", epochs=100, imgsz=640)
  • Il dataset COCO-Seg include diverse caratteristiche principali:

    • Fornisce maschere di segmentazione delle istanze per 123.287 immagini COCO train2017/val2017 etichettate (118.287 train + 5.000 val).
    • Annota le stesse 80 categorie di oggetti presenti nel COCO originale.
    • Fornisce maschere di segmentazione delle istanze nel formato di etichette poligonali YOLO.
    • Usa metriche di valutazione standardizzate come la precisione media media (mAP) e il richiamo medio medio (mAR) per le attività di segmentazione di istanze.
  • Il dataset COCO-Seg supporta diversi modelli di segmentazione YOLO26 preaddestrati, con metriche di prestazione variabili. Ecco un riepilogo dei modelli disponibili e delle relative metriche principali:

    Modellodimensione
    (pixel)
    mAPbox50-95
    (e2e)
    mAPmask50-95
    (e2e)
    Velocità
    CPU ONNX
    (ms)
    Velocità
    T4 TensorRT10
    (ms)
    parametri
    (M)
    FLOPs
    (B)
    YOLO26n-seg64039.633.953.3 ± 0.52.1 ± 0.02.79.3
    YOLO26s-seg64047.340.0118.4 ± 0.93.3 ± 0.010.434.5
    YOLO26m-seg64052.544.1328.2 ± 2.46.7 ± 0.123.6121.7
    YOLO26l-seg64054.445.5387.0 ± 3.78.0 ± 0.128.0140.1
    YOLO26x-seg64056.547.0787.0 ± 6.816.4 ± 0.162.8314.0

    Questi modelli spaziano dal leggero YOLO26n-seg al più preciso YOLO26x-seg, offrendo diversi compromessi tra velocità e precisione per soddisfare i requisiti di varie applicazioni.

  • Il dataset COCO-Seg è suddiviso in tre sottoinsiemi per esigenze specifiche di addestramento e valutazione:

    1. Train2017: contiene 118.287 immagini usate principalmente per addestrare modelli di segmentazione delle istanze.
    2. Val2017: comprende 5,000 immagini usate per la convalida durante il processo di addestramento.
    3. Test-dev2017: contiene 20,288 delle 40,670 immagini test2017 riservate al test e al benchmarking dei modelli addestrati. Le annotazioni di ground truth per questo sottoinsieme non sono disponibili pubblicamente e i risultati delle prestazioni vengono inviati al server di valutazione COCO per la valutazione.

    Per le sperimentazioni su scala ridotta, puoi anche valutare il dataset COCO128-Seg (128 immagini) oppure il dataset COCO8-Seg, una versione compatta che contiene solo 8 immagini del set COCO train 2017.

Commenti10

Fai una domanda, condividi i tuoi risultati o aiuta qualcun altro.

  1. liujieKermitGitHub

    what the label format if I want to train my custom dataset, please give the solution step by step like label, train, val, export, predict

    1. Glenn JocherUltralytics(modificato)

      @liujieKermit for custom segmentation training with YOLO26, follow these steps:

      1. Label Format: Use YOLO segmentation format - one text file per image with class index and normalized polygon coordinates (minimum 3 points per object). Example:
        <class> <x1> <y1> <x2> <y2> ... <xn> <yn>

      2. Dataset YAML: Create a YAML file (example data.yaml):

      path: /path/to/dataset
      train: images/train
      val: images/val
      names:
        0: class1
        1: class2
      1. Train:
      from ultralytics import YOLO
      model = YOLO('yolo26n-seg.pt')
      model.train(data='data.yaml', epochs=100, imgsz=640)
      1. Export/Predict:
      model.export(format='onnx')  # export
      model.predict('image.jpg')  # predict

      For full details see our Dataset Format Guide and Auto-Annotation Tools. For commercial use, review our license terms.

  2. YingdiZhangGitHub

    Thanks for the great work. I am new to YOLO and AI. How to download the COCO dataset? is just running python coco.yaml?

    1. Glenn JocherUltralytics(modificato)

      @YingdiZhang to download the COCO dataset, you can run yolo segment train data=coco.yaml in your terminal. This will automatically download the dataset for you. For more details, you can visit the Ultralytics documentation.

  3. SacherTorte280GitHub

    Dear developpers, I need to build a much simpler case where I'll only need <=5 labels, can I remove the others that i'll never use ?

    1. Paula DerrengerUltralytics(modificato)

      @SacherTorte280 yes, you can customize the dataset to include only the labels you need. To do this, modify the coco.yaml file to include only the desired classes in the names section and adjust the dataset paths accordingly. Also make sure the class indices in your label files are remapped to match the new names (0 to N-1) and remove labels of the dropped classes. This will allow you to train your model with a simplified set of labels. For more details on configuring the dataset, please refer to the COCO-Seg documentation.

  4. MoAbbasidGitHub

    i get a list out of index error when running convert_coco function please help

    1. Paula DerrengerUltralytics

      Hi there! It looks like you're encountering a list index out of range error with the convert_coco function. This can often happen if the script is trying to access an element that doesn't exist in a list. To help you resolve this issue, please ensure that:

      1. The data paths in your coco.yaml config file are correctly set and point to valid files.
      2. The COCO dataset is correctly downloaded and structured as expected by the script.

      If the paths and dataset structure are correct, it might be helpful to check if the specific segment of data causing the error is formatted correctly or missing elements.

      Here's a quick check you can perform:

      try:
          # Assuming convert_coco is called here
          convert_coco()
      except IndexError as e:
          print("An index error occurred: ", e)
          # You can add more debugging information here to understand which part of the data is causing the problem

      This snippet will catch the IndexError and print it, potentially providing more insight on what's going wrong. If you need further assistance, please don't hesitate to share a snippet of the data or more details on the error!

  5. mohamed-ladjalGitHub

    Greetings, I possess medical imagery depicting bone lesions. These images comprise 3D volumes of dimensions (256, 256, 128), with each volume containing 128 slices. Corresponding masks of identical dimensions are available. My objective is to either fine-tune or train a model using these slices to accurately segment the lesions mohamed mohamed.laadjel2019@gmail.com

    1. Glenn JocherUltralytics(modificato)

      Hello Mohamed,

      Great to hear about your project on segmenting bone lesions from medical imagery! For your 3D volumes, you can approach this by treating each slice as a separate 2D image for segmentation.

      Given your setup, you might consider using our YOLO26-seg models, which are well-suited for segmentation tasks. Here’s a basic example of how you could set up your training with YOLO26:

      from ultralytics import YOLO
      
      # Load a pretrained segmentation model
      model = YOLO('yolo26n-seg.pt')  # Choose the appropriate model size
      
      # Prepare your dataset in a compatible format
      # Ensure your dataset directory structure and annotations are correctly set up
      
      # Train the model
      results = model.train(data='your_dataset_config.yaml', epochs=100, imgsz=640)

      Make sure your dataset is annotated similarly to how COCO-Seg annotations are structured, with masks corresponding to each slice. You might need to adjust the your_dataset_config.yaml to correctly point to your training, validation, and test images along with their annotations.

      For more detailed guidance on preparing your dataset and annotations, you can refer to our documentation on COCO-Seg Dataset.

      If you have any more questions or need further assistance, feel free to ask. Happy training! 🚀