Dataset COCO-Seg

Il dataset COCO-Seg, un'estensione del dataset COCO (Common Objects in Context), è appositamente progettato per favorire la ricerca nell'instance segmentation degli oggetti. Utilizza le stesse immagini di COCO ma introduce annotazioni di segmentazione più dettagliate. Questo dataset è una risorsa fondamentale per ricercatori e sviluppatori che lavorano su attività di instance segmentation, specialmente per l'addestramento dei modelli Ultralytics YOLO.

Modelli Preaddestrati COCO-Seg

Caratteristiche principali

• COCO-Seg mantiene le 330K immagini originali di COCO.
• Il dataset consiste nelle stesse 80 categorie di oggetti presenti nel dataset COCO originale.
• Le annotazioni ora includono maschere di instance segmentation più dettagliate per ogni oggetto nelle immagini.
• COCO-Seg fornisce metriche di valutazione standardizzate come la mean Average Precision (mAP) per l'object detection e la mean Average Recall per le attività di instance segmentation, consentendo un'efficace comparazione delle prestazioni dei modelli.

Struttura del dataset

Il dataset COCO-Seg è suddiviso in tre subset:

1. Train2017: 118K immagini per l'addestramento di modelli di instance segmentation.
2. Val2017: 5K immagini utilizzate per la validazione durante lo sviluppo del modello.
3. Test2017: 20K immagini utilizzate per il benchmarking. Le annotazioni ground-truth per questo subset non sono pubblicamente disponibili, pertanto le previsioni devono essere inviate al COCO evaluation server per la valutazione.

Applicazioni

COCO-Seg è ampiamente utilizzato per l'addestramento e la valutazione di modelli di deep learning nell'instance segmentation, come i modelli YOLO. L'ampio numero di immagini annotate, la diversità delle categorie di oggetti e le metriche di valutazione standardizzate lo rendono una risorsa indispensabile per ricercatori e professionisti di computer vision.

YAML del dataset

Un file YAML (Yet Another Markup Language) viene utilizzato per definire la configurazione del dataset. Contiene informazioni sui percorsi del dataset, le classi e altre informazioni rilevanti. Nel caso del dataset COCO-Seg, il file coco.yaml è mantenuto su https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/coco.yaml.

# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# COCO 2017 dataset https://cocodataset.org by Microsoft
# Documentation: https://docs.ultralytics.com/datasets/detect/coco/
# Example usage: yolo train data=coco.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── coco ← downloads here (20.1 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: coco # dataset root dir
train: train2017.txt # train images (relative to 'path') 118287 images
val: val2017.txt # val images (relative to 'path') 5000 images
test: test-dev2017.txt # 20288 of 40670 images, submit to https://competitions.codalab.org/competitions/20794

# Classes
names:
  0: person
  1: bicycle
  2: car
  3: motorcycle
  4: airplane
  5: bus
  6: train
  7: truck
  8: boat
  9: traffic light
  10: fire hydrant
  11: stop sign
  12: parking meter
  13: bench
  14: bird
  15: cat
  16: dog
  17: horse
  18: sheep
  19: cow
  20: elephant
  21: bear
  22: zebra
  23: giraffe
  24: backpack
  25: umbrella
  26: handbag
  27: tie
  28: suitcase
  29: frisbee
  30: skis
  31: snowboard
  32: sports ball
  33: kite
  34: baseball bat
  35: baseball glove
  36: skateboard
  37: surfboard
  38: tennis racket
  39: bottle
  40: wine glass
  41: cup
  42: fork
  43: knife
  44: spoon
  45: bowl
  46: banana
  47: apple
  48: sandwich
  49: orange
  50: broccoli
  51: carrot
  52: hot dog
  53: pizza
  54: donut
  55: cake
  56: chair
  57: couch
  58: potted plant
  59: bed
  60: dining table
  61: toilet
  62: tv
  63: laptop
  64: mouse
  65: remote
  66: keyboard
  67: cell phone
  68: microwave
  69: oven
  70: toaster
  71: sink
  72: refrigerator
  73: book
  74: clock
  75: vase
  76: scissors
  77: teddy bear
  78: hair drier
  79: toothbrush

# Download script/URL (optional)
download: |
  from pathlib import Path

  from ultralytics.utils import ASSETS_URL
  from ultralytics.utils.downloads import download

  # Download labels
  segments = True  # segment or box labels
  dir = Path(yaml["path"])  # dataset root dir
  urls = [ASSETS_URL + ("/coco2017labels-segments.zip" if segments else "/coco2017labels.zip")]  # labels
  download(urls, dir=dir.parent)
  # Download data
  urls = [
      "http://images.cocodataset.org/zips/train2017.zip",  # 19G, 118k images
      "http://images.cocodataset.org/zips/val2017.zip",  # 1G, 5k images
      "http://images.cocodataset.org/zips/test2017.zip",  # 7G, 41k images (optional)
  ]
  download(urls, dir=dir / "images", threads=3)

Utilizzo

Per addestrare un modello YOLO26n-seg sul dataset COCO-Seg per 100 epochs con una dimensione dell'immagine di 640, puoi utilizzare i seguenti frammenti di codice. Per un elenco completo degli argomenti disponibili, fai riferimento alla pagina di Training del modello.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-seg.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="coco.yaml", epochs=100, imgsz=640)

Immagini campione e annotazioni

COCO-Seg, come il suo predecessore COCO, contiene un set diversificato di immagini con varie categorie di oggetti e scene complesse. Tuttavia, COCO-Seg introduce maschere di instance segmentation più dettagliate per ogni oggetto nelle immagini. Ecco alcuni esempi di immagini dal dataset, insieme alle loro corrispondenti maschere di instance segmentation:

• Immagine Mosaico: Questa immagine mostra un batch di addestramento composto da immagini del dataset a mosaico. Il Mosaicing è una tecnica utilizzata durante l'addestramento che combina più immagini in un'unica immagine per aumentare la varietà di oggetti e scene all'interno di ogni batch di addestramento. Ciò aiuta la capacità del modello di generalizzare a diverse dimensioni degli oggetti, rapporti d'aspetto e contesti.

L'esempio mostra la varietà e la complessità delle immagini nel dataset COCO-Seg e i benefici dell'utilizzo del mosaicing durante il processo di addestramento.

Citazioni e ringraziamenti

Se utilizzi il dataset COCO-Seg nel tuo lavoro di ricerca o sviluppo, ti preghiamo di citare l'articolo originale su COCO e di riconoscere l'estensione a COCO-Seg:

@misc{lin2015microsoft,
      title={Microsoft COCO: Common Objects in Context},
      author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr Dollár},
      year={2015},
      eprint={1405.0312},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Estendiamo i nostri ringraziamenti al Consorzio COCO per aver creato e mantenuto questa risorsa inestimabile per la comunità di computer vision. Per maggiori informazioni sul dataset COCO e sui suoi creatori, visita il sito web del dataset COCO.

FAQ

Cos'è il dataset COCO-Seg e in che modo differisce dal dataset COCO originale?

Il dataset COCO-Seg è un'estensione del dataset originale COCO (Common Objects in Context), progettato specificamente per attività di instance segmentation. Sebbene utilizzi le stesse immagini del dataset COCO, COCO-Seg include annotazioni di segmentazione più dettagliate, rendendolo una risorsa potente per ricercatori e sviluppatori focalizzati sull'object instance segmentation.

Come posso addestrare un modello YOLO26 utilizzando il dataset COCO-Seg?

Per addestrare un modello YOLO26n-seg sul dataset COCO-Seg per 100 epoche con una dimensione dell'immagine di 640, puoi utilizzare i seguenti frammenti di codice. Per un elenco dettagliato degli argomenti disponibili, fai riferimento alla pagina di Training del modello.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-seg.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="coco.yaml", epochs=100, imgsz=640)

Quali sono le caratteristiche principali del dataset COCO-Seg?

Il dataset COCO-Seg include diverse caratteristiche chiave:

• Mantiene le 330K immagini originali dal dataset COCO.
• Annota le stesse 80 categorie di oggetti presenti nell'originale COCO.
• Fornisce maschere di instance segmentation più dettagliate per ogni oggetto.
• Utilizza metriche di valutazione standardizzate come la mean Average Precision (mAP) per l'object detection e la mean Average Recall (mAR) per le attività di instance segmentation.

Quali modelli preaddestrati sono disponibili per COCO-Seg e quali sono le loro metriche di prestazione?

Il dataset COCO-Seg supporta molteplici modelli di segmentazione YOLO26 preaddestrati con diverse metriche di prestazione. Ecco un riepilogo dei modelli disponibili e delle loro metriche chiave:

Questi modelli spaziano dal leggero YOLO26n-seg al più potente YOLO26x-seg, offrendo diversi compromessi tra velocità e precisione per adattarsi a vari requisiti applicativi. Per maggiori informazioni sulla selezione del modello, visita la pagina dei modelli Ultralytics.

Come è strutturato il dataset COCO-Seg e quali subset contiene?

Il dataset COCO-Seg è suddiviso in tre subset per specifiche esigenze di addestramento e valutazione:

1. Train2017: Contiene 118K immagini utilizzate principalmente per l'addestramento di modelli di instance segmentation.
2. Val2017: Comprende 5K immagini utilizzate per la validazione durante il processo di addestramento.
3. Test2017: Comprende 20K immagini riservate per il test e il benchmarking dei modelli addestrati. Nota che le annotazioni ground truth per questo subset non sono disponibili pubblicamente e i risultati delle prestazioni vengono inviati al COCO evaluation server per la valutazione.

Per esigenze di sperimentazione minori, potresti anche considerare l'utilizzo del dataset COCO8-seg, che è una versione compatta contenente solo 8 immagini dal set COCO train 2017.