Set di dati COCO-Seg

Il set di dati COCO-Seg, un'estensione del set di dati COCO (Common Objects in Context), è stato progettato appositamente per aiutare la ricerca sulla segmentazione delle istanze degli oggetti. Utilizza le stesse immagini di COCO ma introduce annotazioni di segmentazione più dettagliate. Questo set di dati è una risorsa fondamentale per i ricercatori e gli sviluppatori che lavorano sulla segmentazione delle istanze, in particolare per l'addestramento dei modelli YOLO .

Modelli precostituiti COCO-Seg

Caratteristiche principali

• COCO-Seg conserva le 330K immagini originali di COCO.
• Il set di dati è composto dalle stesse 80 categorie di oggetti presenti nel set di dati COCO originale.
• Le annotazioni ora includono maschere di segmentazione dell'istanza più dettagliate per ogni oggetto presente nelle immagini.
• COCO-Seg fornisce metriche di valutazione standardizzate come la precisione media (mAP) per il rilevamento degli oggetti e il richiamo medio (mAR) per le attività di segmentazione delle istanze, consentendo un confronto efficace delle prestazioni dei modelli.

Struttura del set di dati

Il set di dati COCO-Seg è suddiviso in tre sottoinsiemi:

1. Train2017: Questo sottoinsieme contiene 118K immagini per l'addestramento dei modelli di segmentazione delle istanze.
2. Val2017: Questo sottoinsieme comprende 5K immagini utilizzate per la convalida durante l'addestramento del modello.
3. Test2017: Questo sottoinsieme comprende 20K immagini utilizzate per il test e il benchmarking dei modelli addestrati. Le annotazioni della verità a terra per questo sottoinsieme non sono disponibili pubblicamente e i risultati vengono inviati al server di valutazione COCO per la valutazione delle prestazioni.

Applicazioni

COCO-Seg è ampiamente utilizzato per l'addestramento e la valutazione di modelli di deep learning nella segmentazione di istanze, come i modelli YOLO . Il gran numero di immagini annotate, la diversità delle categorie di oggetti e le metriche di valutazione standardizzate lo rendono una risorsa indispensabile per i ricercatori e i professionisti della computer vision.

Set di dati YAML

Un file YAML (Yet Another Markup Language) viene utilizzato per definire la configurazione del dataset. Contiene informazioni sui percorsi del dataset, sulle classi e altre informazioni rilevanti. Nel caso del set di dati COCO-Seg, il file coco.yaml Il file viene mantenuto all'indirizzo https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/coco.yaml.

# Ultralytics YOLO 🚀, AGPL-3.0 license
# COCO 2017 dataset https://cocodataset.org by Microsoft
# Documentation: https://docs.ultralytics.com/datasets/detect/coco/
# Example usage: yolo train data=coco.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── coco  ← downloads here (20.1 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/coco # dataset root dir
train: train2017.txt # train images (relative to 'path') 118287 images
val: val2017.txt # val images (relative to 'path') 5000 images
test: test-dev2017.txt # 20288 of 40670 images, submit to https://competitions.codalab.org/competitions/20794

# Classes
names:
  0: person
  1: bicycle
  2: car
  3: motorcycle
  4: airplane
  5: bus
  6: train
  7: truck
  8: boat
  9: traffic light
  10: fire hydrant
  11: stop sign
  12: parking meter
  13: bench
  14: bird
  15: cat
  16: dog
  17: horse
  18: sheep
  19: cow
  20: elephant
  21: bear
  22: zebra
  23: giraffe
  24: backpack
  25: umbrella
  26: handbag
  27: tie
  28: suitcase
  29: frisbee
  30: skis
  31: snowboard
  32: sports ball
  33: kite
  34: baseball bat
  35: baseball glove
  36: skateboard
  37: surfboard
  38: tennis racket
  39: bottle
  40: wine glass
  41: cup
  42: fork
  43: knife
  44: spoon
  45: bowl
  46: banana
  47: apple
  48: sandwich
  49: orange
  50: broccoli
  51: carrot
  52: hot dog
  53: pizza
  54: donut
  55: cake
  56: chair
  57: couch
  58: potted plant
  59: bed
  60: dining table
  61: toilet
  62: tv
  63: laptop
  64: mouse
  65: remote
  66: keyboard
  67: cell phone
  68: microwave
  69: oven
  70: toaster
  71: sink
  72: refrigerator
  73: book
  74: clock
  75: vase
  76: scissors
  77: teddy bear
  78: hair drier
  79: toothbrush

# Download script/URL (optional)
download: |
  from ultralytics.utils.downloads import download
  from pathlib import Path

  # Download labels
  segments = True  # segment or box labels
  dir = Path(yaml['path'])  # dataset root dir
  url = 'https://github.com/ultralytics/yolov5/releases/download/v1.0/'
  urls = [url + ('coco2017labels-segments.zip' if segments else 'coco2017labels.zip')]  # labels
  download(urls, dir=dir.parent)
  # Download data
  urls = ['http://images.cocodataset.org/zips/train2017.zip',  # 19G, 118k images
          'http://images.cocodataset.org/zips/val2017.zip',  # 1G, 5k images
          'http://images.cocodataset.org/zips/test2017.zip']  # 7G, 41k images (optional)
  download(urls, dir=dir / 'images', threads=3)

Utilizzo

Per addestrare un modello YOLOv8n-seg sul dataset COCO-Seg per 100 epoch con un'immagine di dimensioni 640, puoi utilizzare i seguenti frammenti di codice. Per un elenco completo degli argomenti disponibili, consulta la pagina di addestramento del modello.

from ultralytics import YOLO

# Load a model
model = YOLO('yolov8n-seg.pt')  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data='coco-seg.yaml', epochs=100, imgsz=640)

# Start training from a pretrained *.pt model
yolo detect train data=coco-seg.yaml model=yolov8n.pt epochs=100 imgsz=640

Immagini di esempio e annotazioni

COCO-Seg, come il suo predecessore COCO, contiene un insieme eterogeneo di immagini con varie categorie di oggetti e scene complesse. Tuttavia, COCO-Seg introduce maschere di segmentazione delle istanze più dettagliate per ogni oggetto presente nelle immagini. Ecco alcuni esempi di immagini tratte dal set di dati, insieme alle corrispondenti maschere di segmentazione delle istanze:

• Immagine a mosaico: Questa immagine mostra un lotto di formazione composto da immagini del dataset mosaicate. Il mosaico è una tecnica utilizzata durante l'addestramento che combina più immagini in un'unica immagine per aumentare la varietà di oggetti e scene all'interno di ogni gruppo di addestramento. Questo favorisce la capacità del modello di generalizzarsi a oggetti di dimensioni, rapporti di aspetto e contesti diversi.

L'esempio mostra la varietà e la complessità delle immagini del dataset COCO-Seg e i vantaggi dell'utilizzo della mosaicatura durante il processo di formazione.

Citazioni e ringraziamenti

Se utilizzi il set di dati COCO-Seg nel tuo lavoro di ricerca o sviluppo, ti preghiamo di citare il documento originale di COCO e di riconoscere l'estensione a COCO-Seg:

@misc{lin2015microsoft,
      title={Microsoft COCO: Common Objects in Context},
      author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr Dollár},
      year={2015},
      eprint={1405.0312},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Ringraziamo il Consorzio COCO per aver creato e mantenuto questa preziosa risorsa per la comunità della computer vision. Per maggiori informazioni sul dataset COCO e sui suoi creatori, visita il sito web del dataset COCO.

Commenti