Set di dati COCO-Seg
Il set di dati COCO-Seg, un'estensione del set di dati COCO (Common Objects in Context), è stato progettato appositamente per aiutare la ricerca sulla segmentazione delle istanze degli oggetti. Utilizza le stesse immagini di COCO ma introduce annotazioni di segmentazione più dettagliate. Questo set di dati è una risorsa fondamentale per i ricercatori e gli sviluppatori che lavorano sulla segmentazione delle istanze, in particolare per l'addestramento dei modelli YOLO .
Modelli precostituiti COCO-Seg
Modello | dimensione (pixel) |
mAPbox 50-95 |
mAPmask 50-95 |
Velocità CPU ONNX (ms) |
Velocità A100 TensorRT (ms) |
params (M) |
FLOP (B) |
---|---|---|---|---|---|---|---|
YOLOv8n-Seg | 640 | 36.7 | 30.5 | 96.1 | 1.21 | 3.4 | 12.6 |
YOLOv8s-Seg | 640 | 44.6 | 36.8 | 155.7 | 1.47 | 11.8 | 42.6 |
YOLOv8m-Seg | 640 | 49.9 | 40.8 | 317.0 | 2.18 | 27.3 | 110.2 |
YOLOv8l-Seg | 640 | 52.3 | 42.6 | 572.4 | 2.79 | 46.0 | 220.5 |
YOLOv8x-Seg | 640 | 53.4 | 43.4 | 712.1 | 4.02 | 71.8 | 344.1 |
Caratteristiche principali
- COCO-Seg conserva le 330K immagini originali di COCO.
- Il set di dati è composto dalle stesse 80 categorie di oggetti presenti nel set di dati COCO originale.
- Le annotazioni ora includono maschere di segmentazione dell'istanza più dettagliate per ogni oggetto presente nelle immagini.
- COCO-Seg fornisce metriche di valutazione standardizzate come la precisione media (mAP) per il rilevamento degli oggetti e il richiamo medio (mAR) per le attività di segmentazione delle istanze, consentendo un confronto efficace delle prestazioni dei modelli.
Struttura del set di dati
Il set di dati COCO-Seg è suddiviso in tre sottoinsiemi:
- Train2017: Questo sottoinsieme contiene 118K immagini per l'addestramento dei modelli di segmentazione delle istanze.
- Val2017: Questo sottoinsieme comprende 5K immagini utilizzate per la convalida durante l'addestramento del modello.
- Test2017: Questo sottoinsieme comprende 20K immagini utilizzate per il test e il benchmarking dei modelli addestrati. Le annotazioni della verità a terra per questo sottoinsieme non sono disponibili pubblicamente e i risultati vengono inviati al server di valutazione COCO per la valutazione delle prestazioni.
Applicazioni
COCO-Seg è ampiamente utilizzato per l'addestramento e la valutazione di modelli di deep learning nella segmentazione di istanze, come i modelli YOLO . Il gran numero di immagini annotate, la diversità delle categorie di oggetti e le metriche di valutazione standardizzate lo rendono una risorsa indispensabile per i ricercatori e i professionisti della computer vision.
Set di dati YAML
Un file YAML (Yet Another Markup Language) viene utilizzato per definire la configurazione del dataset. Contiene informazioni sui percorsi del dataset, sulle classi e altre informazioni rilevanti. Nel caso del set di dati COCO-Seg, il file coco.yaml
Il file viene mantenuto all'indirizzo https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/coco.yaml.
ultralytics/cfg/datasets/coco.yaml
# Ultralytics YOLO 🚀, AGPL-3.0 license
# COCO 2017 dataset https://cocodataset.org by Microsoft
# Documentation: https://docs.ultralytics.com/datasets/detect/coco/
# Example usage: yolo train data=coco.yaml
# parent
# ├── ultralytics
# └── datasets
# └── coco ← downloads here (20.1 GB)
# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/coco # dataset root dir
train: train2017.txt # train images (relative to 'path') 118287 images
val: val2017.txt # val images (relative to 'path') 5000 images
test: test-dev2017.txt # 20288 of 40670 images, submit to https://competitions.codalab.org/competitions/20794
# Classes
names:
0: person
1: bicycle
2: car
3: motorcycle
4: airplane
5: bus
6: train
7: truck
8: boat
9: traffic light
10: fire hydrant
11: stop sign
12: parking meter
13: bench
14: bird
15: cat
16: dog
17: horse
18: sheep
19: cow
20: elephant
21: bear
22: zebra
23: giraffe
24: backpack
25: umbrella
26: handbag
27: tie
28: suitcase
29: frisbee
30: skis
31: snowboard
32: sports ball
33: kite
34: baseball bat
35: baseball glove
36: skateboard
37: surfboard
38: tennis racket
39: bottle
40: wine glass
41: cup
42: fork
43: knife
44: spoon
45: bowl
46: banana
47: apple
48: sandwich
49: orange
50: broccoli
51: carrot
52: hot dog
53: pizza
54: donut
55: cake
56: chair
57: couch
58: potted plant
59: bed
60: dining table
61: toilet
62: tv
63: laptop
64: mouse
65: remote
66: keyboard
67: cell phone
68: microwave
69: oven
70: toaster
71: sink
72: refrigerator
73: book
74: clock
75: vase
76: scissors
77: teddy bear
78: hair drier
79: toothbrush
# Download script/URL (optional)
download: |
from ultralytics.utils.downloads import download
from pathlib import Path
# Download labels
segments = True # segment or box labels
dir = Path(yaml['path']) # dataset root dir
url = 'https://github.com/ultralytics/assets/releases/download/v0.0.0/'
urls = [url + ('coco2017labels-segments.zip' if segments else 'coco2017labels.zip')] # labels
download(urls, dir=dir.parent)
# Download data
urls = ['http://images.cocodataset.org/zips/train2017.zip', # 19G, 118k images
'http://images.cocodataset.org/zips/val2017.zip', # 1G, 5k images
'http://images.cocodataset.org/zips/test2017.zip'] # 7G, 41k images (optional)
download(urls, dir=dir / 'images', threads=3)
Utilizzo
Per addestrare un modello YOLOv8n-seg sul dataset COCO-Seg per 100 epoch con un'immagine di dimensioni 640, puoi utilizzare i seguenti frammenti di codice. Per un elenco completo degli argomenti disponibili, consulta la pagina di addestramento del modello.
Esempio di treno
Immagini di esempio e annotazioni
COCO-Seg, come il suo predecessore COCO, contiene un insieme eterogeneo di immagini con varie categorie di oggetti e scene complesse. Tuttavia, COCO-Seg introduce maschere di segmentazione delle istanze più dettagliate per ogni oggetto presente nelle immagini. Ecco alcuni esempi di immagini tratte dal set di dati, insieme alle corrispondenti maschere di segmentazione delle istanze:
- Immagine a mosaico: Questa immagine mostra un lotto di formazione composto da immagini del dataset mosaicate. Il mosaico è una tecnica utilizzata durante l'addestramento che combina più immagini in un'unica immagine per aumentare la varietà di oggetti e scene all'interno di ogni gruppo di addestramento. Questo favorisce la capacità del modello di generalizzarsi a oggetti di dimensioni, rapporti di aspetto e contesti diversi.
L'esempio mostra la varietà e la complessità delle immagini del dataset COCO-Seg e i vantaggi dell'utilizzo della mosaicatura durante il processo di formazione.
Citazioni e ringraziamenti
Se utilizzi il set di dati COCO-Seg nel tuo lavoro di ricerca o sviluppo, ti preghiamo di citare il documento originale di COCO e di riconoscere l'estensione a COCO-Seg:
@misc{lin2015microsoft,
title={Microsoft COCO: Common Objects in Context},
author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr Dollár},
year={2015},
eprint={1405.0312},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
Ringraziamo il Consorzio COCO per aver creato e mantenuto questa preziosa risorsa per la comunità della computer vision. Per maggiori informazioni sul dataset COCO e sui suoi creatori, visita il sito web del dataset COCO.
DOMANDE FREQUENTI
Cos'è il set di dati COCO-Seg e in cosa differisce dal set di dati COCO originale?
Il dataset COCO-Seg è un'estensione del dataset originale COCO (Common Objects in Context), progettato specificamente per compiti di segmentazione di istanze. Pur utilizzando le stesse immagini del dataset COCO, COCO-Seg include annotazioni di segmentazione più dettagliate, che lo rendono una risorsa potente per i ricercatori e gli sviluppatori che si concentrano sulla segmentazione di istanze di oggetti.
Come posso addestrare un modello YOLOv8 utilizzando il dataset COCO-Seg?
Per addestrare un modello YOLOv8n-seg sul dataset COCO-Seg per 100 epoch con un'immagine di dimensioni 640, puoi utilizzare i seguenti frammenti di codice. Per un elenco dettagliato degli argomenti disponibili, consulta la pagina di addestramento del modello.
Esempio di treno
Quali sono le caratteristiche principali del set di dati COCO-Seg?
Il set di dati COCO-Seg include diverse caratteristiche chiave:
- Conserva le 330K immagini originali del set di dati COCO.
- Annota le stesse 80 categorie di oggetti presenti nel COCO originale.
- Fornisce maschere di segmentazione dell'istanza più dettagliate per ogni oggetto.
- Utilizza metriche di valutazione standardizzate, come la precisione media (mAP) per il rilevamento degli oggetti e il richiamo medio (mAR) per i compiti di segmentazione delle istanze.
Quali sono i modelli pre-addestrati disponibili per COCO-Seg e quali sono le loro metriche di performance?
Il dataset COCO-Seg supporta diversi modelli di segmentazione preaddestrati di YOLOv8 con diverse metriche di performance. Ecco un riepilogo dei modelli disponibili e delle loro metriche chiave:
Modello | dimensione (pixel) |
mAPbox 50-95 |
mAPmask 50-95 |
Velocità CPU ONNX (ms) |
Velocità A100 TensorRT (ms) |
params (M) |
FLOP (B) |
---|---|---|---|---|---|---|---|
YOLOv8n-Seg | 640 | 36.7 | 30.5 | 96.1 | 1.21 | 3.4 | 12.6 |
YOLOv8s-Seg | 640 | 44.6 | 36.8 | 155.7 | 1.47 | 11.8 | 42.6 |
YOLOv8m-Seg | 640 | 49.9 | 40.8 | 317.0 | 2.18 | 27.3 | 110.2 |
YOLOv8l-Seg | 640 | 52.3 | 42.6 | 572.4 | 2.79 | 46.0 | 220.5 |
YOLOv8x-Seg | 640 | 53.4 | 43.4 | 712.1 | 4.02 | 71.8 | 344.1 |
Come è strutturato il dataset COCO-Seg e quali sottoinsiemi contiene?
Il dataset COCO-Seg è suddiviso in tre sottoinsiemi per esigenze specifiche di formazione e valutazione:
- Train2017: Contiene 118K immagini utilizzate principalmente per l'addestramento dei modelli di segmentazione delle istanze.
- Val2017: Comprende 5K immagini utilizzate per la convalida durante il processo di formazione.
- Test2017: Comprende 20K immagini riservate al test e al benchmarking dei modelli addestrati. Si noti che le annotazioni di verità a terra per questo sottoinsieme non sono disponibili pubblicamente e i risultati delle prestazioni vengono inviati al server di valutazione COCO per la valutazione.