Overslaan naar inhoud

COCO-Seg Dataset

De COCO-Seg dataset, een uitbreiding van de COCO (Common Objects in Context) dataset, is speciaal ontworpen om onderzoek naar objectsegmentatie te ondersteunen. Het gebruikt dezelfde afbeeldingen als COCO maar introduceert meer gedetailleerde segmentatie annotaties. Deze dataset is een cruciale bron voor onderzoekers en ontwikkelaars die werken aan segmentatietaken, vooral voor het trainen van YOLO modellen.

COCO-Seg voorgetrainde modellen

Model grootte
(pixels)
mAPbox
50-95
mAPmask
50-95
Snelheid
CPU ONNX
(ms)
Snelheid
A100 TensorRT
(ms)
params
(M)
FLOP's
(B)
YOLOv8n-seg 640 36.7 30.5 96.1 1.21 3.4 12.6
YOLOv8s-seg 640 44.6 36.8 155.7 1.47 11.8 42.6
YOLOv8m-seg 640 49.9 40.8 317.0 2.18 27.3 110.2
YOLOv8l-seg 640 52.3 42.6 572.4 2.79 46.0 220.5
YOLOv8x-seg 640 53.4 43.4 712.1 4.02 71.8 344.1

Belangrijkste kenmerken

  • COCO-Seg behoudt de originele 330K beelden van COCO.
  • De dataset bestaat uit dezelfde 80 objectcategorieĆ«n als in de originele COCO dataset.
  • Annotaties bevatten nu meer gedetailleerde segmentatiemaskers voor elk object in de afbeeldingen.
  • COCO-Seg biedt gestandaardiseerde evaluatiemetrieken zoals gemiddelde precisie (mAP) voor objectdetectie en gemiddelde recall (mAR) voor bijvoorbeeld segmentatietaken, waardoor de prestaties van modellen effectief kunnen worden vergeleken.

Structuur dataset

De COCO-Seg dataset is onderverdeeld in drie subsets:

  1. Train2017: Deze subset bevat 118K afbeeldingen voor het trainen van segmentatiemodellen.
  2. Val2017: Deze subset bevat 5K beelden die zijn gebruikt voor validatiedoeleinden tijdens de modeltraining.
  3. Test2017: Deze subset omvat 20K afbeeldingen die worden gebruikt voor het testen en benchmarken van de getrainde modellen. De grondwaarheidsannotaties voor deze subset zijn niet openbaar beschikbaar en de resultaten worden ingediend bij de COCO evaluatieserver voor prestatie-evaluatie.

Toepassingen

COCO-Seg wordt veel gebruikt voor het trainen en evalueren van deep learning modellen voor segmentatie van instanties, zoals de YOLO modellen. Het grote aantal geannoteerde afbeeldingen, de diversiteit aan objectcategorieƫn en de gestandaardiseerde evaluatiemetrieken maken het een onmisbare bron voor computer vision onderzoekers en praktijkmensen.

Dataset YAML

Een YAML (Yet Another Markup Language) bestand wordt gebruikt om de configuratie van de dataset te definiƫren. Het bevat informatie over de paden, klassen en andere relevante informatie van de dataset. In het geval van de COCO-Seg dataset is de coco.yaml bestand wordt onderhouden op https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/coco.yaml.

ultralytics/cfg/datasets/coco.yaml

# Ultralytics YOLO šŸš€, AGPL-3.0 license
# COCO 2017 dataset https://cocodataset.org by Microsoft
# Documentation: https://docs.ultralytics.com/datasets/detect/coco/
# Example usage: yolo train data=coco.yaml
# parent
# ā”œā”€ā”€ ultralytics
# ā””ā”€ā”€ datasets
#     ā””ā”€ā”€ coco  ā† downloads here (20.1 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/coco # dataset root dir
train: train2017.txt # train images (relative to 'path') 118287 images
val: val2017.txt # val images (relative to 'path') 5000 images
test: test-dev2017.txt # 20288 of 40670 images, submit to https://competitions.codalab.org/competitions/20794

# Classes
names:
  0: person
  1: bicycle
  2: car
  3: motorcycle
  4: airplane
  5: bus
  6: train
  7: truck
  8: boat
  9: traffic light
  10: fire hydrant
  11: stop sign
  12: parking meter
  13: bench
  14: bird
  15: cat
  16: dog
  17: horse
  18: sheep
  19: cow
  20: elephant
  21: bear
  22: zebra
  23: giraffe
  24: backpack
  25: umbrella
  26: handbag
  27: tie
  28: suitcase
  29: frisbee
  30: skis
  31: snowboard
  32: sports ball
  33: kite
  34: baseball bat
  35: baseball glove
  36: skateboard
  37: surfboard
  38: tennis racket
  39: bottle
  40: wine glass
  41: cup
  42: fork
  43: knife
  44: spoon
  45: bowl
  46: banana
  47: apple
  48: sandwich
  49: orange
  50: broccoli
  51: carrot
  52: hot dog
  53: pizza
  54: donut
  55: cake
  56: chair
  57: couch
  58: potted plant
  59: bed
  60: dining table
  61: toilet
  62: tv
  63: laptop
  64: mouse
  65: remote
  66: keyboard
  67: cell phone
  68: microwave
  69: oven
  70: toaster
  71: sink
  72: refrigerator
  73: book
  74: clock
  75: vase
  76: scissors
  77: teddy bear
  78: hair drier
  79: toothbrush

# Download script/URL (optional)
download: |
  from ultralytics.utils.downloads import download
  from pathlib import Path

  # Download labels
  segments = True  # segment or box labels
  dir = Path(yaml['path'])  # dataset root dir
  url = 'https://github.com/ultralytics/assets/releases/download/v0.0.0/'
  urls = [url + ('coco2017labels-segments.zip' if segments else 'coco2017labels.zip')]  # labels
  download(urls, dir=dir.parent)
  # Download data
  urls = ['http://images.cocodataset.org/zips/train2017.zip',  # 19G, 118k images
          'http://images.cocodataset.org/zips/val2017.zip',  # 1G, 5k images
          'http://images.cocodataset.org/zips/test2017.zip']  # 7G, 41k images (optional)
  download(urls, dir=dir / 'images', threads=3)

Gebruik

Om een YOLOv8n-seg model te trainen op de COCO-Seg dataset voor 100 epochs met een afbeeldingsgrootte van 640, kun je de volgende codefragmenten gebruiken. Raadpleeg de pagina Model Training voor een uitgebreide lijst met beschikbare argumenten.

Voorbeeld trein

from ultralytics import YOLO

# Load a model
model = YOLO("yolov8n-seg.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="coco-seg.yaml", epochs=100, imgsz=640)
# Start training from a pretrained *.pt model
yolo detect train data=coco-seg.yaml model=yolov8n-seg.pt epochs=100 imgsz=640

Voorbeeldafbeeldingen en -annotaties

COCO-Seg bevat, net als zijn voorganger COCO, een diverse set afbeeldingen met verschillende objectcategorieĆ«n en complexe scĆØnes. COCO-Seg introduceert echter meer gedetailleerde segmentatiemaskers voor elk object in de afbeeldingen. Hier zijn enkele voorbeelden van afbeeldingen uit de dataset, samen met hun bijbehorende segmentatiemaskers:

Voorbeeldafbeelding dataset

  • GemozaĆÆekte afbeelding: Deze afbeelding toont een trainingsbatch die bestaat uit gemozaĆÆekte afbeeldingen van de dataset. MozaĆÆeken is een techniek die tijdens het trainen wordt gebruikt om meerdere afbeeldingen te combineren tot Ć©Ć©n afbeelding om de verscheidenheid aan objecten en scĆØnes binnen elke trainingsbatch te vergroten. Dit helpt het model om te generaliseren naar verschillende objectgroottes, beeldverhoudingen en contexten.

Het voorbeeld toont de verscheidenheid en complexiteit van de afbeeldingen in de COCO-Seg dataset en de voordelen van het gebruik van mozaĆÆek tijdens het trainingsproces.

Citaten en erkenningen

Als je de COCO-Seg dataset gebruikt in je onderzoek of ontwikkeling, citeer dan het originele COCO artikel en vermeld de uitbreiding naar COCO-Seg:

@misc{lin2015microsoft,
      title={Microsoft COCO: Common Objects in Context},
      author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr DollƔr},
      year={2015},
      eprint={1405.0312},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

We bedanken het COCO Consortium voor het maken en onderhouden van deze onschatbare bron voor de computer vision gemeenschap. Ga voor meer informatie over de COCO dataset en de makers naar de COCO dataset website.

FAQ

Wat is de COCO-Seg dataset en waarin verschilt deze van de originele COCO dataset?

De COCO-Seg dataset is een uitbreiding van de originele COCO (Common Objects in Context) dataset, speciaal ontworpen voor segmentatietaken. Hoewel het dezelfde afbeeldingen gebruikt als de COCO dataset, bevat COCO-Seg meer gedetailleerde segmentatie annotaties, waardoor het een krachtige bron is voor onderzoekers en ontwikkelaars die zich richten op segmentatie van objectinstanties.

Hoe kan ik een YOLOv8 model trainen met de COCO-Seg dataset?

Om een YOLOv8n-seg model te trainen op de COCO-Seg dataset voor 100 epochs met een afbeeldingsgrootte van 640, kun je de volgende codefragmenten gebruiken. Raadpleeg de pagina Model Training voor een gedetailleerde lijst van beschikbare argumenten.

Voorbeeld trein

from ultralytics import YOLO

# Load a model
model = YOLO("yolov8n-seg.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="coco-seg.yaml", epochs=100, imgsz=640)
# Start training from a pretrained *.pt model
yolo detect train data=coco-seg.yaml model=yolov8n.pt epochs=100 imgsz=640

Wat zijn de belangrijkste kenmerken van de COCO-Seg dataset?

De COCO-Seg dataset heeft een aantal belangrijke kenmerken:

  • Behoudt de originele 330K afbeeldingen van de COCO dataset.
  • Annoteert dezelfde 80 objectcategorieĆ«n als in de originele COCO.
  • Geeft meer gedetailleerde segmentatiemaskers voor elk object.
  • Gebruikt gestandaardiseerde evaluatiemetrieken zoals gemiddelde precisie (mAP) voor objectdetectie en gemiddelde recall (mAR) voor bijvoorbeeld segmentatietaken.

Welke voorgetrainde modellen zijn er beschikbaar voor COCO-Seg en wat zijn hun prestatiecijfers?

De COCO-Seg dataset ondersteunt meerdere voorgetrainde YOLOv8 segmentatiemodellen met verschillende prestatiecijfers. Hier volgt een overzicht van de beschikbare modellen en hun belangrijkste statistieken:

Model grootte
(pixels)
mAPbox
50-95
mAPmask
50-95
Snelheid
CPU ONNX
(ms)
Snelheid
A100 TensorRT
(ms)
params
(M)
FLOP's
(B)
YOLOv8n-seg 640 36.7 30.5 96.1 1.21 3.4 12.6
YOLOv8s-seg 640 44.6 36.8 155.7 1.47 11.8 42.6
YOLOv8m-seg 640 49.9 40.8 317.0 2.18 27.3 110.2
YOLOv8l-seg 640 52.3 42.6 572.4 2.79 46.0 220.5
YOLOv8x-seg 640 53.4 43.4 712.1 4.02 71.8 344.1

Hoe is de COCO-Seg dataset opgebouwd en welke subsets bevat hij?

De COCO-Seg dataset is opgedeeld in drie subsets voor specifieke trainings- en evaluatiebehoeften:

  1. Train2017: Bevat 118K afbeeldingen die voornamelijk worden gebruikt voor het trainen van segmentatiemodellen.
  2. Val2017: Bestaat uit 5K beelden die zijn gebruikt voor validatie tijdens het trainingsproces.
  3. Test2017: Omvat 20K afbeeldingen gereserveerd voor het testen en benchmarken van getrainde modellen. Merk op dat de grondwaarheidsannotaties voor deze subset niet publiekelijk beschikbaar zijn en dat de prestatieresultaten ter beoordeling worden voorgelegd aan de COCO evaluatieserver.


Aangemaakt 2023-11-12, Bijgewerkt 2024-07-17
Auteurs: hnliu_2@stu.xidian.edu.cn (1), glenn-jocher (7), RizwanMunawar (1), Laughing-q (1)

Reacties