COCO-Seg-Datensatz
Der COCO-Seg-Datensatz, eine Erweiterung des COCO-Datensatzes (Common Objects in Context), wurde speziell fĂŒr die Forschung im Bereich der Segmentierung von Objektinstanzen entwickelt. Er verwendet die gleichen Bilder wie COCO, enthĂ€lt aber detailliertere Segmentierungsannotationen. Dieser Datensatz ist eine wichtige Ressource fĂŒr Forscher und Entwickler, die sich mit der Segmentierung von Objekten befassen, insbesondere fĂŒr das Training von YOLO Modellen.
COCO-Seg vortrainierte Modelle
Modell | GröĂe (Pixel) |
mAPbox 50-95 |
mAPmask 50-95 |
Geschwindigkeit CPU ONNX (ms) |
Geschwindigkeit A100 TensorRT (ms) |
params (M) |
FLOPs (B) |
---|---|---|---|---|---|---|---|
YOLOv8n-seg | 640 | 36.7 | 30.5 | 96.1 | 1.21 | 3.4 | 12.6 |
YOLOv8s-seg | 640 | 44.6 | 36.8 | 155.7 | 1.47 | 11.8 | 42.6 |
YOLOv8m-seg | 640 | 49.9 | 40.8 | 317.0 | 2.18 | 27.3 | 110.2 |
YOLOv8l-seg | 640 | 52.3 | 42.6 | 572.4 | 2.79 | 46.0 | 220.5 |
YOLOv8x-seg | 640 | 53.4 | 43.4 | 712.1 | 4.02 | 71.8 | 344.1 |
Hauptmerkmale
- COCO-Seg behĂ€lt die ursprĂŒnglichen 330K Bilder von COCO bei.
- Der Datensatz besteht aus denselben 80 Objektkategorien, die auch im ursprĂŒnglichen COCO-Datensatz enthalten sind.
- Die Anmerkungen enthalten jetzt detailliertere Instanzsegmentierungsmasken fĂŒr jedes Objekt in den Bildern.
- COCO-Seg bietet standardisierte Bewertungsmetriken wie die mittlere durchschnittliche PrĂ€zision (mAP) fĂŒr die Objekterkennung und den mittleren durchschnittlichen RĂŒckruf (mAR) fĂŒr die Segmentierung von Beispielen und ermöglicht so einen effektiven Vergleich der Modellleistung.
Struktur des Datensatzes
Der COCO-Seg-Datensatz ist in drei Teilmengen unterteilt:
- Train2017: Diese Untergruppe enthĂ€lt 118K Bilder fĂŒr das Training von Instanzsegmentierungsmodellen.
- Val2017: Diese Untergruppe enthÀlt 5K Bilder, die wÀhrend der Modellschulung zur Validierung verwendet wurden.
- Test2017: Diese Teilmenge umfasst 20.000 Bilder, die zum Testen und Benchmarking der trainierten Modelle verwendet werden. Die Ergebnisse werden zur Leistungsbewertung an den COCO-Evaluierungsserver ĂŒbermittelt.
Anwendungen
COCO-Seg wird hĂ€ufig fĂŒr das Training und die Bewertung von Deep-Learning-Modellen fĂŒr die Instanzsegmentierung verwendet, wie z. B. die Modelle von YOLO . Die groĂe Anzahl kommentierter Bilder, die Vielfalt der Objektkategorien und die standardisierten Bewertungsmetriken machen es zu einer unverzichtbaren Ressource fĂŒr Forscher und Praktiker im Bereich Computer Vision.
Datensatz YAML
Eine YAML-Datei (Yet Another Markup Language) wird verwendet, um die Konfiguration des Datensatzes zu definieren. Sie enthĂ€lt Informationen ĂŒber die Pfade, Klassen und andere relevante Informationen des Datasets. Im Fall des COCO-Seg-Datensatzes ist die coco.yaml
Datei wird verwaltet unter https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/coco.yaml.
ultralytics/cfg/datasets/coco.yaml
# Ultralytics YOLO đ, AGPL-3.0 license
# COCO 2017 dataset https://cocodataset.org by Microsoft
# Documentation: https://docs.ultralytics.com/datasets/detect/coco/
# Example usage: yolo train data=coco.yaml
# parent
# âââ ultralytics
# âââ datasets
# âââ coco â downloads here (20.1 GB)
# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/coco # dataset root dir
train: train2017.txt # train images (relative to 'path') 118287 images
val: val2017.txt # val images (relative to 'path') 5000 images
test: test-dev2017.txt # 20288 of 40670 images, submit to https://competitions.codalab.org/competitions/20794
# Classes
names:
0: person
1: bicycle
2: car
3: motorcycle
4: airplane
5: bus
6: train
7: truck
8: boat
9: traffic light
10: fire hydrant
11: stop sign
12: parking meter
13: bench
14: bird
15: cat
16: dog
17: horse
18: sheep
19: cow
20: elephant
21: bear
22: zebra
23: giraffe
24: backpack
25: umbrella
26: handbag
27: tie
28: suitcase
29: frisbee
30: skis
31: snowboard
32: sports ball
33: kite
34: baseball bat
35: baseball glove
36: skateboard
37: surfboard
38: tennis racket
39: bottle
40: wine glass
41: cup
42: fork
43: knife
44: spoon
45: bowl
46: banana
47: apple
48: sandwich
49: orange
50: broccoli
51: carrot
52: hot dog
53: pizza
54: donut
55: cake
56: chair
57: couch
58: potted plant
59: bed
60: dining table
61: toilet
62: tv
63: laptop
64: mouse
65: remote
66: keyboard
67: cell phone
68: microwave
69: oven
70: toaster
71: sink
72: refrigerator
73: book
74: clock
75: vase
76: scissors
77: teddy bear
78: hair drier
79: toothbrush
# Download script/URL (optional)
download: |
from ultralytics.utils.downloads import download
from pathlib import Path
# Download labels
segments = True # segment or box labels
dir = Path(yaml['path']) # dataset root dir
url = 'https://github.com/ultralytics/yolov5/releases/download/v1.0/'
urls = [url + ('coco2017labels-segments.zip' if segments else 'coco2017labels.zip')] # labels
download(urls, dir=dir.parent)
# Download data
urls = ['http://images.cocodataset.org/zips/train2017.zip', # 19G, 118k images
'http://images.cocodataset.org/zips/val2017.zip', # 1G, 5k images
'http://images.cocodataset.org/zips/test2017.zip'] # 7G, 41k images (optional)
download(urls, dir=dir / 'images', threads=3)
Verwendung
Um ein YOLOv8n-seg-Modell auf dem COCO-Seg-Datensatz fĂŒr 100 Epochen mit einer BildgröĂe von 640 zu trainieren, kannst du die folgenden Codeschnipsel verwenden. Eine vollstĂ€ndige Liste der verfĂŒgbaren Argumente findest du auf der Seite Modelltraining.
Beispiel fĂŒr einen Zug
Beispielbilder und Anmerkungen
COCO-Seg enthĂ€lt wie sein VorgĂ€nger COCO einen vielfĂ€ltigen Satz von Bildern mit verschiedenen Objektkategorien und komplexen Szenen. COCO-Seg fĂŒhrt jedoch detailliertere Instanzsegmentierungsmasken fĂŒr jedes Objekt in den Bildern ein. Hier sind einige Beispiele von Bildern aus dem Datensatz mit den entsprechenden Segmentierungsmasken:
- Mosaikbild: Dieses Bild zeigt einen Trainingsstapel, der aus Mosaikbildern des Datensatzes besteht. Beim Mosaikieren werden mehrere Bilder zu einem einzigen Bild zusammengefĂŒgt, um die Vielfalt der Objekte und Szenen in jedem Trainingsstapel zu erhöhen. Dadurch kann das Modell besser auf unterschiedliche ObjektgröĂen, SeitenverhĂ€ltnisse und Kontexte reagieren.
Das Beispiel zeigt die Vielfalt und KomplexitÀt der Bilder im COCO-Seg-Datensatz und die Vorteile der Mosaikbildung im Trainingsprozess.
Zitate und Danksagungen
Wenn du den COCO-Seg-Datensatz in deiner Forschungs- oder Entwicklungsarbeit verwendest, zitiere bitte die ursprĂŒngliche COCO-Veröffentlichung und weise auf die Erweiterung zu COCO-Seg hin:
@misc{lin2015microsoft,
title={Microsoft COCO: Common Objects in Context},
author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr DollĂĄr},
year={2015},
eprint={1405.0312},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
Wir danken dem COCO-Konsortium fĂŒr die Erstellung und Pflege dieser unschĂ€tzbaren Ressource fĂŒr die Computer Vision Community. Weitere Informationen ĂŒber den COCO-Datensatz und seine Schöpfer findest du auf der Website des COCO-Datensatzes.
Erstellt am 12.11.2023, aktualisiert am 17.04.2024
Autoren: glenn-jocher (4), RizwanMunawar (1), Laughing-q (1)