COCO-Seg-Datensatz
Der COCO-Seg-Datensatz stellt Instanzsegmentierungsmasken von COCO (Common Objects in Context, also allgemeine Objekte im Kontext) bereit — 118.287 Trainingsbilder und 5.000 Validierungsbilder mit Polygonmasken für 80 Objektkategorien — im Ultralytics-YOLO-Label-Format. Er verwendet die Originalbilder und nativen Segmentierungsannotationen von COCO, die für das YOLO-Training konvertiert wurden. Dadurch ist er eine etablierte Ressource für Forschende und Entwickler, die an Aufgaben der Instanzsegmentierung arbeiten.
Mit COCO-Seg vortrainierte Modelle#
| Modell | Größe (Pixel) | mAPbox50-95 (e2e) | mAPmask50-95 (e2e) | Geschwindigkeit CPU ONNX (ms) | Geschwindigkeit T4 TensorRT10 (ms) | Parameter (M) | FLOPs (B) |
|---|---|---|---|---|---|---|---|
| YOLO26n-seg | 640 | 39.6 | 33.9 | 53.3 ± 0.5 | 2.1 ± 0.0 | 2.7 | 9.3 |
| YOLO26s-seg | 640 | 47.3 | 40.0 | 118.4 ± 0.9 | 3.3 ± 0.0 | 10.4 | 34.5 |
| YOLO26m-seg | 640 | 52.5 | 44.1 | 328.2 ± 2.4 | 6.7 ± 0.1 | 23.6 | 121.7 |
| YOLO26l-seg | 640 | 54.4 | 45.5 | 387.0 ± 3.7 | 8.0 ± 0.1 | 28.0 | 140.1 |
| YOLO26x-seg | 640 | 56.5 | 47.0 | 787.0 ± 6.8 | 16.4 ± 0.1 | 62.8 | 314.0 |
Wichtige Funktionen#
- COCO-Seg bietet Masken zur Instanzsegmentierung für 123.287 beschriftete COCO-Bilder aus train2017/val2017 (118.287 Trainingsbilder + 5.000 Validierungsbilder) und umfasst damit einen Teil der insgesamt ~330K Bilder der COCO-Veröffentlichung.
- Der Datensatz umfasst dieselben 80 Objektkategorien wie der ursprüngliche COCO-Datensatz.
- Die Annotationen enthalten Masken zur Instanzsegmentierung im YOLO-Polygon-Labelformat.
- COCO-Seg stellt standardisierte mAP- und mAR-Metriken zur Bewertung der Leistung bei der Instanzsegmentierung bereit und ermöglicht so einen aussagekräftigen Vergleich der Modellleistung.
- Downloadgröße: ~20,3 GB bei der ersten Verwendung (
train2017.zip+val2017.zip+ Labels). Die 7-GB-Dateitest2017.zipwird nicht automatisch abgerufen, da für diese Bilder die Ground Truth zurückgehalten wird und sie nur für eine test-dev2017-Einreichung benötigt werden.
Datensatzstruktur#
Der COCO-Seg-Datensatz ist in drei Teilmengen unterteilt:
- Train2017: 118.287 Bilder zum Trainieren von Modellen zur Instanzsegmentierung.
- Val2017: 5.000 Bilder, die während der Modellentwicklung zur Validierung verwendet werden.
- Test-dev2017: 20.288 der 40.670 test2017-Bilder, die für Benchmarking verwendet werden. Die Ground-Truth-Annotationen für diese Teilmenge sind nicht öffentlich verfügbar. Daher müssen Vorhersagen zur Bewertung beim COCO-Evaluierungsserver eingereicht werden.
Für kleinere Experimente sieh dir die Teilmengen COCO128-Seg (128 Bilder) und COCO8-Seg (8 Bilder) an.
Anwendungsfälle#
COCO-Seg wird häufig zum Trainieren und Bewerten von Deep-Learning-Modellen für die Instanzsegmentierung verwendet, etwa für YOLO-Modelle. Die große Zahl annotierter Bilder, die Vielfalt der Objektkategorien und die standardisierten Bewertungsmetriken machen den Datensatz zu einer etablierten Ressource für Forschende und Praktiker im Bereich Computer Vision. Die vollständigen COCO-Seg-Annotationen lassen sich auch auf der Ultralytics Platform durchsuchen und verwalten.
YAML-Datei des Datensatzes#
Eine YAML-Datei dient zur Definition der Datensatzkonfiguration. Sie enthält Informationen zu den Pfaden, Klassen und weiteren relevanten Eigenschaften des Datensatzes. Für den COCO-Seg-Datensatz wird die Datei coco.yaml unter https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/coco.yaml verwaltet.
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license
# COCO 2017 dataset https://cocodataset.org by Microsoft
# Documentation: https://docs.ultralytics.com/datasets/detect/coco
# Example usage: yolo train data=coco.yaml
# parent
# ├── ultralytics
# └── datasets
# └── coco ← downloads here (20.3 GB)
# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: coco # dataset root dir
train: train2017.txt # train images (relative to 'path') 118287 images
val: val2017.txt # val images (relative to 'path') 5000 images
test: test-dev2017.txt # 20288 of 40670 images, submit via https://cocodataset.org/#detection-eval
# Classes
names:
0: person
1: bicycle
2: car
3: motorcycle
4: airplane
5: bus
6: train
7: truck
8: boat
9: traffic light
10: fire hydrant
11: stop sign
12: parking meter
13: bench
14: bird
15: cat
16: dog
17: horse
18: sheep
19: cow
20: elephant
21: bear
22: zebra
23: giraffe
24: backpack
25: umbrella
26: handbag
27: tie
28: suitcase
29: frisbee
30: skis
31: snowboard
32: sports ball
33: kite
34: baseball bat
35: baseball glove
36: skateboard
37: surfboard
38: tennis racket
39: bottle
40: wine glass
41: cup
42: fork
43: knife
44: spoon
45: bowl
46: banana
47: apple
48: sandwich
49: orange
50: broccoli
51: carrot
52: hot dog
53: pizza
54: donut
55: cake
56: chair
57: couch
58: potted plant
59: bed
60: dining table
61: toilet
62: tv
63: laptop
64: mouse
65: remote
66: keyboard
67: cell phone
68: microwave
69: oven
70: toaster
71: sink
72: refrigerator
73: book
74: clock
75: vase
76: scissors
77: teddy bear
78: hair drier
79: toothbrush
# Download script/URL (optional)
download: |
from pathlib import Path
from ultralytics.utils import ASSETS_URL
from ultralytics.utils.downloads import download
# Download labels
segments = True # segment or box labels
dir = Path(yaml["path"]) # dataset root dir
urls = [ASSETS_URL + ("/coco2017labels-segments.zip" if segments else "/coco2017labels.zip")] # labels
download(urls, dir=dir.parent)
# Download data (test2017.zip excluded: ground truth is withheld, only used for the eval-server test-dev split)
urls = [
"http://images.cocodataset.org/zips/train2017.zip", # 19G, 118k images
"http://images.cocodataset.org/zips/val2017.zip", # 1G, 5k images
]
download(urls, dir=dir / "images", threads=3)Verwendung#
Um ein YOLO26n-seg-Modell 100 Epochen lang mit Bildgröße 640 auf dem COCO-Seg-Datensatz zu trainieren, kannst du die folgenden Codeausschnitte verwenden.
from ultralytics import YOLO
# Ein Modell laden
model = YOLO("yolo26n-seg.pt") # ein vortrainiertes Modell laden (für das Training empfohlen)
# Das Modell trainieren
results = model.train(data="coco.yaml", epochs=100, imgsz=640)Beispielbilder und Annotationen#
COCO-Seg enthält dieselbe Vielfalt an Bildern, Objektkategorien und komplexen Szenen wie COCO. Die Instanzsegmentierungsmasken liegen im YOLO-Label-Format vor. Hier siehst du einige Beispielbilder aus dem Datensatz und die zugehörigen Instanzsegmentierungsmasken:

- Mosaikbild: Dieses Bild zeigt einen Trainingsbatch aus mosaikierten Datensatzbildern. Mosaikbildung ist eine beim Training eingesetzte Technik, bei der mehrere Bilder zu einem einzigen Bild kombiniert werden, um die Vielfalt der Objekte und Szenen in jedem Trainingsbatch zu erhöhen. Dadurch kann das Modell besser auf unterschiedliche Objektgrößen, Seitenverhältnisse und Kontexte generalisieren.
Zitate und Danksagungen#
Wenn du den COCO-Seg-Datensatz in deiner Forschung oder Entwicklungsarbeit verwendest, zitiere bitte das ursprüngliche COCO-Paper und erwähne die Erweiterung zu COCO-Seg:
@misc{lin2015microsoft,
title={Microsoft COCO: Common Objects in Context},
author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr Dollár},
year={2015},
eprint={1405.0312},
archivePrefix={arXiv},
primaryClass={cs.CV}
}Wir danken dem COCO-Konsortium dafür, dass es diese wertvolle Ressource für die Bildverarbeitungsgemeinschaft geschaffen hat und pflegt.
Häufig gestellte Fragen#
COCO-Seg ist die Verpackung der nativen Instanzsegmentierungsmasken von COCO (Common Objects in Context) im Ultralytics-YOLO-Format für dieselben 118.287 train2017- und 5.000 val2017-Bilder. Die ursprünglichen COCO-Annotationen enthalten bereits Polygonmasken für alle 80 Objektkategorien. COCO-Seg konvertiert sie in das YOLO-Label-Format, das für das Training zur Instanzsegmentierung von Objekten verwendet wird.
Um ein YOLO26n-seg-Modell mit dem COCO-Seg-Datensatz 100 Epochen lang bei einer Bildgröße von 640 zu trainieren, kannst du die folgenden Codeausschnitte verwenden. Eine ausführliche Liste der verfügbaren Trainingsargumente findest du auf der Seite zum Training des Modells.
Trainingsbeispielfrom ultralytics import YOLO # Ein Modell laden model = YOLO("yolo26n-seg.pt") # ein vortrainiertes Modell laden (für das Training empfohlen) # Das Modell trainieren results = model.train(data="coco.yaml", epochs=100, imgsz=640)Der COCO-Seg-Datensatz bietet mehrere wichtige Merkmale:
- Stellt Instanzsegmentierungsmasken für 123.287 annotierte COCO-train2017-/val2017-Bilder bereit (118.287 Train + 5.000 Val).
- Annotiert dieselben 80 Objektkategorien wie das ursprüngliche COCO.
- Stellt Instanzsegmentierungsmasken im YOLO-Polygon-Label-Format bereit.
- Verwendet standardisierte Bewertungsmetriken wie die mittlere durchschnittliche Präzision (mAP) und den mittleren durchschnittlichen Recall (mAR) für Aufgaben der Instanzsegmentierung.
Der COCO-Seg-Datensatz unterstützt mehrere vortrainierte YOLO26-Segmentierungsmodelle mit unterschiedlichen Leistungsmetriken. Hier findest du eine Übersicht der verfügbaren Modelle und ihrer wichtigsten Metriken:
Modell Größe
(Pixel)mAPbox50-95
(e2e)mAPmask50-95
(e2e)Geschwindigkeit
CPU ONNX
(ms)Geschwindigkeit
T4 TensorRT10
(ms)Parameter
(M)FLOPs
(B)YOLO26n-seg 640 39.6 33.9 53.3 ± 0.5 2.1 ± 0.0 2.7 9.3 YOLO26s-seg 640 47.3 40.0 118.4 ± 0.9 3.3 ± 0.0 10.4 34.5 YOLO26m-seg 640 52.5 44.1 328.2 ± 2.4 6.7 ± 0.1 23.6 121.7 YOLO26l-seg 640 54.4 45.5 387.0 ± 3.7 8.0 ± 0.1 28.0 140.1 YOLO26x-seg 640 56.5 47.0 787.0 ± 6.8 16.4 ± 0.1 62.8 314.0 Die Modelle reichen vom leichtgewichtigen YOLO26n-seg bis zum genaueren YOLO26x-seg und bieten unterschiedliche Kompromisse zwischen Geschwindigkeit und Genauigkeit, um vielfältigen Anwendungsanforderungen gerecht zu werden.
Der COCO-Seg-Datensatz ist für bestimmte Anforderungen an Training und Bewertung in drei Teilmengen unterteilt:
- Train2017: Umfasst 118.287 Bilder, die vorwiegend zum Trainieren von Modellen zur Instanzsegmentierung verwendet werden.
- Val2017: Umfasst 5.000 Bilder, die während des Trainings zur Validierung verwendet werden.
- Test-dev2017: Umfasst 20.288 der 40.670 test2017-Bilder, die zum Testen und Benchmarking trainierter Modelle vorgesehen sind. Beachte, dass die Ground-Truth-Annotationen für diese Teilmenge nicht öffentlich verfügbar sind und die Leistungsergebnisse zur Bewertung an den COCO-Evaluierungsserver übermittelt werden.
Für kleinere Experimente kannst du auch den COCO128-Seg-Datensatz (128 Bilder) oder den COCO8-Seg-Datensatz in Betracht ziehen, eine kompakte Version mit nur 8 Bildern aus dem COCO-train2017-Datensatz.
Kommentare10
Stell eine Frage, teile deine Ergebnisse oder hilf jemand anderem.
liujieKermit
what the label format if I want to train my custom dataset, please give the solution step by step like label, train, val, export, predict
Glenn JocherUltralytics(bearbeitet)@liujieKermit for custom segmentation training with YOLO26, follow these steps:
-
Label Format: Use YOLO segmentation format - one text file per image with class index and normalized polygon coordinates (minimum 3 points per object). Example:
<class> <x1> <y1> <x2> <y2> ... <xn> <yn> -
Dataset YAML: Create a YAML file (example
data.yaml):
path: /path/to/dataset train: images/train val: images/val names: 0: class1 1: class2- Train:
from ultralytics import YOLO model = YOLO('yolo26n-seg.pt') model.train(data='data.yaml', epochs=100, imgsz=640)- Export/Predict:
model.export(format='onnx') # export model.predict('image.jpg') # predictFor full details see our Dataset Format Guide and Auto-Annotation Tools. For commercial use, review our license terms.
-
YingdiZhang
Thanks for the great work. I am new to YOLO and AI. How to download the COCO dataset? is just running python coco.yaml?
Glenn JocherUltralytics(bearbeitet)@YingdiZhang to download the COCO dataset, you can run
yolo segment train data=coco.yamlin your terminal. This will automatically download the dataset for you. For more details, you can visit the Ultralytics documentation.
SacherTorte280
Dear developpers, I need to build a much simpler case where I'll only need <=5 labels, can I remove the others that i'll never use ?
Paula DerrengerUltralytics(bearbeitet)@SacherTorte280 yes, you can customize the dataset to include only the labels you need. To do this, modify the
coco.yamlfile to include only the desired classes in thenamessection and adjust the dataset paths accordingly. Also make sure the class indices in your label files are remapped to match the newnames(0 to N-1) and remove labels of the dropped classes. This will allow you to train your model with a simplified set of labels. For more details on configuring the dataset, please refer to the COCO-Seg documentation.
MoAbbasid
i get a list out of index error when running convert_coco function please help
Paula DerrengerUltralyticsHi there! It looks like you're encountering a
list index out of rangeerror with theconvert_cocofunction. This can often happen if the script is trying to access an element that doesn't exist in a list. To help you resolve this issue, please ensure that:- The data paths in your
coco.yamlconfig file are correctly set and point to valid files. - The COCO dataset is correctly downloaded and structured as expected by the script.
If the paths and dataset structure are correct, it might be helpful to check if the specific segment of data causing the error is formatted correctly or missing elements.
Here's a quick check you can perform:
try: # Assuming convert_coco is called here convert_coco() except IndexError as e: print("An index error occurred: ", e) # You can add more debugging information here to understand which part of the data is causing the problemThis snippet will catch the
IndexErrorand print it, potentially providing more insight on what's going wrong. If you need further assistance, please don't hesitate to share a snippet of the data or more details on the error!- The data paths in your
mohamed-ladjal
Greetings, I possess medical imagery depicting bone lesions. These images comprise 3D volumes of dimensions (256, 256, 128), with each volume containing 128 slices. Corresponding masks of identical dimensions are available. My objective is to either fine-tune or train a model using these slices to accurately segment the lesions mohamed mohamed.laadjel2019@gmail.com
Glenn JocherUltralytics(bearbeitet)Hello Mohamed,
Great to hear about your project on segmenting bone lesions from medical imagery! For your 3D volumes, you can approach this by treating each slice as a separate 2D image for segmentation.
Given your setup, you might consider using our YOLO26-seg models, which are well-suited for segmentation tasks. Here’s a basic example of how you could set up your training with YOLO26:
from ultralytics import YOLO # Load a pretrained segmentation model model = YOLO('yolo26n-seg.pt') # Choose the appropriate model size # Prepare your dataset in a compatible format # Ensure your dataset directory structure and annotations are correctly set up # Train the model results = model.train(data='your_dataset_config.yaml', epochs=100, imgsz=640)Make sure your dataset is annotated similarly to how COCO-Seg annotations are structured, with masks corresponding to each slice. You might need to adjust the
your_dataset_config.yamlto correctly point to your training, validation, and test images along with their annotations.For more detailed guidance on preparing your dataset and annotations, you can refer to our documentation on COCO-Seg Dataset.
If you have any more questions or need further assistance, feel free to ask. Happy training! 🚀



