Erste Schritte

COCO-Seg-Datensatz

COCO 2017 Segmentation preview 1
COCO 2017 Segmentation preview 2
COCO 2017 Segmentation preview 3
COCO 2017 Segmentation preview 4
123,272
COCO 2017 Segmentation
ultralytics
PublicSegment

Everyday photos with per-instance object masks, Microsoft COCO's 2017 release and the standard instance-segmentation benchmark. Images were gathered from Flickr and outlined by crowdworkers, with dense, overlapping objects at widely varying scales; only train and val are included because test-dev labels are withheld. Source: Lin et al., "Microsoft COCO: Common Objects in Context," ECCV 2014; cocodataset.org.

80 classes11.6 GBOct 23, 2026
personbicyclecarmotorcycle+76
instance-segmentationcocococo2017+1

Der COCO-Seg-Datensatz stellt Instanzsegmentierungsmasken von COCO (Common Objects in Context, also allgemeine Objekte im Kontext) bereit — 118.287 Trainingsbilder und 5.000 Validierungsbilder mit Polygonmasken für 80 Objektkategorien — im Ultralytics-YOLO-Label-Format. Er verwendet die Originalbilder und nativen Segmentierungsannotationen von COCO, die für das YOLO-Training konvertiert wurden. Dadurch ist er eine etablierte Ressource für Forschende und Entwickler, die an Aufgaben der Instanzsegmentierung arbeiten.

Mit COCO-Seg vortrainierte Modelle#

ModellGröße
(Pixel)
mAPbox50-95
(e2e)
mAPmask50-95
(e2e)
Geschwindigkeit
CPU ONNX
(ms)
Geschwindigkeit
T4 TensorRT10
(ms)
Parameter
(M)
FLOPs
(B)
YOLO26n-seg64039.633.953.3 ± 0.52.1 ± 0.02.79.3
YOLO26s-seg64047.340.0118.4 ± 0.93.3 ± 0.010.434.5
YOLO26m-seg64052.544.1328.2 ± 2.46.7 ± 0.123.6121.7
YOLO26l-seg64054.445.5387.0 ± 3.78.0 ± 0.128.0140.1
YOLO26x-seg64056.547.0787.0 ± 6.816.4 ± 0.162.8314.0

Wichtige Funktionen#

  • COCO-Seg bietet Masken zur Instanzsegmentierung für 123.287 beschriftete COCO-Bilder aus train2017/val2017 (118.287 Trainingsbilder + 5.000 Validierungsbilder) und umfasst damit einen Teil der insgesamt ~330K Bilder der COCO-Veröffentlichung.
  • Der Datensatz umfasst dieselben 80 Objektkategorien wie der ursprüngliche COCO-Datensatz.
  • Die Annotationen enthalten Masken zur Instanzsegmentierung im YOLO-Polygon-Labelformat.
  • COCO-Seg stellt standardisierte mAP- und mAR-Metriken zur Bewertung der Leistung bei der Instanzsegmentierung bereit und ermöglicht so einen aussagekräftigen Vergleich der Modellleistung.
  • Downloadgröße: ~20,3 GB bei der ersten Verwendung (train2017.zip + val2017.zip + Labels). Die 7-GB-Datei test2017.zip wird nicht automatisch abgerufen, da für diese Bilder die Ground Truth zurückgehalten wird und sie nur für eine test-dev2017-Einreichung benötigt werden.

Datensatzstruktur#

Der COCO-Seg-Datensatz ist in drei Teilmengen unterteilt:

  1. Train2017: 118.287 Bilder zum Trainieren von Modellen zur Instanzsegmentierung.
  2. Val2017: 5.000 Bilder, die während der Modellentwicklung zur Validierung verwendet werden.
  3. Test-dev2017: 20.288 der 40.670 test2017-Bilder, die für Benchmarking verwendet werden. Die Ground-Truth-Annotationen für diese Teilmenge sind nicht öffentlich verfügbar. Daher müssen Vorhersagen zur Bewertung beim COCO-Evaluierungsserver eingereicht werden.

Für kleinere Experimente sieh dir die Teilmengen COCO128-Seg (128 Bilder) und COCO8-Seg (8 Bilder) an.

Anwendungsfälle#

COCO-Seg wird häufig zum Trainieren und Bewerten von Deep-Learning-Modellen für die Instanzsegmentierung verwendet, etwa für YOLO-Modelle. Die große Zahl annotierter Bilder, die Vielfalt der Objektkategorien und die standardisierten Bewertungsmetriken machen den Datensatz zu einer etablierten Ressource für Forschende und Praktiker im Bereich Computer Vision. Die vollständigen COCO-Seg-Annotationen lassen sich auch auf der Ultralytics Platform durchsuchen und verwalten.

YAML-Datei des Datensatzes#

Eine YAML-Datei dient zur Definition der Datensatzkonfiguration. Sie enthält Informationen zu den Pfaden, Klassen und weiteren relevanten Eigenschaften des Datensatzes. Für den COCO-Seg-Datensatz wird die Datei coco.yaml unter https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/coco.yaml verwaltet.

ultralytics/cfg/datasets/coco.yaml
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# COCO 2017 dataset https://cocodataset.org by Microsoft
# Documentation: https://docs.ultralytics.com/datasets/detect/coco
# Example usage: yolo train data=coco.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── coco ← downloads here (20.3 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: coco # dataset root dir
train: train2017.txt # train images (relative to 'path') 118287 images
val: val2017.txt # val images (relative to 'path') 5000 images
test: test-dev2017.txt # 20288 of 40670 images, submit via https://cocodataset.org/#detection-eval

# Classes
names:
  0: person
  1: bicycle
  2: car
  3: motorcycle
  4: airplane
  5: bus
  6: train
  7: truck
  8: boat
  9: traffic light
  10: fire hydrant
  11: stop sign
  12: parking meter
  13: bench
  14: bird
  15: cat
  16: dog
  17: horse
  18: sheep
  19: cow
  20: elephant
  21: bear
  22: zebra
  23: giraffe
  24: backpack
  25: umbrella
  26: handbag
  27: tie
  28: suitcase
  29: frisbee
  30: skis
  31: snowboard
  32: sports ball
  33: kite
  34: baseball bat
  35: baseball glove
  36: skateboard
  37: surfboard
  38: tennis racket
  39: bottle
  40: wine glass
  41: cup
  42: fork
  43: knife
  44: spoon
  45: bowl
  46: banana
  47: apple
  48: sandwich
  49: orange
  50: broccoli
  51: carrot
  52: hot dog
  53: pizza
  54: donut
  55: cake
  56: chair
  57: couch
  58: potted plant
  59: bed
  60: dining table
  61: toilet
  62: tv
  63: laptop
  64: mouse
  65: remote
  66: keyboard
  67: cell phone
  68: microwave
  69: oven
  70: toaster
  71: sink
  72: refrigerator
  73: book
  74: clock
  75: vase
  76: scissors
  77: teddy bear
  78: hair drier
  79: toothbrush

# Download script/URL (optional)
download: |
  from pathlib import Path

  from ultralytics.utils import ASSETS_URL
  from ultralytics.utils.downloads import download

  # Download labels
  segments = True  # segment or box labels
  dir = Path(yaml["path"])  # dataset root dir
  urls = [ASSETS_URL + ("/coco2017labels-segments.zip" if segments else "/coco2017labels.zip")]  # labels
  download(urls, dir=dir.parent)

  # Download data (test2017.zip excluded: ground truth is withheld, only used for the eval-server test-dev split)
  urls = [
      "http://images.cocodataset.org/zips/train2017.zip",  # 19G, 118k images
      "http://images.cocodataset.org/zips/val2017.zip",  # 1G, 5k images
  ]
  download(urls, dir=dir / "images", threads=3)

Verwendung#

Um ein YOLO26n-seg-Modell 100 Epochen lang mit Bildgröße 640 auf dem COCO-Seg-Datensatz zu trainieren, kannst du die folgenden Codeausschnitte verwenden.

Trainingsbeispiel
from ultralytics import YOLO

# Ein Modell laden
model = YOLO("yolo26n-seg.pt")  # ein vortrainiertes Modell laden (für das Training empfohlen)

# Das Modell trainieren
results = model.train(data="coco.yaml", epochs=100, imgsz=640)

Beispielbilder und Annotationen#

COCO-Seg enthält dieselbe Vielfalt an Bildern, Objektkategorien und komplexen Szenen wie COCO. Die Instanzsegmentierungsmasken liegen im YOLO-Label-Format vor. Hier siehst du einige Beispielbilder aus dem Datensatz und die zugehörigen Instanzsegmentierungsmasken:

Mosaik aus einem Trainingsbatch des COCO-Segmentierungsdatensatzes

  • Mosaikbild: Dieses Bild zeigt einen Trainingsbatch aus mosaikierten Datensatzbildern. Mosaikbildung ist eine beim Training eingesetzte Technik, bei der mehrere Bilder zu einem einzigen Bild kombiniert werden, um die Vielfalt der Objekte und Szenen in jedem Trainingsbatch zu erhöhen. Dadurch kann das Modell besser auf unterschiedliche Objektgrößen, Seitenverhältnisse und Kontexte generalisieren.

Zitate und Danksagungen#

Wenn du den COCO-Seg-Datensatz in deiner Forschung oder Entwicklungsarbeit verwendest, zitiere bitte das ursprüngliche COCO-Paper und erwähne die Erweiterung zu COCO-Seg:

Zitierung
@misc{lin2015microsoft,
      title={Microsoft COCO: Common Objects in Context},
      author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr Dollár},
      year={2015},
      eprint={1405.0312},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Wir danken dem COCO-Konsortium dafür, dass es diese wertvolle Ressource für die Bildverarbeitungsgemeinschaft geschaffen hat und pflegt.

Häufig gestellte Fragen#

  • COCO-Seg ist die Verpackung der nativen Instanzsegmentierungsmasken von COCO (Common Objects in Context) im Ultralytics-YOLO-Format für dieselben 118.287 train2017- und 5.000 val2017-Bilder. Die ursprünglichen COCO-Annotationen enthalten bereits Polygonmasken für alle 80 Objektkategorien. COCO-Seg konvertiert sie in das YOLO-Label-Format, das für das Training zur Instanzsegmentierung von Objekten verwendet wird.

  • Um ein YOLO26n-seg-Modell mit dem COCO-Seg-Datensatz 100 Epochen lang bei einer Bildgröße von 640 zu trainieren, kannst du die folgenden Codeausschnitte verwenden. Eine ausführliche Liste der verfügbaren Trainingsargumente findest du auf der Seite zum Training des Modells.

    Trainingsbeispiel
    from ultralytics import YOLO
    
    # Ein Modell laden
    model = YOLO("yolo26n-seg.pt")  # ein vortrainiertes Modell laden (für das Training empfohlen)
    
    # Das Modell trainieren
    results = model.train(data="coco.yaml", epochs=100, imgsz=640)
  • Der COCO-Seg-Datensatz bietet mehrere wichtige Merkmale:

    • Stellt Instanzsegmentierungsmasken für 123.287 annotierte COCO-train2017-/val2017-Bilder bereit (118.287 Train + 5.000 Val).
    • Annotiert dieselben 80 Objektkategorien wie das ursprüngliche COCO.
    • Stellt Instanzsegmentierungsmasken im YOLO-Polygon-Label-Format bereit.
    • Verwendet standardisierte Bewertungsmetriken wie die mittlere durchschnittliche Präzision (mAP) und den mittleren durchschnittlichen Recall (mAR) für Aufgaben der Instanzsegmentierung.
  • Der COCO-Seg-Datensatz unterstützt mehrere vortrainierte YOLO26-Segmentierungsmodelle mit unterschiedlichen Leistungsmetriken. Hier findest du eine Übersicht der verfügbaren Modelle und ihrer wichtigsten Metriken:

    ModellGröße
    (Pixel)
    mAPbox50-95
    (e2e)
    mAPmask50-95
    (e2e)
    Geschwindigkeit
    CPU ONNX
    (ms)
    Geschwindigkeit
    T4 TensorRT10
    (ms)
    Parameter
    (M)
    FLOPs
    (B)
    YOLO26n-seg64039.633.953.3 ± 0.52.1 ± 0.02.79.3
    YOLO26s-seg64047.340.0118.4 ± 0.93.3 ± 0.010.434.5
    YOLO26m-seg64052.544.1328.2 ± 2.46.7 ± 0.123.6121.7
    YOLO26l-seg64054.445.5387.0 ± 3.78.0 ± 0.128.0140.1
    YOLO26x-seg64056.547.0787.0 ± 6.816.4 ± 0.162.8314.0

    Die Modelle reichen vom leichtgewichtigen YOLO26n-seg bis zum genaueren YOLO26x-seg und bieten unterschiedliche Kompromisse zwischen Geschwindigkeit und Genauigkeit, um vielfältigen Anwendungsanforderungen gerecht zu werden.

  • Der COCO-Seg-Datensatz ist für bestimmte Anforderungen an Training und Bewertung in drei Teilmengen unterteilt:

    1. Train2017: Umfasst 118.287 Bilder, die vorwiegend zum Trainieren von Modellen zur Instanzsegmentierung verwendet werden.
    2. Val2017: Umfasst 5.000 Bilder, die während des Trainings zur Validierung verwendet werden.
    3. Test-dev2017: Umfasst 20.288 der 40.670 test2017-Bilder, die zum Testen und Benchmarking trainierter Modelle vorgesehen sind. Beachte, dass die Ground-Truth-Annotationen für diese Teilmenge nicht öffentlich verfügbar sind und die Leistungsergebnisse zur Bewertung an den COCO-Evaluierungsserver übermittelt werden.

    Für kleinere Experimente kannst du auch den COCO128-Seg-Datensatz (128 Bilder) oder den COCO8-Seg-Datensatz in Betracht ziehen, eine kompakte Version mit nur 8 Bildern aus dem COCO-train2017-Datensatz.

Kommentare10

Stell eine Frage, teile deine Ergebnisse oder hilf jemand anderem.

  1. liujieKermitGitHub

    what the label format if I want to train my custom dataset, please give the solution step by step like label, train, val, export, predict

    1. Glenn JocherUltralytics(bearbeitet)

      @liujieKermit for custom segmentation training with YOLO26, follow these steps:

      1. Label Format: Use YOLO segmentation format - one text file per image with class index and normalized polygon coordinates (minimum 3 points per object). Example:
        <class> <x1> <y1> <x2> <y2> ... <xn> <yn>

      2. Dataset YAML: Create a YAML file (example data.yaml):

      path: /path/to/dataset
      train: images/train
      val: images/val
      names:
        0: class1
        1: class2
      1. Train:
      from ultralytics import YOLO
      model = YOLO('yolo26n-seg.pt')
      model.train(data='data.yaml', epochs=100, imgsz=640)
      1. Export/Predict:
      model.export(format='onnx')  # export
      model.predict('image.jpg')  # predict

      For full details see our Dataset Format Guide and Auto-Annotation Tools. For commercial use, review our license terms.

  2. YingdiZhangGitHub

    Thanks for the great work. I am new to YOLO and AI. How to download the COCO dataset? is just running python coco.yaml?

    1. Glenn JocherUltralytics(bearbeitet)

      @YingdiZhang to download the COCO dataset, you can run yolo segment train data=coco.yaml in your terminal. This will automatically download the dataset for you. For more details, you can visit the Ultralytics documentation.

  3. SacherTorte280GitHub

    Dear developpers, I need to build a much simpler case where I'll only need <=5 labels, can I remove the others that i'll never use ?

    1. Paula DerrengerUltralytics(bearbeitet)

      @SacherTorte280 yes, you can customize the dataset to include only the labels you need. To do this, modify the coco.yaml file to include only the desired classes in the names section and adjust the dataset paths accordingly. Also make sure the class indices in your label files are remapped to match the new names (0 to N-1) and remove labels of the dropped classes. This will allow you to train your model with a simplified set of labels. For more details on configuring the dataset, please refer to the COCO-Seg documentation.

  4. MoAbbasidGitHub

    i get a list out of index error when running convert_coco function please help

    1. Paula DerrengerUltralytics

      Hi there! It looks like you're encountering a list index out of range error with the convert_coco function. This can often happen if the script is trying to access an element that doesn't exist in a list. To help you resolve this issue, please ensure that:

      1. The data paths in your coco.yaml config file are correctly set and point to valid files.
      2. The COCO dataset is correctly downloaded and structured as expected by the script.

      If the paths and dataset structure are correct, it might be helpful to check if the specific segment of data causing the error is formatted correctly or missing elements.

      Here's a quick check you can perform:

      try:
          # Assuming convert_coco is called here
          convert_coco()
      except IndexError as e:
          print("An index error occurred: ", e)
          # You can add more debugging information here to understand which part of the data is causing the problem

      This snippet will catch the IndexError and print it, potentially providing more insight on what's going wrong. If you need further assistance, please don't hesitate to share a snippet of the data or more details on the error!

  5. mohamed-ladjalGitHub

    Greetings, I possess medical imagery depicting bone lesions. These images comprise 3D volumes of dimensions (256, 256, 128), with each volume containing 128 slices. Corresponding masks of identical dimensions are available. My objective is to either fine-tune or train a model using these slices to accurately segment the lesions mohamed mohamed.laadjel2019@gmail.com

    1. Glenn JocherUltralytics(bearbeitet)

      Hello Mohamed,

      Great to hear about your project on segmenting bone lesions from medical imagery! For your 3D volumes, you can approach this by treating each slice as a separate 2D image for segmentation.

      Given your setup, you might consider using our YOLO26-seg models, which are well-suited for segmentation tasks. Here’s a basic example of how you could set up your training with YOLO26:

      from ultralytics import YOLO
      
      # Load a pretrained segmentation model
      model = YOLO('yolo26n-seg.pt')  # Choose the appropriate model size
      
      # Prepare your dataset in a compatible format
      # Ensure your dataset directory structure and annotations are correctly set up
      
      # Train the model
      results = model.train(data='your_dataset_config.yaml', epochs=100, imgsz=640)

      Make sure your dataset is annotated similarly to how COCO-Seg annotations are structured, with masks corresponding to each slice. You might need to adjust the your_dataset_config.yaml to correctly point to your training, validation, and test images along with their annotations.

      For more detailed guidance on preparing your dataset and annotations, you can refer to our documentation on COCO-Seg Dataset.

      If you have any more questions or need further assistance, feel free to ask. Happy training! 🚀