Übersicht über Instanzsegmentierungs-Datensätze#

Instanzsegmentierung ist eine Aufgabe des maschinellen Sehens, bei der einzelne Objekte in einem Bild identifiziert und abgegrenzt werden. Dieser Leitfaden bietet einen Überblick über die Datensatzformate, die von Ultralytics YOLO für Instanzsegmentierungsaufgaben unterstützt werden, sowie Anleitungen zur Vorbereitung, Konvertierung und Verwendung dieser Datensätze für das Training deiner Modelle.

Unterstützte Datensatzformate#

Ultralytics YOLO-Format#

Das für das Training von YOLO-Segmentierungsmodellen verwendete Datensatz-Label-Format sieht wie folgt aus:

1. Eine Textdatei pro Bild: Jedes Bild im Datensatz hat eine entsprechende Textdatei mit dem gleichen Namen wie die Bilddatei und der Endung ".txt".
2. Eine Zeile pro Objekt: Jede Zeile in der Textdatei entspricht einer Objektinstanz im Bild.
3. Objektinformationen pro Zeile: Jede Zeile enthält die folgenden Informationen über die Objektinstanz:
   • Objektklassenindex: Eine Ganzzahl, die die Klasse des Objekts darstellt (z. B. 0 für Person, 1 für Auto usw.).
   • Objektbegrenzungskoordinaten: Die Begrenzungskoordinaten um den Maskenbereich, normalisiert auf Werte zwischen 0 und 1.

Das Format für eine einzelne Zeile in der Segmentierungs-Datensatzdatei sieht wie folgt aus:

<class-index> <x1> <y1> <x2> <y2> ... <xn> <yn>

In diesem Format ist <class-index> der Index der Klasse für das Objekt, und <x1> <y1> <x2> <y2> ... <xn> <yn> sind die normalisierten Polygonkoordinaten der Segmentierungsmaske des Objekts (die Werte liegen in [0, 1] relativ zu Bildbreite und -höhe). Die Koordinaten sind durch Leerzeichen getrennt.

Hier ist ein Beispiel für das YOLO-Datensatzformat für ein einzelnes Bild mit zwei Objekten, die aus einem 3-Punkt-Segment und einem 5-Punkt-Segment bestehen.

0 0.681 0.485 0.670 0.487 0.676 0.487
1 0.504 0.000 0.501 0.004 0.498 0.004 0.493 0.010 0.492 0.0104

Datensatz-YAML-Format#

Das Ultralytics-Framework verwendet ein YAML-Dateiformat, um den Datensatz und die Modellkonfiguration für das Training von Segmentierungsmodellen zu definieren. Hier ist ein Beispiel für das YAML-Format, das zur Definition eines Segmentierungsdatensatzes verwendet wird:

# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# COCO8-seg dataset (first 8 images from COCO train2017) by Ultralytics
# Documentation: https://docs.ultralytics.com/datasets/segment/coco8-seg
# Example usage: yolo train data=coco8-seg.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── coco8-seg ← downloads here (1 MB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: coco8-seg # dataset root dir
train: images/train # train images (relative to 'path') 4 images
val: images/val # val images (relative to 'path') 4 images
test: # test images (optional)

# Classes
names:
  0: person
  1: bicycle
  2: car
  3: motorcycle
  4: airplane
  5: bus
  6: train
  7: truck
  8: boat
  9: traffic light
  10: fire hydrant
  11: stop sign
  12: parking meter
  13: bench
  14: bird
  15: cat
  16: dog
  17: horse
  18: sheep
  19: cow
  20: elephant
  21: bear
  22: zebra
  23: giraffe
  24: backpack
  25: umbrella
  26: handbag
  27: tie
  28: suitcase
  29: frisbee
  30: skis
  31: snowboard
  32: sports ball
  33: kite
  34: baseball bat
  35: baseball glove
  36: skateboard
  37: surfboard
  38: tennis racket
  39: bottle
  40: wine glass
  41: cup
  42: fork
  43: knife
  44: spoon
  45: bowl
  46: banana
  47: apple
  48: sandwich
  49: orange
  50: broccoli
  51: carrot
  52: hot dog
  53: pizza
  54: donut
  55: cake
  56: chair
  57: couch
  58: potted plant
  59: bed
  60: dining table
  61: toilet
  62: tv
  63: laptop
  64: mouse
  65: remote
  66: keyboard
  67: cell phone
  68: microwave
  69: oven
  70: toaster
  71: sink
  72: refrigerator
  73: book
  74: clock
  75: vase
  76: scissors
  77: teddy bear
  78: hair drier
  79: toothbrush

# Download script/URL (optional)
download: https://github.com/ultralytics/assets/releases/download/v0.0.0/coco8-seg.zip

Die Felder train, val und test verweisen auf die Trainings-, Validierungs- und Testbilder. Jedes akzeptiert ein Verzeichnis, eine Liste von Verzeichnissen oder eine *.txt-Datei, die einen Bildpfad pro Zeile auflistet (Pfadausrichtungen, die mit ./ beginnen, werden relativ zur *.txt-Datei aufgelöst). Eine *.txt-Datei ist nützlich, um auf einer Teilmenge eines Verzeichnisses zu trainieren, unbeschriftete Bilder zu überspringen oder Bilder aus mehreren Quellen zu einem Split zusammenzuführen.

path: datasets/coco8-seg # dataset root
train: train.txt # a directory, a list e.g. [images/a, images/b], or a *.txt file
val: val.txt
names:
  0: person

names ist ein Wörterbuch der Klassennamen. Die Reihenfolge der Namen sollte der Reihenfolge der Objektklassenindizes in den YOLO-Datensatzdateien entsprechen.

Verwendung#

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-seg.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="coco8-seg.yaml", epochs=100, imgsz=640)

Unterstützte Datensätze#

Ultralytics YOLO unterstützt verschiedene Datensätze für Instanzsegmentierungsaufgaben. Hier ist eine Liste der am häufigsten verwendeten:

• Carparts-seg: Ein spezialisierter Datensatz, der sich auf die Segmentierung von Autoteilen konzentriert und ideal für Automotive-Anwendungen ist. Er enthält eine Vielzahl von Fahrzeugen mit detaillierten Annotationen einzelner Automobilkomponenten.
• COCO: Ein umfassender Datensatz für Objekterkennung, Segmentierung und Beschriftung mit über 200.000 beschrifteten Bildern in einer Vielzahl von Kategorien.
• COCO8-seg: Eine kompakte Untermenge von COCO mit 8 Bildern, die für das schnelle Testen des Segmentierungsmodelltrainings entwickelt wurde und sich ideal für CI-Prüfungen und Workflow-Validierungen im ultralytics-Repository eignet.
• COCO128-seg: Ein kleinerer Datensatz für Aufgaben zur Instanzsegmentierung, der eine Untermenge von 128 COCO-Bildern mit Segmentierungsannotationen enthält.
• Crack-seg: Ein Datensatz, der auf die Segmentierung von Rissen in verschiedenen Oberflächen zugeschnitten ist. Er ist für die Instandhaltung von Infrastrukturen und die Qualitätskontrolle unerlässlich und liefert detailliertes Bildmaterial zum Trainieren von Modellen zur Identifizierung von Strukturschwächen.
• Package-seg: Ein Datensatz, der sich der Segmentierung verschiedener Verpackungsmaterialien und -formen widmet. Er ist besonders nützlich für die Logistik und Lagerautomation und unterstützt die Entwicklung von Systemen zur Paketbehandlung und -sortierung.

Eigenen Datensatz hinzufügen#

Wenn du einen eigenen Datensatz hast und ihn zum Trainieren von Segmentierungsmodellen mit dem Ultralytics YOLO-Format verwenden möchtest, stelle sicher, dass er dem oben unter „Ultralytics YOLO format“ angegebenen Format entspricht. Konvertiere deine Annotationen in das erforderliche Format und gib die Pfade, die Anzahl der Klassen und die Klassennamen in der YAML-Konfigurationsdatei an. Halte images/ und labels/ als separate Ordner auf derselben Ebene mit passender Unterordnerstruktur; das Platzieren von Label-Dateien .txt im Bildordner kann dazu führen, dass das Modell Labels übersieht.

Label-Formate portieren oder konvertieren#

COCO-Datensatzformat in YOLO-Format#

Du kannst Labels aus dem gängigen COCO-Datensatzformat einfach mit dem folgenden Code-Schnipsel in das YOLO-Format konvertieren:

from ultralytics.data.converter import convert_coco

convert_coco(labels_dir="path/to/coco/annotations/", use_segments=True)

Dieses Konvertierungstool kann verwendet werden, um den COCO-Datensatz oder jeden Datensatz im COCO-Format in das Ultralytics YOLO-Format zu konvertieren.

Denke daran, zu überprüfen, ob der Datensatz, den du verwenden möchtest, mit deinem Modell kompatibel ist und die notwendigen Formatkonventionen einhält. Korrekt formatierte Datensätze sind entscheidend für das Training erfolgreicher Segmentierungsmodelle.

Auto-Annotation#

Auto-annotation ist eine wesentliche Funktion, mit der du mithilfe eines vortrainierten Erkennungsmodells einen Segmentierungsdatensatz erstellen kannst. Sie ermöglicht es dir, eine große Anzahl von Bildern schnell und genau zu annotieren, ohne dass manuelle Beschriftungen erforderlich sind, was Zeit und Mühe spart.

Generiere einen Segmentierungsdatensatz mit einem Erkennungsmodell#

Um deinen Datensatz mit dem Ultralytics-Framework automatisch zu annotieren, kannst du die unten gezeigte Funktion auto_annotate verwenden:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="sam_b.pt")

Die Funktion auto_annotate nimmt den Pfad zu deinen Bildern entgegen, zusammen mit optionalen Argumenten zur Angabe der vortrainierten Erkennungsmodelle, z. B. YOLO26, YOLO11 oder anderer Modelle, sowie von Segmentierungsmodellen, z. B. SAM, SAM 2, MobileSAM oder SAM 3, dem Gerät zum Ausführen der Modelle und dem Ausgabeverzeichnis zum Speichern der annotierten Ergebnisse.

Durch die Nutzung der Leistung vortrainierter Modelle kann Auto-Annotation die Zeit und den Aufwand, die für die Erstellung hochwertiger Segmentierungsdatensätze erforderlich sind, erheblich reduzieren. Diese Funktion ist besonders nützlich für Forscher und Entwickler, die mit großen Bildersammlungen arbeiten, da sie sich auf die Modellentwicklung und -evaluierung konzentrieren können, anstatt auf manuelle Annotation.

Dataset-Annotationen visualisieren#

Vor dem Training deines Modells ist es oft hilfreich, deine Datensatz-Annotationen zu visualisieren, um sicherzustellen, dass sie korrekt sind. Ultralytics bietet zu diesem Zweck eine Hilfsfunktion:

from ultralytics.data.utils import visualize_image_annotations

label_map = {  # Define the label map with all annotated class labels.
    0: "person",
    1: "car",
}

# Visualize
visualize_image_annotations(
    "path/to/image.jpg",  # Input image path.
    "path/to/annotations.txt",  # Annotation file path for the image.
    label_map,
)

Diese Funktion zeichnet Begrenzungsrahmen, beschriftet Objekte mit Klassennamen und passt die Textfarbe für eine bessere Lesbarkeit an, wodurch du Annotation-Fehler vor dem Training identifizieren und korrigieren kannst.

Segmentierungsmasken in das YOLO-Format konvertieren#

Wenn du Segmentierungsmasken im Binärformat hast, kannst du sie mit folgendem Befehl in das YOLO-Segmentierungsformat konvertieren:

from ultralytics.data.converter import convert_segment_masks_to_yolo_seg

# For datasets like COCO with 80 classes
convert_segment_masks_to_yolo_seg(masks_dir="path/to/masks_dir", output_dir="path/to/output_dir", classes=80)

Dieses Dienstprogramm konvertiert binäre Maskenbilder in das YOLO-Segmentierungsformat und speichert sie im angegebenen Ausgabeverzeichnis.

FAQ#