Semantische Segmentierung#

Semantic segmentation weist jedem Pixel in einem Bild ein Klassenlabel zu und erzeugt so eine dichte Klassenkarte, die die gesamte Szene abdeckt. Im Gegensatz zur instance segmentation, die einzelne Objekte trennt, fasst die semantische Segmentierung alle Pixel derselben Klasse zusammen, unabhängig davon, wie viele verschiedene Objekte vorhanden sind.

Die Ausgabe eines semantischen Segmentierungsmodells ist eine einzelne Klassenkarte mit der Größe Höhe mal Breite, bei der jeder Pixelwert einer vorhergesagten Klassen-ID entspricht. Dies macht die semantische Segmentierung ideal für Szenenanalyse-Aufgaben wie autonomes Fahren, medizinische Bildgebung und Landbedeckungskartierung.

Models#

YOLO26-Modelle zur semantischen Segmentierung, die auf dem Cityscapes-Datensatz vortrainiert wurden, sind unten aufgeführt.

Modelle werden bei der ersten Verwendung automatisch aus dem neuesten Ultralytics-Release heruntergeladen.

• mIoU^val-Werte gelten für Einzelmodelle im Einzelmaßstab auf dem Validierungssatz von Cityscapes.
  Reproduzieren mit yolo semantic val data=cityscapes.yaml device=0 imgsz=2048
• Speed-Metriken werden über Cityscapes-Validierungsbilder hinweg unter Verwendung einer RTX3090-Instanz gemittelt.
  Reproduzieren mit yolo semantic val data=cityscapes.yaml batch=1 device=0|cpu imgsz=2048
• Params- und FLOPs-Werte gelten für das fusionierte Modell nach model.fuse(), welches Conv- und BatchNorm-Schichten zusammenführt. Vortrainierte Checkpoints behalten die vollständige Trainingsarchitektur bei und können höhere Anzahlen aufweisen.

YOLO26-Modelle zur semantischen Segmentierung, die auf dem ADE20K-Datensatz vortrainiert wurden, sind unten aufgeführt.

Modelle werden bei der ersten Verwendung automatisch aus dem neuesten Ultralytics-Release heruntergeladen.

• mIoU^val-Werte gelten für Einzelmodelle im Einzelmaßstab auf dem Validierungssatz von ADE20K.
  Reproduzieren mit yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml device=0 imgsz=640, indem yolo26n-sem-ade20k.pt durch den gewünschten yolo26*-sem-ade20k.pt-Checkpoint ersetzt wird.
• Speed-Metriken werden über ADE20K-Validierungsbilder hinweg unter Verwendung einer RTX3090-Instanz gemittelt.
  Reproduzieren mit yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml batch=1 device=0|cpu imgsz=640, indem yolo26n-sem-ade20k.pt durch den gewünschten yolo26*-sem-ade20k.pt-Checkpoint ersetzt wird.
• Params- und FLOPs-Werte gelten für das fusionierte Modell nach model.fuse(), welches Conv- und BatchNorm-Schichten zusammenführt. Vortrainierte Checkpoints behalten die vollständige Trainingsarchitektur bei und können höhere Anzahlen aufweisen.

Trainieren#

Trainiere YOLO26n-sem auf dem Cityscapes8-Datensatz für 100 epochs bei einer Bildgröße von 1024. Eine vollständige Liste der verfügbaren Argumente findest du auf der Configuration-Seite.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.yaml")  # build a new model from YAML
model = YOLO("yolo26n-sem.pt")  # load a pretrained model (recommended for training)
model = YOLO("yolo26n-sem.yaml").load("yolo26n-sem.pt")  # build from YAML and transfer weights

# Train the model
results = model.train(data="cityscapes8.yaml", epochs=100, imgsz=1024)

Siehe vollständige Details zum train-Modus auf der Train-Seite. Modelle zur semantischen Segmentierung können auch mit dem Ultralytics Platform cloud training trainiert werden.

Datensatzformat#

Datensätze zur semantischen Segmentierung verwenden einkanalige Maskenbilder (typischerweise PNG), bei denen jeder Pixelwert eine Klassen-ID darstellt. Pixel mit dem Wert 255 werden als „ignorieren“ behandelt und von der Verlustberechnung ausgeschlossen. Das Datensatz-YAML sollte Pfade zu Bildern und deren entsprechenden Maskenverzeichnissen angeben. Siehe den Semantic Segmentation Dataset Guide für Formatdetails. Unterstützte Datensätze umfassen Cityscapes und ADE20K. Du kannst semantische Datensätze mit der Ultralytics Platform annotation verwalten und beschriften.

Validieren#

Validiere die accuracy des trainierten YOLO26n-sem-Modells anhand eines Datensatzes zur semantischen Segmentierung. Übergebe data explizit, damit die Validierung das beabsichtigte Datensatz-YAML verwendet.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Validate the model
metrics = model.val(data="cityscapes.yaml")
metrics.miou  # mean Intersection over Union
metrics.pixel_accuracy  # overall pixel accuracy

Vorhersagen#

Verwende ein trainiertes YOLO26n-sem-Modell, um Vorhersagen auf Bildern auszuführen.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    semantic_mask = result.semantic_mask.data  # class map, shape (H,W), integer dtype selected by class count

Weitere Details zum predict-Modus findest du auf der Predict-Seite.

Ergebnisausgabe#

Die YOLO-semantische Segmentierung gibt ein Results-Objekt pro Bild zurück. Jedes Ergebnis speichert eine dichte Klassenkarte für das gesamte Bild anstelle einer Liste von Objektmasken. Pixel mit derselben vorhergesagten Klasse teilen sich dieselbe Klassen-ID, selbst wenn sie zu verschiedenen Objekten gehören.

Aufgabenspezifische Results-Felder für alle Aufgaben findest du im Abschnitt Predict Results by Task.

Instanz- vs. semantische Segmentierung#

Exportieren#

Exportiere ein YOLO26n-sem-Modell in ein anderes Format wie ONNX, CoreML, etc.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Export the model
model.export(format="onnx")

Verfügbare Exportformate für die semantische Segmentierung von YOLO26 sind in der folgenden Tabelle aufgeführt. Du kannst in jedes Format exportieren, indem du das Argument format verwendest, d. h. format='onnx' oder format='engine'. Du kannst direkt mit exportierten Modellen vorhersagen oder validieren, d. h. yolo predict model=yolo26n-sem.onnx. Nutzungsbeispiele werden für dein Modell angezeigt, nachdem der Export abgeschlossen ist.

Weitere Details zum export-Modus findest du auf der Export-Seite.

FAQ#