Semantische Segmentierung mit Ultralytics YOLO#

Semantische Segmentierung weist jedem Pixel in einem Bild ein Klassenlabel zu und erzeugt eine dichte Klassenkarte, die die gesamte Szene abdeckt. Im Gegensatz zur Instanzsegmentierung, die einzelne Objekte voneinander trennt, fasst die semantische Segmentierung alle Pixel derselben Klasse zusammen, unabhängig davon, wie viele einzelne Objekte vorhanden sind.

Die Ausgabe eines Modells für semantische Segmentierung ist eine einzelne Klassenkarte mit der Höhe und Breite des Bildes, wobei jeder Pixelwert einer vorhergesagten Klassen-ID entspricht. Dadurch eignet sich die semantische Segmentierung ideal für Aufgaben zur Szenenanalyse wie autonomes Fahren, medizinische Bildgebung und Landbedeckungskartierung.

Modelle#

Modelle für die semantische Segmentierung mit YOLO26, die auf dem Datensatz Cityscapes vortrainiert wurden, sind unten aufgeführt.

Modelle werden bei der ersten Verwendung automatisch aus dem neuesten Ultralytics-Release heruntergeladen.

• Die Werte für mIoU^val gelten für ein einzelnes Modell mit einer einzigen Bildskala auf dem Validierungssatz von Cityscapes.
  Reproduziere sie mit yolo semantic val data=cityscapes.yaml device=0 imgsz=2048
• Die Geschwindigkeitsmetriken werden über die Validierungsbilder von Cityscapes mit einer RTX3090-Instanz gemittelt.
  Reproduziere sie mit yolo semantic val data=cityscapes.yaml batch=1 device=0|cpu imgsz=2048
• Die Werte für Params und FLOPs gelten für das fusionierte Modell nach model.fuse(), das Conv- und BatchNorm-Schichten zusammenführt. Vortrainierte Checkpoints enthalten weiterhin die vollständige Trainingsarchitektur und können daher höhere Werte aufweisen.

Modelle für die semantische Segmentierung mit YOLO26, die auf dem Datensatz ADE20K vortrainiert wurden, sind unten aufgeführt.

Modelle werden bei der ersten Verwendung automatisch aus dem neuesten Ultralytics-Release heruntergeladen.

• Die Werte für mIoU^val gelten für ein einzelnes Modell mit einer einzigen Bildskala auf dem Validierungssatz von ADE20K.
  Reproduziere sie mit yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml device=0 imgsz=640, indem du yolo26n-sem-ade20k.pt durch den gewünschten yolo26*-sem-ade20k.pt-Checkpoint ersetzt.
• Die Geschwindigkeitsmetriken werden über die Validierungsbilder von ADE20K mit einer RTX3090-Instanz gemittelt.
  Reproduziere sie mit yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml batch=1 device=0|cpu imgsz=640, indem du yolo26n-sem-ade20k.pt durch den gewünschten yolo26*-sem-ade20k.pt-Checkpoint ersetzt.
• Die Werte für Params und FLOPs gelten für das fusionierte Modell nach model.fuse(), das Conv- und BatchNorm-Schichten zusammenführt. Vortrainierte Checkpoints enthalten weiterhin die vollständige Trainingsarchitektur und können daher höhere Werte aufweisen.

Siehe die unreleased YOLO27 preview für vorläufige Cityscapes-mIoU-Ergebnisse.

Trainieren#

Trainiere YOLO26n-sem 100 Epochen lang auf dem Datensatz Cityscapes8 mit einer Bildgröße von 1024. Eine vollständige Liste der verfügbaren Argumente findest du auf der Seite Konfiguration.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.yaml")  # build a new model from YAML
model = YOLO("yolo26n-sem.pt")  # load a pretrained model (recommended for training)
model = YOLO("yolo26n-sem.yaml").load("yolo26n-sem.pt")  # build from YAML and transfer weights

# Train the model
results = model.train(data="cityscapes8.yaml", epochs=100, imgsz=1024)

Ausführliche Informationen zum Modus train findest du auf der Seite Trainieren. Modelle für die semantische Segmentierung können auch mit dem Cloud-Training der Ultralytics Platform trainiert werden.

Datensatzformat#

Datensätze für die semantische Segmentierung verwenden einkanalige Maskenbilder, typischerweise im PNG-Format, wobei jeder Pixelwert eine Klassen-ID darstellt. Pixel mit dem Wert 255 werden als „ignore“ behandelt und von der Verlustberechnung ausgeschlossen. Die YAML-Datei des Datensatzes sollte Pfade zu den Bildern und den zugehörigen Maskenverzeichnissen enthalten. Einzelheiten zum Format findest du im Leitfaden zu Datensätzen für die semantische Segmentierung. Zu den unterstützten Datensätzen gehören Cityscapes und ADE20K. Mit der Annotation in der Ultralytics Platform kannst du semantische Datensätze verwalten und labeln.

Validierung#

Validiere die Genauigkeit eines trainierten YOLO26n-sem-Modells auf einem Datensatz für die semantische Segmentierung. Übergib data ausdrücklich, damit die Validierung die vorgesehene YAML-Datei des Datensatzes verwendet.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Validate the model
metrics = model.val(data="cityscapes.yaml")
metrics.miou  # mean Intersection over Union
metrics.pixel_accuracy  # overall pixel accuracy

Vorhersage#

Verwende ein trainiertes YOLO26n-sem-Modell, um Vorhersagen für Bilder auszuführen.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    semantic_mask = result.semantic_mask.data  # class map, shape (H,W), integer dtype selected by class count

Ausführliche Informationen zum Modus predict findest du auf der Seite Predict.

Ausgabe der Ergebnisse#

Die semantische Segmentierung mit YOLO liefert ein Results-Objekt pro Bild. Jedes Ergebnis enthält eine dichte Klassenkarte für das gesamte Bild anstelle einer Liste von Objektmasken. Pixel mit derselben vorhergesagten Klasse haben dieselbe Klassen-ID, auch wenn sie zu getrennten Objekten gehören.

Task-spezifische Felder Results für alle Tasks findest du im Abschnitt Vorhersageergebnisse nach Task.

Instanz- und semantische Segmentierung#

Export#

Exportiere ein YOLO26n-sem-Modell in ein anderes Format wie ONNX, CoreML usw.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Export the model
model.export(format="onnx")

Die verfügbaren Exportformate für die semantische Segmentierung mit YOLO26 sind in der folgenden Tabelle aufgeführt. Du kannst mit dem Argument format in jedes Format exportieren, also beispielsweise mit format='onnx' oder format='engine'. Du kannst direkt Vorhersagen auf exportierten Modellen ausführen oder diese validieren, beispielsweise mit yolo predict model=yolo26n-sem.onnx. Nach Abschluss des Exports werden für dein Modell Verwendungsbeispiele angezeigt.

nms=None verwendet standardmäßig Rohausgaben für externes NMS. Setze nms=False, um einen verfügbaren NMS-freien Kopf auszuwählen; nicht unterstützte Formate greifen auf ihren nativen Ausgabepfad zurück. Die Einträge nms oben identifizieren Formate, die NMS mit nms=True einbetten können.

Ausführliche Informationen zu export findest du auf der Seite Export.

FAQ#