Semantische Segmentierung mit Ultralytics YOLO#

Die semantische Segmentierung weist jedem Pixel in einem Bild eine Klassenbezeichnung zu und erzeugt so eine dichte Klassenkarte, die die gesamte Szene abdeckt. Anders als bei der Instanzsegmentierung, bei der einzelne Objekte voneinander getrennt werden, fasst die semantische Segmentierung alle Pixel derselben Klasse zusammen, unabhängig davon, wie viele einzelne Objekte vorhanden sind.

Die Ausgabe eines Modells für semantische Segmentierung ist eine einzelne Klassenkarte mit Höhe und Breite des Bildes, bei der jeder Pixelwert einer vorhergesagten Klassen-ID entspricht. Dadurch eignet sich die semantische Segmentierung ideal für die Szenenanalyse, etwa beim autonomen Fahren, in der medizinischen Bildgebung und bei der Kartierung der Landbedeckung.

Modelle#

Unten sind semantische YOLO26-Modelle aufgeführt, die auf dem Cityscapes-Datensatz vortrainiert wurden.

Modelle werden bei der ersten Verwendung automatisch aus der neuesten Ultralytics-Version heruntergeladen.

• Die mIoU^val-Werte gelten für ein einzelnes Modell mit einer einzelnen Skalierung auf dem Validierungssatz von Cityscapes.
  Reproduziere die Ergebnisse mit yolo semantic val data=cityscapes.yaml device=0 imgsz=2048
• Die Geschwindigkeitsmetriken sind Mittelwerte über die Validierungsbilder von Cityscapes und wurden mit einer RTX3090-Instanz ermittelt.
  Reproduziere die Ergebnisse mit yolo semantic val data=cityscapes.yaml batch=1 device=0|cpu imgsz=2048
• Die Werte für Parameter und FLOPs gelten für das fusionierte Modell nach model.fuse(), wodurch Conv- und BatchNorm-Schichten zusammengeführt werden. Vortrainierte Checkpoints behalten die vollständige Trainingsarchitektur bei und können daher höhere Werte aufweisen.

Unten sind semantische YOLO26-Modelle aufgeführt, die auf dem ADE20K-Datensatz vortrainiert wurden.

• Die mIoU^val-Werte gelten für ein einzelnes Modell mit einer einzelnen Skalierung auf dem Validierungssatz von ADE20K.
  Reproduziere die Ergebnisse mit yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml device=0 imgsz=640 und ersetze dabei yolo26n-sem-ade20k.pt durch den gewünschten yolo26*-sem-ade20k.pt-Checkpoint.
• Die Geschwindigkeitsmetriken sind Mittelwerte über die Validierungsbilder von ADE20K und wurden mit einer RTX3090-Instanz ermittelt.
  Reproduziere die Ergebnisse mit yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml batch=1 device=0|cpu imgsz=640 und ersetze dabei yolo26n-sem-ade20k.pt durch den gewünschten yolo26*-sem-ade20k.pt-Checkpoint.
• Die Werte für Parameter und FLOPs gelten für das fusionierte Modell nach model.fuse(), wodurch Conv- und BatchNorm-Schichten zusammengeführt werden. Vortrainierte Checkpoints behalten die vollständige Trainingsarchitektur bei und können daher höhere Werte aufweisen.

Vorläufige mIoU-Ergebnisse für Cityscapes findest du in der unveröffentlichten YOLO27-Vorschau.

Trainieren#

Trainiere YOLO26n-sem 100 Epochen lang mit einer Bildgröße von 1024 auf dem Datensatz Cityscapes8. Eine vollständige Liste der verfügbaren Argumente findest du auf der Seite Konfiguration.

from ultralytics import YOLO

# Ein Modell laden
model = YOLO("yolo26n-sem.yaml")  # ein neues Modell aus YAML erstellen
model = YOLO("yolo26n-sem.pt")  # ein vortrainiertes Modell laden (für das Training empfohlen)
model = YOLO("yolo26n-sem.yaml").load("yolo26n-sem.pt")  # aus YAML erstellen und Gewichte übertragen

# Das Modell trainieren
results = model.train(data="cityscapes8.yaml", epochs=100, imgsz=1024)

Die vollständigen Details zum Modus train findest du auf der Seite Trainieren. Modelle für semantische Segmentierung lassen sich auch mit dem Cloud-Training der Ultralytics Platform trainieren.

Datensatzformat#

Datensätze für semantische Segmentierung verwenden Einkanal-Maskenbilder, typischerweise im PNG-Format, in denen jeder Pixelwert eine Klassen-ID darstellt. Pixel mit dem Wert 255 werden als „ignorieren“ behandelt und bei der Berechnung des Verlusts ausgeschlossen. In der YAML-Datei des Datensatzes sollten die Pfade zu den Bildern und den zugehörigen Maskenverzeichnissen angegeben sein. Datensätze mit YOLO-Polygonbeschriftungen können direkt zum Training verwendet werden; die Umwandlung in Masken erfolgt während der Ausführung (siehe unten Kann ich Daten zur Instanzsegmentierung verwenden). Details zum Format findest du im Leitfaden zu Datensätzen für semantische Segmentierung. Zu den unterstützten Datensätzen gehören Cityscapes und ADE20K. Mit der Annotation in der Ultralytics Platform kannst du semantische Datensätze verwalten und beschriften.

Validieren#

Validiere die Genauigkeit des trainierten Modells YOLO26n-sem auf einem Datensatz zur semantischen Segmentierung. Gib data ausdrücklich an, damit bei der Validierung die vorgesehene YAML-Datei des Datensatzes verwendet wird.

from ultralytics import YOLO

# Ein Modell laden
model = YOLO("yolo26n-sem.pt")  # Ein offizielles Modell laden
model = YOLO("path/to/best.pt")  # Ein benutzerdefiniertes Modell laden

# Das Modell validieren
metrics = model.val(data="cityscapes.yaml")
metrics.miou  # mittlere Schnittmenge über Vereinigungsmenge
metrics.pixel_accuracy  # Gesamtgenauigkeit auf Pixelebene

Vorhersagen#

Verwende ein trainiertes YOLO26n-sem-Modell, um Vorhersagen für Bilder zu erstellen.

from ultralytics import YOLO

# Ein Modell laden
model = YOLO("yolo26n-sem.pt")  # Ein offizielles Modell laden
model = YOLO("path/to/best.pt")  # Ein benutzerdefiniertes Modell laden

# Mit dem Modell Vorhersagen erstellen
results = model("https://ultralytics.com/images/bus.jpg")  # Eine Vorhersage für ein Bild erstellen

# Auf die Ergebnisse zugreifen
for result in results:
    semantic_mask = result.semantic_mask.data  # Klassenkarte, Form (H,W), ganzzahliger Datentyp entsprechend der Anzahl der Klassen

Ausführliche Informationen zum Modus predict findest du auf der Seite Vorhersagen.

Ausgabe der Ergebnisse#

Die semantische YOLO-Segmentierung gibt für jedes Bild ein Results-Objekt zurück. Jedes Ergebnis enthält eine einzelne dichte Klassenkarte für das gesamte Bild statt einer Liste von Objektmasken. Pixel mit derselben vorhergesagten Klasse haben dieselbe Klassen-ID, selbst wenn sie zu unterschiedlichen Objekten gehören.

Task-spezifische Results-Felder für alle Aufgaben findest du im Abschnitt Vorhersageergebnisse nach Aufgabe.

Instanz- und semantische Segmentierung#

Exportieren#

Exportiere ein YOLO26n-sem-Modell in ein anderes Format wie ONNX, CoreML usw.

from ultralytics import YOLO

# Ein Modell laden
model = YOLO("yolo26n-sem.pt")  # Ein offizielles Modell laden
model = YOLO("path/to/best.pt")  # Ein benutzerdefiniertes Modell laden

# Modell exportieren
model.export(format="onnx")

Die verfügbaren Exportformate für die semantische YOLO26-Segmentierung findest du in der Tabelle unten. Mit dem Argument format kannst du in jedes Format exportieren, also etwa format='onnx' oder format='engine'. Du kannst direkt mit exportierten Modellen Vorhersagen erstellen oder sie validieren, also yolo predict model=yolo26n-sem.onnx. Nach Abschluss des Exports werden Anwendungsbeispiele für dein Modell angezeigt.

nms=None gibt standardmäßig Rohdaten für die externe NMS aus. Lege nms=False fest, um einen verfügbaren Kopf ohne NMS auszuwählen; nicht unterstützte Formate greifen auf ihren nativen Ausgabepfad zurück. Die obigen Einträge nms kennzeichnen Formate, die NMS mit nms=True integrieren können.

Ausführliche Informationen zu export findest du auf der Seite Export.

Häufig gestellte Fragen#