Instanzsegmentierung mit Ultralytics YOLO#

Instanzsegmentierung geht über die Objekterkennung hinaus: Dabei werden einzelne Objekte in einem Bild identifiziert und vom übrigen Bild abgegrenzt.

Die Ausgabe eines Instanzsegmentierungsmodells besteht aus Masken oder Konturen, die jedes Objekt im Bild umreißen, sowie den Klassenbezeichnungen und Konfidenzwerten für jedes Objekt. Die Instanzsegmentierung ist nützlich, wenn du nicht nur wissen musst, wo sich Objekte in einem Bild befinden, sondern auch, welche genaue Form sie haben.

Modelle#

Unten sind YOLO26-Segmentmodelle aufgeführt, die auf dem COCO-Datensatz vortrainiert wurden.

Modelle werden bei der ersten Verwendung automatisch aus der neuesten Ultralytics-Version heruntergeladen.

• Die Werte mAP^val gelten für ein einzelnes Modell mit einer einzelnen Skalierung auf dem Datensatz COCO val2017.
  Reproduziere die Ergebnisse mit yolo segment val data=coco.yaml device=0 nms=False
• Geschwindigkeit: Durchschnitt über COCO-val-Bilder mit ONNX auf einer CPU und TensorRT10 auf einer NVIDIA-T4-GPU.
  Mit yolo segment val data=coco.yaml batch=1 device=0|cpu nms=False reproduzieren
• Die Werte für Parameter und FLOPs gelten für zusammengeführte Modelle nach dem Zusammenführen von Conv/BatchNorm und dem Entfernen des ungenutzten Erkennungszweigs. Vortrainierte Prüfpunkte behalten die vollständige Trainingsarchitektur bei und können daher höhere Werte aufweisen.

Diese Checkpoints segmentieren die 80 COCO-Klassen. Informationen dazu, wie du Kategorien außerhalb dieser Liste ohne erneutes Training segmentieren kannst, findest du unter YOLOE. YOLOE akzeptiert die Klassen als Textprompt, visuelles Beispiel oder integriertes Vokabular.

Vorläufige Ergebnisse für COCO-Boxen und -Masken findest du in der unveröffentlichten YOLO27-Vorschau.

Trainieren#

Trainiere YOLO26n-seg 100 Epochen lang mit einer Bildgröße von 640 auf dem Datensatz COCO8-seg. Eine vollständige Liste der verfügbaren Argumente findest du auf der Seite Konfiguration.

from ultralytics import YOLO

# Ein Modell laden
model = YOLO("yolo26n-seg.yaml")  # ein neues Modell aus YAML erstellen
model = YOLO("yolo26n-seg.pt")  # ein vortrainiertes Modell laden (für das Training empfohlen)
model = YOLO("yolo26n-seg.yaml").load("yolo26n-seg.pt")  # aus YAML erstellen und Gewichte übertragen

# Das Modell trainieren
results = model.train(data="coco8-seg.yaml", epochs=100, imgsz=640)

Die vollständigen Details zum Modus train findest du auf der Seite Trainieren. Segmentierungsmodelle lassen sich auch mit dem Cloud-Training der Ultralytics Platform trainieren.

Datensatzformat#

Eine ausführliche Beschreibung des YOLO-Segmentierungsdatensatzformats findest du im Datensatzleitfaden. Um einen vorhandenen COCO-JSON-Datensatz in das YOLO-Format umzuwandeln, verwende die integrierte Funktion convert_coco mit use_segments=True, wie im Leitfaden zur Umwandlung von COCO in YOLO beschrieben. Mit der Annotation in der Ultralytics Platform kannst du mithilfe von Polygonwerkzeugen und SAM-gestützter intelligenter Annotation auch Segmentierungsmasken erstellen.

Validieren#

Validiere die Genauigkeit des trainierten Modells YOLO26n-seg. Argumente sind nicht erforderlich, da model die Trainings-data und Argumente als Modellattribute beibehält: path/to/best.pt aus dem Beispiel Trainieren validiert auf COCO8-seg. Offizielle Gewichte verweisen auf einen Trainingsdatensatzpfad, der auf deinem Rechner nicht existiert. Daher wird mit einer Warnung auf die standardmäßige Aufgabe coco8-seg.yaml zurückgegriffen. Gib data an, um einen anderen Datensatz zu validieren.

from ultralytics import YOLO

# Ein Modell laden
model = YOLO("yolo26n-seg.pt")  # Ein offizielles Modell laden
model = YOLO("path/to/best.pt")  # Ein benutzerdefiniertes Modell laden

# Das Modell validieren
metrics = model.val()  # Keine Argumente erforderlich, Datensatz und Einstellungen werden gespeichert
metrics.box.map  # map50-95(B)
metrics.box.map50  # map50(B)
metrics.box.map75  # map75(B)
metrics.box.maps  # eine Liste mit mAP50-95(B)-Werten für jede Kategorie
metrics.box.image_metrics  # Metrikwörterbuch pro Bild für det mit Präzision, Trefferquote, F1, TP, FP und FN
metrics.seg.map  # map50-95(M)
metrics.seg.map50  # map50(M)
metrics.seg.map75  # map75(M)
metrics.seg.maps  # eine Liste mit mAP50-95(M)-Werten für jede Kategorie
metrics.seg.image_metrics  # Metrikwörterbuch pro Bild für seg mit Präzision, Trefferquote, F1, TP, FP und FN

Vorhersagen#

Verwende ein trainiertes YOLO26n-seg-Modell, um Vorhersagen für Bilder zu erstellen.

from ultralytics import YOLO

# Ein Modell laden
model = YOLO("yolo26n-seg.pt")  # Ein offizielles Modell laden
model = YOLO("path/to/best.pt")  # Ein benutzerdefiniertes Modell laden

# Mit dem Modell Vorhersagen erstellen
results = model("https://ultralytics.com/images/bus.jpg")  # Eine Vorhersage für ein Bild erstellen

# Auf die Ergebnisse zugreifen
for result in results:
    xy = result.masks.xy  # Maskenpolygone in Pixelkoordinaten
    xyn = result.masks.xyn  # normalisierte Maskenpolygone
    masks = result.masks.data  # Binärmasken, Form (N,H,W), dtype torch.uint8

Ausführliche Informationen zum Modus predict findest du auf der Seite Vorhersagen.

Ausgabe der Ergebnisse#

Die YOLO-Instanzsegmentierung gibt für jedes Bild ein Results-Objekt zurück. Jedes Ergebnis speichert Vorhersagen auf Objektebene. Jede erkannte Instanz hat dabei eine eigene Binärmaske, Klasse, Konfidenz und Box.

Task-spezifische Results-Felder für alle Aufgaben findest du im Abschnitt Vorhersageergebnisse nach Aufgabe.

Instanz- und semantische Segmentierung#

Bei der Instanzsegmentierung erfolgt die Segmentierung auf Objektebene: Zwei Autos ergeben zwei Masken, zwei Boxen und zwei Konfidenzwerte. Die semantische Segmentierung ist eine Klassifizierung auf Pixelebene: Dieselben Autos werden zu Pixeln mit derselben Klassen-ID in einer klassengroßen Karte für das gesamte Bild, ohne Boxen oder Konfidenzwerte pro Objekt und ohne standardmäßige Polygonliste. Siehe den Vergleich Feld für Feld auf der Seite zur semantischen Segmentierung.

Exportieren#

Exportiere ein YOLO26n-seg-Modell in ein anderes Format wie ONNX, CoreML usw.

from ultralytics import YOLO

# Ein Modell laden
model = YOLO("yolo26n-seg.pt")  # Ein offizielles Modell laden
model = YOLO("path/to/best.pt")  # Ein benutzerdefiniertes Modell laden

# Modell exportieren
model.export(format="onnx")

Die verfügbaren Exportformate für YOLO26-seg findest du in der Tabelle unten. Mit dem Argument format kannst du in jedes Format exportieren, also etwa format='onnx' oder format='engine'. Du kannst direkt mit exportierten Modellen Vorhersagen erstellen oder sie validieren, also yolo predict model=yolo26n-seg.onnx. Nach Abschluss des Exports werden Anwendungsbeispiele für dein Modell angezeigt.

nms=None gibt standardmäßig Rohdaten für die externe NMS aus. Lege nms=False fest, um einen verfügbaren Kopf ohne NMS auszuwählen; nicht unterstützte Formate greifen auf ihren nativen Ausgabepfad zurück. Die obigen Einträge nms kennzeichnen Formate, die NMS mit nms=True integrieren können.

Ausführliche Informationen zu export findest du auf der Seite Export.

Häufig gestellte Fragen#