Modell zur Segmentierung beliebiger Objekte (SAM)#

Willkommen an der Spitze der Bildsegmentierung mit dem Modell zur Segmentierung beliebiger Objekte, kurz SAM. Dieses bahnbrechende Modell hat die Möglichkeiten grundlegend verändert, indem es promptgesteuerte Bildsegmentierung in Echtzeit ermöglicht und damit neue Maßstäbe in diesem Bereich setzt.

Einführung in SAM: das Modell zur Segmentierung beliebiger Objekte#

Das Modell zur Segmentierung beliebiger Objekte, kurz SAM, ist ein hochmodernes Bildsegmentierungsmodell, das promptgesteuerte Segmentierung ermöglicht und so eine beispiellose Vielseitigkeit bei Bildanalyseaufgaben bietet. SAM bildet das Herzstück der Initiative Segment Anything – ein bahnbrechendes Projekt, das ein neuartiges Modell, eine neue Aufgabe und einen neuen Datensatz für die Bildsegmentierung einführt.

Dank seines fortschrittlichen Designs kann sich SAM ohne Vorkenntnisse an neue Bildverteilungen und Aufgaben anpassen. Diese Eigenschaft wird als Zero-Shot-Transfer bezeichnet. SAM wurde mit dem umfangreichen SA-1B-Datensatz trainiert, der mehr als 1 Milliarde Masken auf 11 Millionen sorgfältig zusammengestellten Bildern enthält. Dabei zeigte SAM eine beeindruckende Zero-Shot-Leistung und übertraf in vielen Fällen frühere Ergebnisse mit vollständig überwachtem Lernen.

Beispielbilder aus SA-1B. Auf den Bildern des neu eingeführten SA-1B-Datensatzes sind Masken eingeblendet. SA-1B enthält 11 Millionen vielfältige, hochauflösende, lizenzierte und datenschutzfreundliche Bilder sowie 1,1 Milliarden hochwertige Segmentierungsmasken. SAM hat diese Masken vollständig automatisch annotiert. Menschliche Bewertungen und zahlreiche Experimente bestätigen ihre hohe Qualität und Vielfalt. Zur Visualisierung sind die Bilder nach der Anzahl der Masken pro Bild gruppiert (durchschnittlich etwa 100 Masken pro Bild).

Wichtige Merkmale des Modells zur Segmentierung beliebiger Objekte (SAM)#

• Promptgesteuerte Segmentierungsaufgabe: SAM wurde für promptgesteuerte Segmentierungsaufgaben entwickelt und kann aus jedem vorgegebenen Prompt gültige Segmentierungsmasken erzeugen, etwa aus räumlichen Hinweisen oder Textangaben, die ein Objekt kennzeichnen.
• Fortschrittliche Architektur: Das Modell zur Segmentierung beliebiger Objekte umfasst einen leistungsstarken Bildencoder, einen Prompt-Encoder und einen leichtgewichtigen Maskendecoder. Diese einzigartige Architektur ermöglicht flexible Prompts, die Berechnung von Masken in Echtzeit und die Berücksichtigung von Mehrdeutigkeiten bei Segmentierungsaufgaben.
• Der SA-1B-Datensatz: Der vom Segment Anything-Projekt eingeführte SA-1B-Datensatz umfasst mehr als 1 Milliarde Masken auf 11 Millionen Bildern. Als bislang größter Segmentierungsdatensatz bietet er SAM eine vielfältige Trainingsdatenquelle in großem Umfang.
• Zero-Shot-Leistung: SAM zeigt bei verschiedenen Segmentierungsaufgaben herausragende Zero-Shot-Leistung und eignet sich damit für vielfältige Anwendungen, bei denen nur wenig Prompt Engineering erforderlich ist.

Ausführliche Informationen zum Modell zur Segmentierung beliebiger Objekte und zum SA-1B-Datensatz findest du auf Segment Anything auf GitHub und im Forschungsartikel Segment Anything.

Verfügbare Modelle, unterstützte Aufgaben und Betriebsmodi#

Diese Tabelle zeigt die verfügbaren Modelle mit ihren jeweiligen vortrainierten Gewichten, den unterstützten Aufgaben und der Kompatibilität mit verschiedenen Betriebsmodi wie Inferenz, Validierung, Training und Export. ✅ kennzeichnet unterstützte Modi, ❌ nicht unterstützte Modi.

SAM verwenden: Vielseitigkeit und Leistungsfähigkeit bei der Bildsegmentierung#

Das Modell zur Segmentierung beliebiger Objekte kann für zahlreiche nachgelagerte Aufgaben eingesetzt werden, die über seine Trainingsdaten hinausgehen. Dazu zählen Kantenerkennung, das Erzeugen von Objektvorschlägen, die Instanzsegmentierung und die vorläufige Vorhersage von Masken aus Text. Mit Prompt Engineering kann sich SAM schnell und ohne zusätzliche Trainingsbeispiele an neue Aufgaben und Bildverteilungen anpassen. Dadurch ist es ein vielseitiges und leistungsstarkes Werkzeug für all deine Anforderungen an die Bildsegmentierung.

Beispiel für eine SAM-Vorhersage#

from ultralytics import SAM

# Ein Modell laden
model = SAM("sam_b.pt")

# Modellinformationen anzeigen (optional)
model.info()

# Inferenz mit Begrenzungsrahmen-Prompt ausführen
results = model("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Inferenz mit einem einzelnen Punkt ausführen
results = model(points=[900, 370], labels=[1])

# Inferenz mit mehreren Punkten ausführen
results = model(points=[[400, 370], [900, 370]], labels=[1, 1])

# Inferenz mit mehreren Punkt-Prompts pro Objekt ausführen
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Inferenz mit einem Negativpunkt-Prompt ausführen
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

from ultralytics import SAM

# Ein Modell laden
model = SAM("sam_b.pt")

# Modellinformationen anzeigen (optional)
model.info()

# Inferenz ausführen
model("path/to/image.jpg")

• Die Logik dahinter: Wenn du keine Prompts (bboxes/Punkte/Masken) übergibst, wird das gesamte Bild segmentiert.

import cv2

from ultralytics.models.sam import Predictor as SAMPredictor

# SAMPredictor erstellen
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "mobile_sam.pt"}
predictor = SAMPredictor(overrides=overrides)

# Bild festlegen
predictor.set_image("ultralytics/assets/zidane.jpg")  # mit einer Bilddatei festlegen
predictor.set_image(cv2.imread("ultralytics/assets/zidane.jpg"))  # mit np.ndarray festlegen
results = predictor(bboxes=[439, 437, 524, 709])

# Inferenz mit einem einzelnen Punkt-Prompt ausführen
results = predictor(points=[900, 370], labels=[1])

# Inferenz mit mehreren Punkt-Prompts ausführen
results = predictor(points=[[400, 370], [900, 370]], labels=[1, 1])

# Inferenz mit einem Negativpunkt-Prompt ausführen
results = predictor(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

# Bild zurücksetzen
predictor.reset_image()

from ultralytics.models.sam import Predictor as SAMPredictor

# SAMPredictor erstellen
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "mobile_sam.pt"}
predictor = SAMPredictor(overrides=overrides)

# Mit zusätzlichen Argumenten segmentieren
results = predictor(source="ultralytics/assets/zidane.jpg", crop_n_layers=1, points_stride=64, min_mask_region_area=100)

• Weitere Argumente für Segment everything findest du in der Referenz zu Predictor/generate.

Vergleich von SAM und YOLO#

Hier vergleichen wir Metas SAM-b-Modell mit den Segmentierungsmodellen von Ultralytics, darunter YOLO26n-seg:

Dieser Vergleich zeigt die erheblichen Unterschiede bei Modellgrößen und Geschwindigkeiten zwischen SAM-Varianten und YOLO-Segmentierungsmodellen. SAM bietet zwar einzigartige Möglichkeiten zur automatischen Segmentierung, doch YOLO-Modelle, insbesondere YOLOv8n-seg, YOLO11n-seg und YOLO26n-seg, sind deutlich kleiner, schneller und recheneffizienter.

Die Geschwindigkeiten von SAM wurden mit PyTorch gemessen, die von YOLO mit ONNX Runtime. Die Tests wurden auf einem Apple M4 Air aus dem Jahr 2025 mit 16 GB RAM und torch==2.10.0, ultralytics==8.4.31 und onnxruntime==1.24.4 durchgeführt. So kannst du diesen Test reproduzieren:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# SAM-b und MobileSAM profilen
for file in ["sam_b.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# FastSAM-s profilieren
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# YOLO-Modelle profilieren (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True, nms=False)  # NMS-freier YOLO26-Head; für YOLOv8/YOLO11 ohne Funktion
    model = YOLO(onnx_path)
    model(ASSETS)

Automatische Annotation: Schnell zu Segmentierungsdatensätzen#

Die automatische Annotation ist eine wichtige Funktion von SAM. Sie ermöglicht es, mithilfe eines vortrainierten Erkennungsmodells einen Segmentierungsdatensatz zu erstellen. So lassen sich viele Bilder schnell und präzise annotieren, ohne sie zeitaufwendig von Hand beschriften zu müssen.

Mit einem Erkennungsmodell einen Segmentierungsdatensatz erstellen#

Um deinen Datensatz mit dem Ultralytics-Framework automatisch zu annotieren, verwende die Funktion auto_annotate wie unten gezeigt:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="sam_b.pt")

Die Funktion auto_annotate erwartet den Pfad zu deinen Bildern. Mit optionalen Argumenten kannst du das vortrainierte Erkennungsmodell und das SAM-Segmentierungsmodell, das Gerät für die Ausführung der Modelle sowie das Ausgabeverzeichnis zum Speichern der annotierten Ergebnisse angeben.

Die automatische Annotation mit vortrainierten Modellen kann den Zeit- und Arbeitsaufwand für die Erstellung hochwertiger Segmentierungsdatensätze erheblich verringern. Das ist besonders für Forschende und Entwickler nützlich, die mit großen Bildsammlungen arbeiten, denn so können sie sich auf die Entwicklung und Bewertung von Modellen statt auf manuelle Annotation konzentrieren.

Zitate und Danksagungen#

Wenn SAM für deine Forschungs- oder Entwicklungsarbeit hilfreich ist, ziehe bitte in Betracht, den Artikel zu zitieren:

@misc{kirillov2023segment,
      title={Segment Anything},
      author={Alexander Kirillov and Eric Mintun and Nikhila Ravi and Hanzi Mao and Chloe Rolland and Laura Gustafson and Tete Xiao and Spencer Whitehead and Alexander C. Berg and Wan-Yen Lo and Piotr Dollár and Ross Girshick},
      year={2023},
      eprint={2304.02643},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Wir möchten Meta AI dafür danken, dass das Team diese wertvolle Ressource für die Computer-Vision-Community entwickelt und pflegt.

Häufig gestellte Fragen#