SAM 2: Segmentierungsmodell 2 für beliebige Objekte#

SAM 2, der Nachfolger von Metas Segmentierungsmodell für beliebige Objekte (SAM), ist ein hochmodernes Werkzeug für die umfassende Objektsegmentierung in Bildern und Videos. Die einheitliche, promptgesteuerte Modellarchitektur eignet sich hervorragend für komplexe visuelle Daten und unterstützt Echtzeitverarbeitung sowie Zero-Shot-Verallgemeinerung.

Wichtige Funktionen#

Einheitliche Modellarchitektur#

SAM 2 vereint die Fähigkeiten zur Bild- und Videosegmentierung in einem einzigen Modell. Diese Vereinheitlichung vereinfacht die Bereitstellung und sorgt für gleichbleibende Leistung bei unterschiedlichen Medientypen. Die flexible, promptbasierte Schnittstelle ermöglicht es, interessante Objekte über verschiedene Prompt-Typen anzugeben, etwa Punkte, Begrenzungsrahmen oder Masken.

Echtzeitleistung#

Das Modell erreicht Inferenzgeschwindigkeiten in Echtzeit und verarbeitet ungefähr 44 Bilder pro Sekunde. Dadurch eignet sich SAM 2 für Anwendungen, die eine unmittelbare Rückmeldung erfordern, etwa Videobearbeitung und erweiterte Realität.

Zero-Shot-Verallgemeinerung#

SAM 2 kann Objekte segmentieren, denen das Modell noch nie zuvor begegnet ist, und zeigt damit eine starke Zero-Shot-Generalisierung. Das ist besonders nützlich in vielfältigen oder sich wandelnden visuellen Bereichen, in denen vordefinierte Kategorien möglicherweise nicht alle vorkommenden Objekte abdecken.

Interaktive Verfeinerung#

Du kannst die Segmentierungsergebnisse iterativ verfeinern, indem du zusätzliche Prompts bereitstellst und so die Ausgabe präzise steuerst. Diese Interaktivität ist entscheidend, um Ergebnisse in Anwendungen wie der Videoannotation oder der medizinischen Bildgebung fein abzustimmen.

Fortgeschrittener Umgang mit visuellen Herausforderungen#

SAM 2 verfügt über Mechanismen zum Umgang mit häufigen Herausforderungen bei der Videosegmentierung, etwa der Verdeckung und dem Wiederauftauchen von Objekten. Ein ausgefeilter Speichermechanismus verfolgt Objekte über mehrere Frames hinweg und sorgt für Kontinuität, auch wenn Objekte vorübergehend verdeckt werden oder die Szene verlassen und wieder betreten.

Weitere Einblicke in die Architektur und die Funktionen von SAM 2 findest du im Forschungspapier zu SAM 2.

Leistung und technische Details#

SAM 2 setzt neue Maßstäbe auf diesem Gebiet und übertrifft frühere Modelle bei verschiedenen Kennzahlen:

Modellarchitektur#

Kernkomponenten#

• Bild- und Videoencoder: Nutzt eine auf Transformern basierende Architektur, um übergeordnete Merkmale aus Bildern und Videoframes zu extrahieren. Diese Komponente ist dafür zuständig, den visuellen Inhalt zu jedem Zeitpunkt zu erfassen.
• Prompt-Encoder: Verarbeitet vom Nutzer bereitgestellte Prompts (Punkte, Begrenzungsrahmen, Masken), um die Segmentierungsaufgabe zu steuern. So kann SAM 2 auf Nutzereingaben reagieren und gezielt bestimmte Objekte innerhalb einer Szene auswählen.
• Speichermechanismus: Umfasst einen Speicherencoder, eine Speicherbank und ein Speicheraufmerksamkeitsmodul. Diese Komponenten speichern und nutzen gemeinsam Informationen aus vorherigen Frames, sodass das Modell die Objektverfolgung über die Zeit hinweg konsistent fortsetzen kann.
• Maskendecoder: Erstellt die endgültigen Segmentierungsmasken anhand der codierten Bildmerkmale und Prompts. Bei Videos nutzt er außerdem den Speicherkontext, um eine genaue Verfolgung über mehrere Frames hinweg zu gewährleisten.

Speichermechanismus und Umgang mit Verdeckungen#

Der Speichermechanismus ermöglicht SAM 2, zeitliche Abhängigkeiten und Verdeckungen in Videodaten zu verarbeiten. Während sich Objekte bewegen und miteinander interagieren, speichert SAM 2 ihre Merkmale in einer Speicherbank. Wird ein Objekt verdeckt, kann das Modell auf diese gespeicherten Informationen zurückgreifen, um seine Position und sein Aussehen beim Wiederauftauchen vorherzusagen. Der Verdeckungskopf behandelt gezielt Situationen, in denen Objekte nicht sichtbar sind, und sagt die Wahrscheinlichkeit voraus, dass ein Objekt verdeckt ist.

Auflösung von Mehrdeutigkeiten bei mehreren Masken#

In mehrdeutigen Situationen, etwa bei überlappenden Objekten, kann SAM 2 mehrere Maskenvorhersagen erzeugen. Diese Funktion ist entscheidend für die genaue Darstellung komplexer Szenen, bei denen eine einzelne Maske die Feinheiten der Szene möglicherweise nicht ausreichend abbildet.

SA-V-Datensatz#

Der für das Training von SAM 2 entwickelte SA-V-Datensatz gehört zu den größten und vielfältigsten verfügbaren Datensätzen für die Videosegmentierung. Er umfasst:

• Über 51.000 Videos: Aufgenommen in 47 Ländern und mit einer großen Bandbreite realer Szenarien.
• Über 600.000 Maskenannotationen: Detaillierte räumlich-zeitliche Maskenannotationen, sogenannte „Masklets“, die ganze Objekte und Teile davon abdecken.
• Umfang des Datensatzes: Er umfasst 4,5-mal mehr Videos und 53-mal mehr Annotationen als die bisher größten Datensätze und bietet dadurch eine beispiellose Vielfalt und Komplexität.

Benchmarks#

Videosegmentierung von Objekten#

SAM 2 hat bei wichtigen Benchmarks zur Videosegmentierung eine überragende Leistung gezeigt:

Interaktive Segmentierung#

Bei Aufgaben zur interaktiven Segmentierung zeigt SAM 2 eine deutliche Effizienz und Genauigkeit:

Installation#

Verwende den folgenden Befehl, um SAM 2 zu installieren. Alle SAM-2-Modelle werden bei der ersten Verwendung automatisch heruntergeladen.

pip install ultralytics

So verwendest du SAM 2: Vielseitigkeit bei der Bild- und Videosegmentierung#

Die folgende Tabelle enthält Details zu den verfügbaren SAM-2-Modellen, ihren vortrainierten Gewichten, den unterstützten Aufgaben und der Kompatibilität mit verschiedenen Betriebsmodi wie Inferenz, Validierung, Training und Export.

Beispiele für SAM-2-Vorhersagen#

SAM 2 lässt sich für zahlreiche Aufgaben einsetzen, darunter die Videobearbeitung in Echtzeit, die medizinische Bildgebung und autonome Systeme. Durch die Fähigkeit, sowohl statische als auch dynamische visuelle Daten zu segmentieren, ist SAM 2 ein vielseitiges Werkzeug für Forschende und Entwickler.

Segmentierung mit Prompts#

from ultralytics import SAM

# Ein Modell laden
model = SAM("sam2.1_b.pt")

# Modellinformationen anzeigen (optional)
model.info()

# Inferenz mit Begrenzungsrahmen-Prompt ausführen
results = model("path/to/image.jpg", bboxes=[100, 100, 200, 200])

# Inferenz mit einem einzelnen Punkt ausführen
results = model(points=[900, 370], labels=[1])

# Inferenz mit mehreren Punkten ausführen
results = model(points=[[400, 370], [900, 370]], labels=[1, 1])

# Inferenz mit mehreren Punkt-Prompts pro Objekt ausführen
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Inferenz mit einem Negativpunkt-Prompt ausführen
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Alles segmentieren#

from ultralytics import SAM

# Ein Modell laden
model = SAM("sam2.1_b.pt")

# Modellinformationen anzeigen (optional)
model.info()

# Inferenz ausführen
model("path/to/video.mp4")

• Dieses Beispiel zeigt, wie SAM 2 den gesamten Inhalt eines Bildes oder Videos segmentieren kann, wenn keine Prompts (Begrenzungsrahmen/Punkte/Masken) angegeben werden.

Video segmentieren und Objekte verfolgen#

from ultralytics.models.sam import SAM2VideoPredictor

# Create SAM2VideoPredictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "sam2_b.pt"}
predictor = SAM2VideoPredictor(overrides=overrides)

# Inferenz mit einem einzelnen Punkt ausführen
results = predictor(source="test.mp4", points=[920, 470], labels=[1])

# Inferenz mit mehreren Punkten ausführen
results = predictor(source="test.mp4", points=[[920, 470], [909, 138]], labels=[1, 1])

# Inferenz mit mehreren Punkt-Prompts pro Objekt ausführen
results = predictor(source="test.mp4", points=[[[920, 470], [909, 138]]], labels=[[1, 1]])

# Inferenz mit einem Negativpunkt-Prompt ausführen
results = predictor(source="test.mp4", points=[[[920, 470], [909, 138]]], labels=[[1, 0]])

Dynamische interaktive Segmentierung und Verfolgung#

SAM2DynamicInteractivePredictor ist eine fortschrittliche, trainingsfreie Erweiterung von SAM 2, die dynamische Interaktionen mit mehreren Frames und kontinuierliches Lernen ermöglicht. Dieser Prädiktor unterstützt Prompt-Aktualisierungen in Echtzeit und die Speicherverwaltung, um die Verfolgungsleistung über eine Bildsequenz hinweg zu verbessern. Im Vergleich zum ursprünglichen SAM 2 gestaltet SAM2DynamicInteractivePredictor den Inferenzablauf neu, damit vortrainierte SAM-2-Modelle optimal genutzt werden können, ohne zusätzliches Training zu erfordern.

Wichtige Funktionen#

Die Erweiterung bietet drei wichtige Verbesserungen:

1. Dynamische Interaktion: Füge während der Videoverarbeitung jederzeit Prompts hinzu, um Instanzen in nachfolgenden Frames zusammenzuführen oder neue, nicht verfolgte Instanzen hinzuzufügen.
2. Kontinuierliches Lernen: Füge bestehende Instanzen mit neuen Prompts hinzu, um die Modellleistung mit der Zeit zu verbessern.
3. Unabhängige Unterstützung mehrerer Bilder: Verarbeite mehrere unabhängige Bilder, die nicht unbedingt aus einer Videosequenz stammen, mit gemeinsamem Speicher und bildübergreifender Objektverfolgung.

Kernfunktionen#

• Flexible Prompts: Unterstützt Begrenzungsrahmen, Punkte und Masken als Prompts.
• Verwaltung der Speicherbank: Verwaltet eine dynamische Speicherbank, in der Objektzustände über mehrere Frames hinweg gespeichert werden.
• Verfolgung mehrerer Objekte: Unterstützt die gleichzeitige Verfolgung mehrerer Objekte mit individuellen Objekt-IDs.
• Aktualisierungen in Echtzeit: Ermöglicht das Hinzufügen neuer Prompts während der Inferenz, ohne vorherige Frames erneut zu verarbeiten.
• Unabhängige Bildverarbeitung: Verarbeite einzelne Bilder mit gemeinsamem Speicherkontext, um die Konsistenz von Objekten über mehrere Bilder hinweg sicherzustellen.

from ultralytics.models.sam import SAM2DynamicInteractivePredictor

# Create SAM2DynamicInteractivePredictor
overrides = {"conf": 0.01, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "sam2_t.pt", "save": False}
predictor = SAM2DynamicInteractivePredictor(overrides=overrides, max_obj_num=10)

# Kategorie mithilfe eines Begrenzungsrahmen-Prompts definieren
predictor(source="image1.jpg", bboxes=[[100, 100, 200, 200]], obj_ids=[0], update_memory=True)

# Dieses bestimmte Objekt in einem neuen Bild erkennen
results = predictor(source="image2.jpg")

# Neue Kategorie mit einer neuen Objekt-ID hinzufügen
results = predictor(
    source="image4.jpg",
    bboxes=[[300, 300, 400, 400]],  # Neues Objekt
    obj_ids=[1],  # Neue Objekt-ID
    update_memory=True,  # Zum Speicher hinzufügen
)
# Inferenz ausführen
results = predictor(source="image5.jpg")

# Verfeinerungs-Prompts derselben Kategorie hinzufügen, um die Leistung zu steigern
# Das ist hilfreich, wenn sich das Aussehen eines Objekts deutlich verändert
results = predictor(
    source="image6.jpg",
    points=[[150, 150]],  # Verfeinerungspunkt
    labels=[1],  # Positiver Punkt
    obj_ids=[1],  # Dieselbe Objekt-ID
    update_memory=True,  # Speicher mit neuen Informationen aktualisieren
)
# Inferenz auf einem neuen Bild ausführen
results = predictor(source="image7.jpg")

Argumente#

Anwendungsfälle#

SAM2DynamicInteractivePredictor eignet sich ideal für:

• Videoannotations-Workflows, in denen während der Sequenz neue Objekte erscheinen
• Interaktive Videobearbeitung, bei der Objekte in Echtzeit hinzugefügt und verfeinert werden müssen
• Überwachungsanwendungen mit Bedarf an dynamischer Objektverfolgung
• Medizinische Bildgebung zur Verfolgung anatomischer Strukturen über Zeitreihen hinweg
• Autonome Systeme, die adaptive Objekterkennung und -verfolgung erfordern
• Datensätze mit mehreren Bildern für eine konsistente Objektsegmentierung über unabhängige Bilder hinweg
• Analyse von Bildsammlungen, bei der Objekte über verschiedene Szenen hinweg verfolgt werden müssen
• Domänenübergreifende Segmentierung, bei der der Speicher aus unterschiedlichen Bildkontexten genutzt wird
• Teilautomatische Annotation für die effiziente Erstellung von Datensätzen mit minimalem manuellem Aufwand

Vergleich von SAM und YOLO#

Hier vergleichen wir die SAM 2-Modelle von Meta, einschließlich der kleinsten Variante SAM2-t, mit den Segmentierungsmodellen von Ultralytics, darunter YOLO26n-seg:

Dieser Vergleich zeigt die erheblichen Unterschiede bei Modellgrößen und Geschwindigkeiten zwischen SAM-Varianten und YOLO-Segmentierungsmodellen. SAM bietet zwar einzigartige Möglichkeiten zur automatischen Segmentierung, doch YOLO-Modelle, insbesondere YOLOv8n-seg, YOLO11n-seg und YOLO26n-seg, sind deutlich kleiner, schneller und recheneffizienter.

Die Geschwindigkeiten von SAM wurden mit PyTorch gemessen, die von YOLO mit ONNX Runtime. Die Tests wurden auf einem Apple M4 Air aus dem Jahr 2025 mit 16 GB RAM und torch==2.10.0, ultralytics==8.4.31 und onnxruntime==1.24.4 durchgeführt. So kannst du diesen Test reproduzieren:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# SAM2-t, SAM2-b, SAM-b, MobileSAM profilieren
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# FastSAM-s profilieren
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# YOLO-Modelle profilieren (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True, nms=False)  # NMS-freier YOLO26-Head; für YOLOv8/YOLO11 ohne Funktion
    model = YOLO(onnx_path)
    model(ASSETS)

Automatische Annotation: effiziente Erstellung von Datensätzen#

Die automatische Annotation ist eine leistungsstarke Funktion von SAM 2. Mit vortrainierten Modellen können Nutzer damit schnell und präzise Segmentierungsdatensätze erstellen. Diese Funktion ist besonders nützlich, um große, hochwertige Datensätze ohne umfangreiche manuelle Arbeit zu erstellen.

So annotierst du mit SAM 2 automatisch#

Um deinen Datensatz mit SAM 2 automatisch zu annotieren, folge diesem Beispiel:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="sam2_b.pt")

Diese Funktion ermöglicht die schnelle Erstellung hochwertiger Segmentierungsdatensätze und eignet sich ideal für Forschende und Entwickler, die ihre Projekte beschleunigen möchten.

Einschränkungen#

Trotz seiner Stärken hat SAM 2 gewisse Einschränkungen:

• Stabilität der Verfolgung: Bei längeren Sequenzen oder erheblichen Änderungen des Blickwinkels kann SAM 2 die Spur von Objekten verlieren.
• Verwechslung von Objekten: Das Modell kann ähnlich aussehende Objekte manchmal verwechseln, insbesondere in überfüllten Szenen.
• Effizienz bei mehreren Objekten: Die Segmentierung wird weniger effizient, wenn mehrere Objekte gleichzeitig verarbeitet werden, da die Kommunikation zwischen Objekten fehlt.
• Detailgenauigkeit Genauigkeit: Feine Details können übersehen werden, besonders bei sich schnell bewegenden Objekten. Zusätzliche Prompts können dieses Problem teilweise beheben, aber eine zeitliche Glätte ist nicht garantiert.

Zitate und Danksagungen#

Wenn SAM 2 ein wichtiger Bestandteil deiner Forschungs- oder Entwicklungsarbeit ist, zitiere das Modell bitte mit folgendem Literaturhinweis:

@article{ravi2024sam2,
  title={SAM 2: Segment Anything in Images and Videos},
  author={Ravi, Nikhila and Gabeur, Valentin and Hu, Yuan-Ting and Hu, Ronghang and Ryali, Chaitanya and Ma, Tengyu and Khedr, Haitham and R{\"a}dle, Roman and Rolland, Chloe and Gustafson, Laura and Mintun, Eric and Pan, Junting and Alwala, Kalyan Vasudev and Carion, Nicolas and Wu, Chao-Yuan and Girshick, Ross and Doll{\'a}r, Piotr and Feichtenhofer, Christoph},
  journal={arXiv preprint},
  year={2024}
}

Wir danken Meta AI für den Beitrag zur KI-Community mit diesem wegweisenden Modell und Datensatz.

Häufig gestellte Fragen#