SAM 3: Segment Anything mit Konzepten#

SAM 3 (Segment Anything Model 3) ist Metas veröffentlichtes Basismodell für Promptable Concept Segmentation (PCS). Aufbauend auf SAM 2 führt SAM 3 eine grundlegend neue Fähigkeit ein: Es erkennt, segmentiert und verfolgt alle Instanzen eines visuellen Konzepts, das durch Text-Prompts, Bildbeispiele oder beides vorgegeben wird. Im Gegensatz zu früheren SAM-Versionen, die pro Prompt einzelne Objekte segmentieren, kann SAM 3 jedes Vorkommen eines Konzepts in Bildern oder Videos finden und segmentieren und entspricht damit den Open-Vocabulary-Zielen der modernen Instanzsegmentierung.

SAM 3 ist vollständig in das Paket ultralytics integriert und bietet native Unterstützung für die Konzeptsegmentierung mit Texteingaben, Bildbeispieleingaben und Videotracking. Der neuere SAM 3.1-Checkpunkt wird für die Bildvorhersage unterstützt.

Übersicht#

SAM 3 erzielt bei Promptable Concept Segmentation einen 2× höheren Leistungswert als bestehende Systeme und erhält beziehungsweise verbessert dabei die Fähigkeiten von SAM 2 für interaktive visuelle Segmentierung. Das Modell ist besonders leistungsfähig bei der Open-Vocabulary-Segmentierung: Du kannst Konzepte mit einfachen Nominalphrasen angeben, etwa „yellow school bus“ oder „striped cat“, oder Beispielbilder des Zielobjekts bereitstellen. Diese Fähigkeiten ergänzen produktionsreife Pipelines, die auf optimierten predict- und track-Workflows basieren.

Was ist Promptable Concept Segmentation (PCS)?#

Die PCS-Aufgabe nimmt einen Konzept-Prompt als Eingabe und gibt Segmentierungsmasken mit eindeutigen Identitäten für alle passenden Objektinstanzen zurück. Konzept-Prompts können sein:

• Text: Einfache Nominalphrasen wie „red apple“ oder „person wearing a hat“, ähnlich wie beim Zero-Shot-Lernen
• Bildbeispiele: Begrenzungsrahmen um Beispielobjekte (positiv oder negativ) zur schnellen Verallgemeinerung
• Kombiniert: Text und Bildbeispiele zusammen für präzise Kontrolle

Dies unterscheidet sich von herkömmlichen visuellen Prompts (Punkte, Rahmen, Masken), die nur eine einzelne, spezifische Objektinstanz segmentieren, wie es durch die ursprüngliche SAM-Familie bekannt wurde.

Wichtige Leistungskennzahlen#

Informationen zu Modellmetriken und Zielkonflikten in der Produktion findest du unter Erkenntnisse zur Modellevaluierung und YOLO-Leistungsmetriken.

SAM 3.1#

SAM 3.1, veröffentlicht von Meta am 27. März 2026, ist ein neuer SAM 3-Checkpunkt, der Object Multiplex hinzufügt, einen Shared-Memory-Ansatz für das Multi-Objekt-Videotracking. Anstatt jedes verfolgte Objekt unabhängig zu verarbeiten, gruppiert SAM 3.1 Objekte in Buckets mit fester Kapazität und verarbeitet sie gemeinsam, was laut Meta bei 128 Objekten auf einer einzelnen H100 GPU zu einer ~7-fachen Beschleunigung führt. Der Bilddetektor und der interaktive Punkt-Prompt-Kopf behalten die SAM 3-Architektur bei.

Ultralytics lädt den SAM 3.1-Checkpunkt (sam3.1_multiplex.pt) in die SAM 3-Bildprädiktoren: SAM("sam3.1_multiplex.pt") für Punkt- und Box-Prompts sowie SAM3SemanticPredictor für Text- und Beispiel-Prompts. Object Multiplex-Videotracking wird noch nicht unterstützt, verwende daher weiterhin sam3.pt mit SAM3VideoPredictor und SAM3VideoSemanticPredictor.

Architektur#

SAM 3 besteht aus einem Detektor und einem Tracker, die sich einen visuellen Perception Encoder (PE) als Backbone teilen. Dieses entkoppelte Design vermeidet Zielkonflikte und ermöglicht gleichzeitig die Detektion auf Bildebene und das Tracking auf Videoebene, mit einer Schnittstelle, die mit der Python-Nutzung und CLI-Nutzung von Ultralytics kompatibel ist.

Zentrale Komponenten#

• Detektor: DETR-basierte Architektur zur Konzeptdetektion auf Bildebene

  • Text-Encoder für Prompts in Form von Nominalphrasen
  • Beispiel-Encoder für bildbasierte Prompts
  • Fusion-Encoder zur Konditionierung von Bildmerkmalen anhand der Prompts
  • Neuer Presence Head, der Erkennung („was“) und Lokalisierung („wo“) entkoppelt
  • Masken-Head zur Erzeugung von Instanzsegmentierungsmasken

• Tracker: Auf SAM 2 basierende, speicherbasierte Videosegmentierung

  • Prompt-Encoder, Masken-Decoder, Speicher-Encoder
  • Speicherbank zum Speichern des Objekt-Erscheinungsbilds über mehrere Frames hinweg
  • Zeitliche Disambiguierung, unterstützt durch Techniken wie einen Kalman-Filter in Szenarien mit mehreren Objekten

• Presence Token: Ein gelernter globaler Token, der vorhersagt, ob das Zielkonzept im Bild oder Frame vorhanden ist, und die Detektion verbessert, indem er Erkennung und Lokalisierung voneinander trennt.

Wichtige Innovationen#

1. Entkoppelte Erkennung und Lokalisierung: Der Presence Head sagt global voraus, ob das Konzept vorhanden ist, während sich Proposal-Queries ausschließlich auf die Lokalisierung konzentrieren und so widersprüchliche Ziele vermeiden.
2. Vereinheitlichte Konzept- und visuelle Prompts: Unterstützt PCS (Konzept-Prompts) und PVS (visuelle Prompts wie Klicks und Rahmen aus SAM 2) in einem einzigen Modell.
3. Interaktive Verfeinerung mit Bildbeispielen: Du kannst positive oder negative Bildbeispiele hinzufügen, um die Ergebnisse schrittweise zu verfeinern. Das Modell verallgemeinert dabei auf ähnliche Objekte, anstatt nur einzelne Instanzen zu korrigieren.
4. Zeitliche Disambiguierung: Verwendet Detektionswerte von Masklets und regelmäßige neue Prompts, um Verdeckungen, überfüllte Szenen und Tracking-Fehler in Videos zu bewältigen, entsprechend den Best Practices für Instanzsegmentierung und Tracking.

SA-Co-Datensatz#

SAM 3 wird mit Segment Anything with Concepts (SA-Co) trainiert, Metas bislang größtem und vielfältigstem Segmentierungsdatensatz, der über gängige Benchmarks wie COCO und LVIS hinausgeht.

Trainingsdaten#

Benchmarkdaten#

Der SA-Co-Evaluierungsbenchmark enthält 214 Tsd. eindeutige Phrasen aus 126 Tsd. Bildern und Videos und bietet damit über 50× mehr Konzepte als bestehende Benchmarks. Er umfasst:

• SA-Co/Gold: 7 Domänen, dreifach annotiert zur Messung der Grenzen menschlicher Leistung
• SA-Co/Silver: 10 Domänen, jeweils einmal von Menschen annotiert
• SA-Co/Bronze und SA-Co/Bio: 9 bestehende Datensätze, angepasst für die Konzeptsegmentierung
• SA-Co/VEval: Videobenchmark mit 3 Domänen (SA-V, YT-Temporal-1B, SmartGlasses)

Innovationen der Datenpipeline#

Die skalierbare Datenpipeline von SAM 3 mit Menschen und Modellen im Regelkreis erzielt durch folgende Maßnahmen einen 2× höheren Annotierungsdurchsatz:

1. KI-Annotatoren: Auf Llama basierende Modelle schlagen vielfältige Nominalphrasen vor, darunter schwierige Negativbeispiele
2. KI-Verifizierer: Feinabgestimmte multimodale LLMs überprüfen Maskenqualität und Vollständigkeit mit nahezu menschlicher Leistung
3. Aktives Mining: Konzentriert den menschlichen Aufwand auf anspruchsvolle Fehlerfälle, bei denen die KI Schwierigkeiten hat
4. Ontologiebasiert: Nutzt eine große, auf Wikidata gestützte Ontologie für eine umfassende Konzeptabdeckung

Installation#

Installiere oder aktualisiere das ultralytics-Paket:

pip install -U ultralytics

pip uninstall clip -y
pip install git+https://github.com/ultralytics/CLIP.git

So verwendest du SAM 3: Vielseitigkeit bei der Konzeptsegmentierung#

SAM 3 unterstützt die Aufgaben Promptable Concept Segmentation (PCS) und Promptable Visual Segmentation (PVS) über unterschiedliche Predictor-Schnittstellen:

Unterstützte Aufgaben und Modelle#

Beispiele für Konzeptsegmentierung#

Segmentierung mit Text-Prompts#

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor with configuration
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "model": "sam3.pt",
    "quantize": 16,  # Use FP16 for faster inference
    "save": True,
}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image once for multiple queries
predictor.set_image("path/to/image.jpg")

# Query with multiple text prompts
results = predictor(text=["person", "bus", "glasses"])

# Works with descriptive phrases
results = predictor(text=["person with red cloth", "person with blue cloth"])

# Query with a single concept
results = predictor(text=["a person"])

Segmentierung mit Bildbeispielen#

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16, "save": True}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image
predictor.set_image("path/to/image.jpg")

# Provide bounding box examples to segment similar objects
results = predictor(bboxes=[[480.0, 290.0, 590.0, 650.0]])

# Multiple bounding boxes as exemplars of the same visual concept
results = predictor(bboxes=[[539, 599, 589, 639], [343, 267, 499, 662]])

Merkmalsbasierte Inferenz für mehr Effizienz#

import cv2

from ultralytics.models.sam import SAM3SemanticPredictor
from ultralytics.utils.plotting import Annotator, colors

# Initialize predictors
overrides = {"conf": 0.50, "task": "segment", "mode": "predict", "model": "sam3.pt", "verbose": False}
predictor = SAM3SemanticPredictor(overrides=overrides)
predictor2 = SAM3SemanticPredictor(overrides=overrides)

# Extract features from the first predictor
source = "path/to/image.jpg"
predictor.set_image(source)
src_shape = cv2.imread(source).shape[:2]

# Setup second predictor and reuse features
predictor2.setup_model()

# Perform inference using shared features with text prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, text=["person"])

# Perform inference using shared features with bounding box prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, bboxes=[[439, 437, 524, 709]])

# Visualize results
if masks is not None:
    masks, boxes = masks.cpu().numpy(), boxes.cpu().numpy()
    im = cv2.imread(source)
    annotator = Annotator(im, pil=False)
    annotator.masks(masks, [colors(x, True) for x in range(len(masks))])

    cv2.imshow("result", annotator.result())
    cv2.waitKey(0)

Videokonzeptsegmentierung#

Konzepte im Video mithilfe von Begrenzungsrahmen verfolgen#

from ultralytics.models.sam import SAM3VideoPredictor

# Create video predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16}
predictor = SAM3VideoPredictor(overrides=overrides)

# Track objects using bounding box prompts
results = predictor(source="path/to/video.mp4", bboxes=[[706.5, 442.5, 905.25, 555], [598, 635, 725, 750]], stream=True)

# Process and display results
for r in results:
    r.show()  # Display frame with segmentation masks

Konzepte mit Text-Prompts verfolgen#

from ultralytics.models.sam import SAM3VideoSemanticPredictor

# Initialize semantic video predictor
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "imgsz": 640,
    "model": "sam3.pt",
    "quantize": 16,
    "save": True,
}
predictor = SAM3VideoSemanticPredictor(overrides=overrides)

# Track concepts using text prompts
results = predictor(source="path/to/video.mp4", text=["person", "bicycle"], stream=True)

# Process results
for r in results:
    r.show()  # Display frame with tracked objects

# Alternative: Track with bounding box prompts
results = predictor(
    source="path/to/video.mp4",
    bboxes=[[864, 383, 975, 620], [705, 229, 782, 402]],
    labels=[1, 1],  # Positive labels
    stream=True,
)

Visuelle Prompts (Kompatibilität mit SAM 2)#

SAM 3 ist für die visuellen Prompts von SAM 2 zur Segmentierung einzelner Objekte vollständig abwärtskompatibel:

from ultralytics import SAM

model = SAM("sam3.pt")

# Single point prompt - segments object at specific location
results = model.predict(source="path/to/image.jpg", points=[900, 370], labels=[1])
results[0].show()

# Multiple points - segments single object with multiple point hints
results = model.predict(source="path/to/image.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Box prompt - segments object within bounding box
results = model.predict(source="path/to/image.jpg", bboxes=[100, 150, 300, 400])
results[0].show()

Leistungsbenchmarks#

Bildsegmentierung#

SAM 3 erzielt bei mehreren Benchmarks Ergebnisse auf dem neuesten Stand der Technik, darunter praxisnahe Datensätze wie LVIS und COCO zur Segmentierung:

Entdecke Optionen für Datensätze zum schnellen Experimentieren in Ultralytics-Datensätzen.

Leistung bei der Videosegmentierung#

SAM 3 zeigt gegenüber SAM 2 und dem bisherigen Stand der Technik deutliche Verbesserungen bei Videobenchmarks wie DAVIS 2017 und YouTube-VOS:

Few-Shot-Anpassung#

SAM 3 eignet sich hervorragend für die Anpassung an neue Domänen mit nur wenigen Beispielen, was für Workflows im Bereich der datenzentrierten KI relevant ist:

Wirksamkeit der interaktiven Verfeinerung#

Die konzeptbasierte Prompt-Verwendung von SAM 3 mit Beispielbildern konvergiert deutlich schneller als die Verwendung visueller Prompts:

Genauigkeit der Objekterkennung und -zählung#

SAM 3 ermöglicht eine präzise Zählung, indem alle Instanzen segmentiert werden – eine häufige Anforderung bei der Objektzählung:

Vergleich von SAM 3, SAM 2 und YOLO#

Hier vergleichen wir die Fähigkeiten der Modelle SAM 2 und YOLO26 mit SAM 3. Informationen zur Echtzeiterkennung und -segmentierung mit offenem Vokabular auf Grundlage derselben Arten von Prompts findest du unter YOLOE:

Die Geschwindigkeit wurde auf einer NVIDIA RTX PRO 6000 mit torch==2.9.1 und ultralytics==8.4.19 gemessen.

Wichtige Erkenntnisse:

• SAM 3: Am besten für die Segmentierung von Konzepten mit offenem Vokabular geeignet, um alle Instanzen eines Konzepts anhand von Text- oder Beispielvorgaben zu finden
• SAM 2: Am besten für die interaktive Segmentierung einzelner Objekte in Bildern und Videos mit geometrischen Vorgaben geeignet
• YOLO26: Am besten geeignet für Echtzeit-Segmentierung mit hoher Geschwindigkeit und optionaler NMS-freier End-to-End-Inferenz, in viele Formate exportierbar für den Einsatz auf GPUs, CPUs und Edge-Geräten

SAM-Vergleich mit YOLO#

Vergleich von SAM 3, SAM 2, SAM, MobileSAM und FastSAM mit den Segmentierungsmodellen von Ultralytics YOLO (YOLOv8, YOLO11, YOLO26) hinsichtlich Größe, Parameteranzahl und GPU-Inferenzgeschwindigkeit:

Dieser Vergleich zeigt die deutlichen Unterschiede bei Modellgrößen und Geschwindigkeiten zwischen SAM-Varianten und YOLO-Segmentierungsmodellen. Während SAM einzigartige Funktionen zur automatischen Segmentierung bietet, sind YOLO-Modelle, insbesondere YOLOv8n-seg, YOLO11n-seg und YOLO26n-seg, deutlich kleiner, schneller und recheneffizienter.

Die Tests wurden auf einer NVIDIA RTX PRO 6000 mit 96 GB VRAM unter Verwendung von torch==2.9.1 und ultralytics==8.4.19 durchgeführt. So kannst du diesen Test reproduzieren:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM3, SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt", "sam3.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    model(ASSETS, nms=False)  # YOLO26 NMS-free head; no-op for YOLOv8/YOLO11

Evaluierungsmetriken#

SAM 3 führt neue Metriken für die PCS-Aufgabe ein, die bekannte Kennzahlen wie den F1-Score, die Präzision und den Recall ergänzen.

Klassifikationsgesteuerter F1-Score (CGF1)#

Die zentrale Metrik, die Lokalisierung und Klassifikation kombiniert:

CGF1 = 100 × pmF1 × IL_MCC

Dabei gilt:

• pmF1 (positiver Makro-F1-Score): Misst die Qualität der Lokalisierung bei positiven Beispielen
• IL_MCC (Matthews-Korrelationskoeffizient auf Bildebene): Misst die Genauigkeit der binären Klassifikation („Ist das Konzept vorhanden?“)

Warum diese Metriken?#

Traditionelle AP-Metriken berücksichtigen keine Kalibrierung, wodurch Modelle in der Praxis schwer einsetzbar sind. Durch die Bewertung ausschließlich von Vorhersagen mit einer Konfidenz von über 0,5 erzwingen die Metriken von SAM 3 eine gute Kalibrierung und bilden reale Nutzungsmuster in interaktiven predict- und track-Schleifen nach.

Wichtige Ablationen und Erkenntnisse#

Auswirkungen des Presence-Heads#

Der Presence-Head entkoppelt Erkennung und Lokalisierung und sorgt für deutliche Verbesserungen:

Der Presence-Head sorgt für einen CGF1-Zuwachs von +5,7 (+9,9 %) und verbessert hauptsächlich die Erkennungsfähigkeit (IL_MCC +6,5 %).

Auswirkungen schwieriger Negativbeispiele#

Schwierige Negativbeispiele sind für die Erkennung mit offenem Vokabular entscheidend und verbessern IL_MCC um 54,5 % (0,44 → 0,68).

Skalierung der Trainingsdaten#

Hochwertige Annotationen durch Menschen liefern große Verbesserungen gegenüber ausschließlich synthetischen oder externen Daten. Hintergrundinformationen zu Verfahren für die Datenqualität findest du unter Datensammlung und Annotation.

Anwendungen#

Die Konzeptsegmentierung von SAM 3 ermöglicht neue Anwendungsfälle:

• Inhaltsmoderation: Alle Instanzen bestimmter Inhaltstypen in Mediatheken finden
• E-Commerce: Alle Produkte eines bestimmten Typs in Katalogbildern segmentieren und automatische Annotation unterstützen
• Medizinische Bildgebung: Alle Vorkommen bestimmter Gewebetypen oder Anomalien identifizieren
• Autonome Systeme: Alle Instanzen von Verkehrsschildern, Fußgängern oder Fahrzeugen nach Kategorie verfolgen
• Videoanalyse: Alle Personen zählen und verfolgen, die bestimmte Kleidung tragen oder bestimmte Handlungen ausführen
• Datensatzannotation: Alle Instanzen seltener Objektkategorien schnell annotieren
• Wissenschaftliche Forschung: Alle Proben quantifizieren und analysieren, die bestimmte Kriterien erfüllen

SAM-3-Agent: Erweitertes Sprachverständnis#

SAM 3 kann mit multimodalen großen Sprachmodellen (MLLMs) kombiniert werden, um komplexe Anfragen zu bearbeiten, die Schlussfolgerungen erfordern – ähnlich wie Systeme mit offenem Vokabular wie OWLv2 und T-Rex.

Leistung bei Schlussfolgerungsaufgaben#

Beispiele für komplexe Anfragen#

Der SAM-3-Agent kann Anfragen bearbeiten, die Schlussfolgerungen erfordern:

• „Personen, die sitzen, aber keine Geschenkbox in den Händen halten“
• „Der Hund, der der Kamera am nächsten ist und kein Halsband trägt“
• "Rote Objekte, die größer als die Hand der Person sind"

Das MLLM schlägt SAM 3 einfache Nominalphrasen als Abfragen vor, analysiert die zurückgegebenen Masken und wiederholt den Vorgang, bis das Ergebnis zufriedenstellend ist.

Einschränkungen#

SAM 3 stellt zwar einen bedeutenden Fortschritt dar, weist jedoch gewisse Einschränkungen auf:

• Komplexität der Phrasen: Am besten für einfache Nominalphrasen geeignet; lange beschreibende Ausdrücke oder komplexe Schlussfolgerungen erfordern möglicherweise die Integration eines MLLM
• Umgang mit Mehrdeutigkeiten: Einige Konzepte bleiben grundsätzlich mehrdeutig (z. B. "kleines Fenster", "gemütlicher Raum")
• Rechenanforderungen: Größer und langsamer als spezialisierte Erkennungsmodelle wie YOLO
• Umfang des Vokabulars: Auf elementare visuelle Konzepte fokussiert; ohne Unterstützung durch ein MLLM ist die kombinatorische Schlussfolgerung eingeschränkt
• Seltene Konzepte: Die Leistung kann bei äußerst seltenen oder feingranularen Konzepten abnehmen, die in den Trainingsdaten nicht ausreichend vertreten sind

Zitierung#

@misc{carion2025sam3,
  title         = {SAM 3: Segment Anything with Concepts},
  author        = {Nicolas Carion and Laura Gustafson and Yuan-Ting Hu and Shoubhik Debnath and Ronghang Hu and Didac Suris and Chaitanya Ryali and Kalyan Vasudev Alwala and Haitham Khedr and Andrew Huang and Jie Lei and Tengyu Ma and Baishan Guo and Arpit Kalla and Markus Marks and Joseph Greer and Meng Wang and Peize Sun and Roman R{\"a}dle and Triantafyllos Afouras and Effrosyni Mavroudi and Katherine Xu and Tsung-Han Wu and Yu Zhou and Liliane Momeni and Rishi Hazra and Shuangrui Ding and Sagar Vaze and Francois Porcher and Feng Li and Siyuan Li and Aishwarya Kamath and Ho Kei Cheng and Piotr Doll{\'a}r and Nikhila Ravi and Kate Saenko and Pengchuan Zhang and Christoph Feichtenhofer},
  year          = {2025},
  eprint        = {2511.16719},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CV},
  url           = {https://arxiv.org/abs/2511.16719}
}

FAQ#