SAM 3: Segment Anything with Concepts#

SAM 3 (Segment Anything Model 3) ist das von Meta veröffentlichte Basismodell für Promptable Concept Segmentation (PCS). Aufbauend auf SAM 2 führt SAM 3 eine grundlegend neue Funktion ein: das Erkennen, Segmentieren und Verfolgen aller Instanzen eines visuellen Konzepts, das durch Text-Prompts, Bildbeispiele oder beides spezifiziert wird. Im Gegensatz zu früheren SAM-Versionen, die einzelne Objekte pro Prompt segmentieren, kann SAM 3 jedes Vorkommen eines Konzepts, das irgendwo in Bildern oder Videos auftaucht, finden und segmentieren, was den Open-Vocabulary-Zielen in der modernen instance segmentation entspricht.

SAM 3 ist jetzt vollständig in das ultralytics-Paket integriert und bietet native Unterstützung für Konzeptsegmentierung mit Text-Prompts, Bildbeispiel-Prompts und Videoverfolgungsfunktionen.

Übersicht#

SAM 3 erzielt einen 2-fachen Leistungsgewinn gegenüber bestehenden Systemen bei der Promptable Concept Segmentation und behält dabei die Funktionen von SAM 2 für die interaktive visual segmentation bei und verbessert sie. Das Modell zeichnet sich durch Open-Vocabulary-Segmentierung aus, sodass du Konzepte mithilfe einfacher Nomenphrasen (z. B. „gelber Schulbus“, „gestreifte Katze“) oder durch Bereitstellung von Beispielbildern des Zielobjekts angeben kannst. Diese Funktionen ergänzen produktionsbereite Pipelines, die auf optimierte predict- und track-Workflows setzen.

Was ist Promptable Concept Segmentation (PCS)?#

Die PCS-Aufgabe nimmt einen Konzept-Prompt als Eingabe und gibt Segmentierungsmasken mit eindeutigen Identitäten für alle übereinstimmenden Objektinstanzen zurück. Konzept-Prompts können sein:

• Text: Einfache Nomenphrasen wie „roter Apfel“ oder „Person mit Hut“, ähnlich dem zero-shot learning
• Bildbeispiele: Begrenzungsrahmen (Bounding Boxes) um Beispielobjekte (positiv oder negativ) für schnelle Generalisierung
• Kombiniert: Sowohl Text als auch Bildbeispiele zusammen für präzise Steuerung

Dies unterscheidet sich von traditionellen visuellen Prompts (Punkten, Boxen, Masken), die nur eine einzige spezifische Objektinstanz segmentieren, wie es durch die ursprüngliche SAM family populär gemacht wurde.

Wichtige Leistungsmetriken#

Kontext zu Modellmetriken und Kompromissen in der Produktion findest du unter model evaluation insights und YOLO performance metrics.

Architektur#

SAM 3 besteht aus einem Detector und einem Tracker, die sich ein Perception-Encoder-Vision-Backbone (PE) teilen. Dieses entkoppelte Design vermeidet Aufgabenkonflikte und ermöglicht sowohl die Erkennung auf Bildebene als auch die Verfolgung auf Videoebene, mit einer Schnittstelle, die mit der Python usage und CLI usage von Ultralytics kompatibel ist.

Kernkomponenten#

• Detector: DETR-based architecture für die Koncepterkennung auf Bildebene

  • Text-Encoder für Substantivphrasen-Prompts
  • Beispiel-Encoder für bildbasierte Prompts
  • Fusions-Encoder zur Konditionierung von Bildmerkmalen auf Prompts
  • Neuartiger Presence Head, der Erkennung ("was") von Lokalisierung ("wo") entkoppelt
  • Mask-Head zur Generierung von Instanz-Segmentierungsmasken

• Tracker: Speicherbasierte Videosegmentierung, übernommen von SAM 2

  • Prompt-Encoder, Mask-Decoder, Speicher-Encoder
  • Speicherbank zum Speichern des Objekterscheinungsbildes über Frames hinweg
  • Temporale Disambiguierung unterstützt durch Techniken wie einen Kalman filter in Multi-Objekt-Umgebungen

• Presence Token: Ein erlernter globaler Token, der vorhersagt, ob das Zielkonzept im Bild/Frame vorhanden ist, was die Erkennung verbessert, indem Erkennung von Lokalisierung getrennt wird.

Wichtige Innovationen#

1. Entkoppelte Erkennung und Lokalisierung: Der Presence Head sagt die Konzeptpräsenz global voraus, während sich Vorschlagsabfragen (Proposal Queries) nur auf die Lokalisierung konzentrieren, wodurch widersprüchliche Ziele vermieden werden.
2. Vereinigte Konzept- und visuelle Prompts: Unterstützt sowohl PCS (Konzept-Prompts) als auch PVS (visuelle Prompts wie SAM 2's Klicks/Boxen) in einem einzigen Modell.
3. Interaktive Beispiel-Verfeinerung: Benutzer können positive oder negative Bildbeispiele hinzufügen, um Ergebnisse iterativ zu verfeinern, wobei das Modell auf ähnliche Objekte generalisiert, anstatt nur einzelne Instanzen zu korrigieren.
4. Temporal Disambiguation: Verwendet Masklet-Erkennungswerte und periodische erneute Prompt-Abfragen, um Verdeckungen, überfüllte Szenen und Verfolgungsfehler im Video zu handhaben, im Einklang mit Best Practices für instance segmentation and tracking.

SA-Co Datensatz#

SAM 3 wurde mit Segment Anything with Concepts (SA-Co) trainiert, dem bisher größten und vielfältigsten Segmentierungsdatensatz von Meta, der über gängige Benchmarks wie COCO und LVIS hinausgeht.

Trainingsdaten#

Benchmark-Daten#

Der SA-Co Evaluierungs-Benchmark enthält 214 Tsd. einzigartige Phrasen über 126 Tsd. Bilder und Videos und bietet über 50-mal mehr Konzepte als bestehende Benchmarks. Er umfasst:

• SA-Co/Gold: 7 Domänen, dreifach annotiert zur Messung der Grenzen menschlicher Leistung
• SA-Co/Silver: 10 Domänen, einfache menschliche Annotation
• SA-Co/Bronze und SA-Co/Bio: 9 bestehende Datensätze, die für die Konzept-Segmentierung angepasst wurden
• SA-Co/VEval: Video-Benchmark mit 3 Domänen (SA-V, YT-Temporal-1B, SmartGlasses)

Innovationen der Daten-Engine#

Die skalierbare Human- und Model-in-the-Loop-Daten-Engine von SAM 3 erreicht einen 2-fachen Annotationsdurchsatz durch:

1. AI Annotators: Auf Llama basierende Modelle schlagen verschiedene Nomenphrasen einschließlich harter Negativbeispiele vor
2. AI Verifiers: Feinabgestimmte multimodal LLMs verifizieren die Maskenqualität und Vollständigkeit auf nahezu menschlichem Niveau
3. Aktives Mining: Konzentriert menschliche Arbeit auf schwierige Fehlerfälle, bei denen die KI Probleme hat
4. Ontology-Driven: Nutzt eine große Ontologie, die in Wikidata für die Konzeptabdeckung verankert ist

Installation#

SAM 3 ist in Ultralytics Version 8.3.237 und später verfügbar. Installiere oder aktualisiere mit:

pip install -U ultralytics

pip uninstall clip -y
pip install git+https://github.com/ultralytics/CLIP.git

Wie man SAM 3 verwendet: Vielseitigkeit bei der Konzept-Segmentierung#

SAM 3 unterstützt sowohl Promptable Concept Segmentation (PCS) als auch Promptable Visual Segmentation (PVS) Aufgaben über verschiedene Prädiktor-Schnittstellen:

Unterstützte Aufgaben und Modelle#

Beispiele zur Konzept-Segmentierung#

Segmentieren mit Text-Prompts#

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor with configuration
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "model": "sam3.pt",
    "quantize": 16,  # Use FP16 for faster inference
    "save": True,
}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image once for multiple queries
predictor.set_image("path/to/image.jpg")

# Query with multiple text prompts
results = predictor(text=["person", "bus", "glasses"])

# Works with descriptive phrases
results = predictor(text=["person with red cloth", "person with blue cloth"])

# Query with a single concept
results = predictor(text=["a person"])

Segmentierung mit Bildbeispielen#

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16, "save": True}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image
predictor.set_image("path/to/image.jpg")

# Provide bounding box examples to segment similar objects
results = predictor(bboxes=[[480.0, 290.0, 590.0, 650.0]])

# Multiple bounding boxes as exemplars of the same visual concept
results = predictor(bboxes=[[539, 599, 589, 639], [343, 267, 499, 662]])

Merkmalsbasierte Inferenz für Effizienz#

import cv2

from ultralytics.models.sam import SAM3SemanticPredictor
from ultralytics.utils.plotting import Annotator, colors

# Initialize predictors
overrides = {"conf": 0.50, "task": "segment", "mode": "predict", "model": "sam3.pt", "verbose": False}
predictor = SAM3SemanticPredictor(overrides=overrides)
predictor2 = SAM3SemanticPredictor(overrides=overrides)

# Extract features from the first predictor
source = "path/to/image.jpg"
predictor.set_image(source)
src_shape = cv2.imread(source).shape[:2]

# Setup second predictor and reuse features
predictor2.setup_model()

# Perform inference using shared features with text prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, text=["person"])

# Perform inference using shared features with bounding box prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, bboxes=[[439, 437, 524, 709]])

# Visualize results
if masks is not None:
    masks, boxes = masks.cpu().numpy(), boxes.cpu().numpy()
    im = cv2.imread(source)
    annotator = Annotator(im, pil=False)
    annotator.masks(masks, [colors(x, True) for x in range(len(masks))])

    cv2.imshow("result", annotator.result())
    cv2.waitKey(0)

Videokonzept-Segmentierung#

Konzepte über Videos hinweg mit Bounding Boxen verfolgen#

from ultralytics.models.sam import SAM3VideoPredictor

# Create video predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16}
predictor = SAM3VideoPredictor(overrides=overrides)

# Track objects using bounding box prompts
results = predictor(source="path/to/video.mp4", bboxes=[[706.5, 442.5, 905.25, 555], [598, 635, 725, 750]], stream=True)

# Process and display results
for r in results:
    r.show()  # Display frame with segmentation masks

Konzepte mit Text-Prompts verfolgen#

from ultralytics.models.sam import SAM3VideoSemanticPredictor

# Initialize semantic video predictor
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "imgsz": 640,
    "model": "sam3.pt",
    "quantize": 16,
    "save": True,
}
predictor = SAM3VideoSemanticPredictor(overrides=overrides)

# Track concepts using text prompts
results = predictor(source="path/to/video.mp4", text=["person", "bicycle"], stream=True)

# Process results
for r in results:
    r.show()  # Display frame with tracked objects

# Alternative: Track with bounding box prompts
results = predictor(
    source="path/to/video.mp4",
    bboxes=[[864, 383, 975, 620], [705, 229, 782, 402]],
    labels=[1, 1],  # Positive labels
    stream=True,
)

Visuelle Prompts (SAM 2-Kompatibilität)#

SAM 3 behält die vollständige Abwärtskompatibilität zur visuellen Prompting-Funktion von SAM 2 für die Segmentierung einzelner Objekte bei:

from ultralytics import SAM

model = SAM("sam3.pt")

# Single point prompt - segments object at specific location
results = model.predict(source="path/to/image.jpg", points=[900, 370], labels=[1])
results[0].show()

# Multiple points - segments single object with multiple point hints
results = model.predict(source="path/to/image.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Box prompt - segments object within bounding box
results = model.predict(source="path/to/image.jpg", bboxes=[100, 150, 300, 400])
results[0].show()

Performance-Benchmarks#

Bildsegmentierung#

SAM 3 erzielt branchenführende Ergebnisse über mehrere Benchmarks hinweg, einschließlich realer Datensätze wie LVIS und COCO for segmentation:

Erkunde Datensatzoptionen für schnelle Experimente in Ultralytics datasets.

Leistung bei der Videosegmentierung#

SAM 3 zeigt signifikante Verbesserungen gegenüber SAM 2 und früheren Top-Modellen bei Video-Benchmarks wie DAVIS 2017 und YouTube-VOS:

Few-Shot-Adaptation#

SAM 3 zeichnet sich durch die Anpassung an neue Domänen mit minimalen Beispielen aus, was für data-centric AI-Workflows relevant ist:

Effektivität der interaktiven Verfeinerung#

Das konzeptbasierte Prompting von SAM 3 mit Beispielen konvergiert deutlich schneller als visuelles Prompting:

Genauigkeit der Objektzählung#

SAM 3 bietet eine genaue Zählung durch das Segmentieren aller Instanzen, eine häufige Anforderung beim object counting:

Vergleich: SAM 3 vs. SAM 2 vs. YOLO#

Hier vergleichen wir die Funktionen von SAM 3 mit den SAM 2- und YOLO26-Modellen. Für Echtzeit-Vokabular-unabhängige Erkennung und Segmentierung anhand derselben Prompt-Arten, siehe YOLOE:

Geschwindigkeit gebenchmarkt auf einer NVIDIA RTX PRO 6000 mit torch==2.9.1 und ultralytics==8.4.19.

Wichtige Erkenntnisse:

• SAM 3: Am besten geeignet für die Konzeptsegmentierung mit offenem Vokabular; findet alle Instanzen eines Konzepts anhand von Text- oder Exemplar-Prompts.
• SAM 2: Am besten geeignet für die interaktive Einzelobjektsegmentierung in Bildern und Videos mit geometrischen Prompts.
• YOLO26: Am besten für die Echtzeit-Hochgeschwindigkeitssegmentierung mit NMS-freier End-to-End-Inferenz, exportable to many formats für die Bereitstellung auf GPUs, CPUs und Edge-Geräten

SAM-Vergleich vs. YOLO#

Vergleich von SAM 3, SAM 2, SAM, MobileSAM und FastSAM mit Ultralytics YOLO-Segmentierungsmodellen (YOLOv8, YOLO11, YOLO26) hinsichtlich Größe, Parametern und GPU-Inferenzgeschwindigkeit:

Dieser Vergleich demonstriert die erheblichen Unterschiede in Modellgrößen und Geschwindigkeiten zwischen SAM-Varianten und YOLO-Segmentierungsmodellen. Während SAM einzigartige automatische Segmentierungsfunktionen bietet, sind YOLO-Modelle, insbesondere YOLOv8n-seg, YOLO11n-seg und YOLO26n-seg, deutlich kleiner, schneller und recheneffizienter.

Tests ausgeführt auf einer NVIDIA RTX PRO 6000 mit 96 GB VRAM unter Verwendung von torch==2.9.1 und ultralytics==8.4.19. Um diesen Test zu reproduzieren:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM3, SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt", "sam3.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    model(ASSETS)

Bewertungsmetriken#

SAM 3 führt neue Metriken ein, die für die PCS-Aufgabe entwickelt wurden, und ergänzt bekannte Messwerte wie F1 score, precision und recall.

Classification-Gated F1 (CGF1)#

Die primäre Metrik zur Kombination von Lokalisierung und Klassifizierung:

CGF1 = 100 × pmF1 × IL_MCC

Wobei:

• pmF1 (Positive Macro F1): Misst die Lokalisierungsqualität bei positiven Beispielen.
• IL_MCC (Image-Level Matthews Correlation Coefficient): Misst die Genauigkeit der binären Klassifizierung ("Ist das Konzept vorhanden?").

Warum diese Metriken?#

Traditionelle AP-Metriken berücksichtigen keine Kalibrierung, wodurch Modelle in der Praxis schwer zu verwenden sind. Durch die Auswertung nur von Vorhersagen über 0,5 Konfidenz erzwingen die Metriken von SAM 3 eine gute Kalibrierung und Nachahmung realer Nutzungsmuster in interaktiven predict- und track-Schleifen.

Wichtige Ablationen und Erkenntnisse#

Auswirkung des Presence-Heads#

Der Presence-Head entkoppelt Erkennung von Lokalisierung und sorgt für signifikante Verbesserungen:

Der Presence-Head liefert einen +5.7 CGF1-Schub (+9,9 %) und verbessert vor allem die Erkennungsfähigkeit (IL_MCC +6,5 %).

Auswirkung von Hard Negatives#

Harte Negative sind entscheidend für die Open-Vocabulary-Erkennung und verbessern IL_MCC um 54.5% (0.44 → 0.68).

Skalierung der Trainingsdaten#

Hochwertige menschliche Annotationen bieten große Vorteile gegenüber synthetischen oder externen Daten allein. Hintergrundinformationen zu Datenqualitätsverfahren findest du unter data collection and annotation.

Anwendungen#

Die Konzept-Segmentierungsfunktion von SAM 3 ermöglicht neue Anwendungsfälle:

• Content-Moderation: Finde alle Instanzen spezifischer Inhaltstypen in Medienbibliotheken
• E-commerce: Segmentiere alle Produkte eines bestimmten Typs in Katalogbildern, was auto-annotation unterstützt
• Medizinische Bildgebung: Identifiziere alle Vorkommen spezifischer Gewebetypen oder Anomalien
• Autonome Systeme: Verfolge alle Instanzen von Verkehrsschildern, Fußgängern oder Fahrzeugen nach Kategorie
• Videoanalyse: Zähle und verfolge alle Personen, die bestimmte Kleidung tragen oder Aktionen ausführen
• Dataset Annotation: Annotiere schnell alle Instanzen seltener Objektkategorien
• Wissenschaftliche Forschung: Quantifiziere und analysiere alle Proben, die spezifische Kriterien erfüllen

SAM 3 Agent: Erweiterte Sprachlogik#

SAM 3 kann mit Multimodal Large Language Models (MLLMs) kombiniert werden, um komplexe Abfragen zu verarbeiten, die Argumentation erfordern, ähnlich wie Open-Vocabulary-Systeme wie OWLv2 und T-Rex.

Leistung bei logischen Aufgaben#

Beispiele für komplexe Anfragen#

Der SAM 3 Agent kann Anfragen bearbeiten, die logisches Denken erfordern:

• "Personen, die sitzen, aber kein Geschenkpaket in den Händen halten"
• "Der Hund, der der Kamera am nächsten ist und kein Halsband trägt"
• "Rote Objekte, die größer als die Hand der Person sind"

Das MLLM schlägt SAM 3 einfache Substantivgruppen-Anfragen vor, analysiert die zurückgegebenen Masken und iteriert, bis das Ergebnis zufriedenstellend ist.

Einschränkungen#

Obwohl SAM 3 einen bedeutenden Fortschritt darstellt, weist es gewisse Einschränkungen auf:

• Komplexität von Phrasen: Am besten für einfache Substantivgruppen geeignet; lange Bezugsausdrücke oder komplexe logische Zusammenhänge erfordern möglicherweise eine MLLM-Integration
• Umgang mit Mehrdeutigkeit: Einige Konzepte bleiben von Natur aus mehrdeutig (z. B. "kleines Fenster", "gemütlicher Raum")
• Computational Requirements: Größer und langsamer als spezialisierte Erkennungsmodelle wie YOLO
• Umfang des Vokabulars: Fokus auf atomare visuelle Konzepte; kompositorisches Denken ist ohne MLLM-Unterstützung begrenzt
• Seltene Konzepte: Die Leistung kann bei extrem seltenen oder sehr spezifischen Konzepten nachlassen, die in den Trainingsdaten nicht gut repräsentiert sind

Zitierung#

@inproceedings{sam3_2025,
  title     = {SAM 3: Segment Anything with Concepts},
  author    = {Anonymous authors},
  booktitle = {Submitted to ICLR 2026},
  year      = {2025},
  url       = {https://openreview.net/forum?id=r35clVtGzw},
  note      = {Paper ID: 4183, under double-blind review}
}

FAQ#