SAM 3: Segment Anything with Concepts#

SAM 3 (Segment Anything Model 3) è il modello di base rilasciato da Meta per la Promptable Concept Segmentation (PCS). Basandosi su SAM 2, SAM 3 introduce una capacità fondamentalmente nuova: rilevare, segmentare e tracciare tutte le istanze di un concetto visivo specificato da prompt di testo, esempi di immagini o entrambi. A differenza delle versioni precedenti di SAM che segmentano singoli oggetti per prompt, SAM 3 è in grado di trovare e segmentare ogni occorrenza di un concetto che appare ovunque in immagini o video, allineandosi con gli obiettivi del vocabolario aperto nella moderna segmentazione d'istanza.

SAM 3 è ora completamente integrato nel pacchetto ultralytics, offrendo supporto nativo per la segmentazione di concetti con prompt di testo, prompt con immagini di esempio e funzionalità di tracciamento video.

Panoramica#

SAM 3 ottiene un guadagno di prestazioni pari a 2× rispetto ai sistemi esistenti nella Promptable Concept Segmentation, mantenendo e migliorando le capacità di SAM 2 per la segmentazione visiva interattiva. Il modello eccelle nella segmentazione a vocabolario aperto, consentendo agli utenti di specificare concetti utilizzando semplici sintagmi nominali (ad es., "scuolabus giallo", "gatto striato") o fornendo immagini di esempio dell'oggetto di riferimento. Queste capacità completano i flussi di lavoro pronti per la produzione che si basano su operazioni di predict e track ottimizzate.

Che cos'è la Segmentazione di Concetti basata su Prompt (PCS)?#

Il task PCS accetta un concept prompt come input e restituisce maschere di segmentazione con identità univoche per tutte le istanze di oggetti corrispondenti. I concept prompt possono essere:

• Testo: Semplici sintagmi nominali come "mela rossa" o "persona che indossa un cappello", simili all'apprendimento zero-shot
• Esempi di immagini: Bounding box attorno a oggetti di esempio (positivi o negativi) per una rapida generalizzazione
• Combinati: Sia testo che esempi di immagini insieme per un controllo preciso

Ciò differisce dai tradizionali prompt visivi (punti, riquadri, maschere) che segmentano una sola specifica istanza di oggetto, come reso popolare dalla famiglia SAM originale.

Metriche chiave di prestazione#

Per un contesto sulle metriche del modello e sui compromessi in produzione, consulta le approfondimenti sulla valutazione del modello e le metriche di performance di YOLO.

Architettura#

SAM 3 è costituito da un rilevatore e un tracciatore che condividono una spina dorsale di visione Perception Encoder (PE). Questo design disaccoppiato evita conflitti di attività consentendo sia il rilevamento a livello di immagine che il tracciamento a livello di video, con un'interfaccia compatibile con l'utilizzo in Python e l'utilizzo da CLI di Ultralytics.

Componenti principali#

• Rilevatore: Architettura basata su DETR per il rilevamento di concetti a livello di immagine

  • Encoder di testo per prompt basati su sintagmi nominali
  • Encoder di esempi per prompt basati su immagini
  • Encoder di fusione per condizionare le caratteristiche dell'immagine in base ai prompt
  • Nuova presence head che disaccoppia il riconoscimento ("cosa") dalla localizzazione ("dove")
  • Mask head per generare maschere di segmentazione delle istanze

• Tracciatore: Segmentazione video basata su memoria ereditata da SAM 2

  • Prompt encoder, mask decoder, memory encoder
  • Banca di memoria per archiviare l'aspetto dell'oggetto tra i frame
  • Disambiguazione temporale coadiuvata da tecniche come un filtro di Kalman in contesti multi-oggetto

• Presence Token: Un token globale appreso che prevede se il concetto target è presente nell'immagine/frame, migliorando il rilevamento separando il riconoscimento dalla localizzazione.

Innovazioni chiave#

1. Riconoscimento e localizzazione disaccoppiati: La presence head prevede la presenza del concetto a livello globale, mentre le proposal query si concentrano solo sulla localizzazione, evitando obiettivi contrastanti.
2. Prompt concettuali e visivi unificati: Supporta sia PCS (prompt concettuali) che PVS (prompt visivi come i clic/box di SAM 2) in un unico modello.
3. Raffinamento interattivo degli esempi: Gli utenti possono aggiungere esempi di immagini positivi o negativi per raffinare iterativamente i risultati, con il modello che generalizza su oggetti simili anziché limitarsi a correggere le singole istanze.
4. Disambiguazione temporale: Utilizza i punteggi di rilevamento delle masklet e la riprompizzazione periodica per gestire occlusioni, scene affollate e guasti di tracciamento nei video, in linea con le migliori pratiche di segmentazione e tracciamento d'istanza.

Dataset SA-Co#

SAM 3 è addestrato su Segment Anything with Concepts (SA-Co), il set di dati di segmentazione più ampio e diversificato di Meta fino ad oggi, che si estende oltre i benchmark comuni come COCO e LVIS.

Dati di addestramento#

Dati di benchmark#

Il benchmark di valutazione SA-Co contiene 214K di frasi univoche su 126K immagini e video, fornendo oltre 50× più concetti rispetto ai benchmark esistenti. Include:

• SA-Co/Gold: 7 domini, tripla annotazione per misurare i limiti delle prestazioni umane
• SA-Co/Silver: 10 domini, singola annotazione umana
• SA-Co/Bronze e SA-Co/Bio: 9 dataset esistenti adattati per la segmentazione di concetti
• SA-Co/VEval: Benchmark video con 3 domini (SA-V, YT-Temporal-1B, SmartGlasses)

Innovazioni del Data Engine#

Il motore di dati scalabile di SAM 3, basato su collaborazione umana e modelli, raggiunge un throughput di annotazione 2× grazie a:

1. Annotatori di intelligenza artificiale: I modelli basati su Llama propongono diversi sintagmi nominali inclusi esempi negativi difficili
2. Verificatori di intelligenza artificiale: LLM multimodali messi a punto verificano la qualità della maschera e l'esaustività a prestazioni vicine a quelle umane
3. Active Mining: Focalizza lo sforzo umano sui casi di fallimento critici in cui l'IA ha difficoltà
4. Basato su ontologie: Sfrutta un'ampia ontologia radicata in Wikidata per la copertura dei concetti

Installazione#

SAM 3 è disponibile nella versione 8.3.237 di Ultralytics e successive. Installa o aggiorna con:

pip install -U ultralytics

pip uninstall clip -y
pip install git+https://github.com/ultralytics/CLIP.git

Come usare SAM 3: Versatilità nella segmentazione di concetti#

SAM 3 supporta sia i task di Segmentazione di Concetti basata su Prompt (PCS) che di Segmentazione Visiva basata su Prompt (PVS) tramite diverse interfacce del predittore:

Task e modelli supportati#

Esempi di segmentazione di concetti#

Segmenta con prompt testuali#

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor with configuration
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "model": "sam3.pt",
    "quantize": 16,  # Use FP16 for faster inference
    "save": True,
}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image once for multiple queries
predictor.set_image("path/to/image.jpg")

# Query with multiple text prompts
results = predictor(text=["person", "bus", "glasses"])

# Works with descriptive phrases
results = predictor(text=["person with red cloth", "person with blue cloth"])

# Query with a single concept
results = predictor(text=["a person"])

Segmentazione con esemplari di immagine#

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16, "save": True}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image
predictor.set_image("path/to/image.jpg")

# Provide bounding box examples to segment similar objects
results = predictor(bboxes=[[480.0, 290.0, 590.0, 650.0]])

# Multiple bounding boxes as exemplars of the same visual concept
results = predictor(bboxes=[[539, 599, 589, 639], [343, 267, 499, 662]])

Inferenza basata sulle caratteristiche per l'efficienza#

import cv2

from ultralytics.models.sam import SAM3SemanticPredictor
from ultralytics.utils.plotting import Annotator, colors

# Initialize predictors
overrides = {"conf": 0.50, "task": "segment", "mode": "predict", "model": "sam3.pt", "verbose": False}
predictor = SAM3SemanticPredictor(overrides=overrides)
predictor2 = SAM3SemanticPredictor(overrides=overrides)

# Extract features from the first predictor
source = "path/to/image.jpg"
predictor.set_image(source)
src_shape = cv2.imread(source).shape[:2]

# Setup second predictor and reuse features
predictor2.setup_model()

# Perform inference using shared features with text prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, text=["person"])

# Perform inference using shared features with bounding box prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, bboxes=[[439, 437, 524, 709]])

# Visualize results
if masks is not None:
    masks, boxes = masks.cpu().numpy(), boxes.cpu().numpy()
    im = cv2.imread(source)
    annotator = Annotator(im, pil=False)
    annotator.masks(masks, [colors(x, True) for x in range(len(masks))])

    cv2.imshow("result", annotator.result())
    cv2.waitKey(0)

Segmentazione di concetti nei video#

Traccia i concetti attraverso il video con i bounding box#

from ultralytics.models.sam import SAM3VideoPredictor

# Create video predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16}
predictor = SAM3VideoPredictor(overrides=overrides)

# Track objects using bounding box prompts
results = predictor(source="path/to/video.mp4", bboxes=[[706.5, 442.5, 905.25, 555], [598, 635, 725, 750]], stream=True)

# Process and display results
for r in results:
    r.show()  # Display frame with segmentation masks

Traccia i concetti con prompt testuali#

from ultralytics.models.sam import SAM3VideoSemanticPredictor

# Initialize semantic video predictor
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "imgsz": 640,
    "model": "sam3.pt",
    "quantize": 16,
    "save": True,
}
predictor = SAM3VideoSemanticPredictor(overrides=overrides)

# Track concepts using text prompts
results = predictor(source="path/to/video.mp4", text=["person", "bicycle"], stream=True)

# Process results
for r in results:
    r.show()  # Display frame with tracked objects

# Alternative: Track with bounding box prompts
results = predictor(
    source="path/to/video.mp4",
    bboxes=[[864, 383, 975, 620], [705, 229, 782, 402]],
    labels=[1, 1],  # Positive labels
    stream=True,
)

Prompt visivi (compatibilità SAM 2)#

SAM 3 mantiene la piena compatibilità con i prompt visivi di SAM 2 per la segmentazione di oggetti singoli:

from ultralytics import SAM

model = SAM("sam3.pt")

# Single point prompt - segments object at specific location
results = model.predict(source="path/to/image.jpg", points=[900, 370], labels=[1])
results[0].show()

# Multiple points - segments single object with multiple point hints
results = model.predict(source="path/to/image.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Box prompt - segments object within bounding box
results = model.predict(source="path/to/image.jpg", bboxes=[100, 150, 300, 400])
results[0].show()

Benchmark delle prestazioni#

Segmentazione di immagini#

SAM 3 ottiene risultati allo stato dell'arte su molteplici benchmark, inclusi set di dati del mondo reale come LVIS e COCO per la segmentazione:

Esplora le opzioni di set di dati per una rapida sperimentazione nei set di dati di Ultralytics.

Prestazioni di segmentazione video#

SAM 3 mostra significativi miglioramenti rispetto a SAM 2 e al precedente stato dell'arte su benchmark video come DAVIS 2017 e YouTube-VOS:

Adattamento Few-Shot#

SAM 3 eccelle nell'adattarsi a nuovi domini con esempi minimi, rilevanti per i flussi di lavoro di IA incentrata sui dati:

Efficacia del perfezionamento interattivo#

Il prompting basato sui concetti di SAM 3 con esemplari converge molto più velocemente del prompting visivo:

Precisione nel conteggio degli oggetti#

SAM 3 fornisce conteggi accurati segmentando tutte le istanze, un requisito comune nel conteggio degli oggetti:

Confronto SAM 3 vs SAM 2 vs YOLO#

Qui confrontiamo le capacità di SAM 3 con i modelli SAM 2 e YOLO26. Per il rilevamento e la segmentazione a vocabolario aperto in tempo reale dagli stessi tipi di prompt, vedi YOLOE:

Velocità testata su NVIDIA RTX PRO 6000 con torch==2.9.1 e ultralytics==8.4.19.

Punti chiave:

• SAM 3: Ottimo per la segmentazione di concetti a vocabolario aperto, trovando tutte le istanze di un concetto con prompt di testo o esemplari
• SAM 2: Ottimo per la segmentazione interattiva di singoli oggetti in immagini e video con prompt geometrici
• YOLO26: Ottimizzato per la segmentazione in tempo reale ad alta velocità con inferenza end-to-end senza NMS, esportabile in molti formati per il deployment su GPU, CPU e dispositivi edge

Confronto SAM rispetto a YOLO#

Confronto tra SAM 3, SAM 2, SAM, MobileSAM, e FastSAM rispetto ai modelli di segmentazione Ultralytics YOLO (YOLOv8, YOLO11, YOLO26) in termini di dimensioni, parametri e velocità di inferenza su GPU:

Questo confronto dimostra le sostanziali differenze nelle dimensioni e nelle velocità dei modelli tra le varianti SAM e i modelli di segmentazione YOLO. Mentre SAM fornisce capacità di segmentazione automatica uniche, i modelli YOLO, in particolare YOLOv8n-seg, YOLO11n-seg e YOLO26n-seg, sono significativamente più piccoli, più veloci e più efficienti dal punto di vista computazionale.

Test eseguiti su una NVIDIA RTX PRO 6000 con 96 GB di VRAM utilizzando torch==2.9.1 e ultralytics==8.4.19. Per riprodurre questo test:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM3, SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt", "sam3.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    model(ASSETS)

Metriche di valutazione#

SAM 3 introduce nuove metriche progettate per l'attività PCS, che integrano misure familiari come punteggio F1, precisione e richiamo.

Classification-Gated F1 (CGF1)#

La metrica primaria che combina localizzazione e classificazione:

CGF1 = 100 × pmF1 × IL_MCC

Dove:

• pmF1 (Positive Macro F1): Misura la qualità della localizzazione su esempi positivi
• IL_MCC (Image-Level Matthews Correlation Coefficient): Misura la precisione della classificazione binaria ("il concetto è presente?")

Perché queste metriche?#

Le metriche AP tradizionali non tengono conto della calibrazione, rendendo i modelli difficili da usare nella pratica. Valutando solo le previsioni superiori a 0.5 di confidenza, le metriche di SAM 3 impongono una buona calibrazione e imitano i pattern di utilizzo nel mondo reale nei cicli interattivi di predict e track.

Ablazioni chiave e approfondimenti#

Impatto della Presence Head#

La presence head disaccoppia il riconoscimento dalla localizzazione, fornendo miglioramenti significativi:

La presence head fornisce un boost del +5.7 CGF1 (+9.9%), migliorando principalmente la capacità di riconoscimento (IL_MCC +6.5%).

Effetto degli esempi negativi difficili#

Gli hard negative sono fondamentali per il riconoscimento a vocabolario aperto, migliorando l'IL_MCC del 54.5% (0.44 → 0.68).

Scaling dei dati di addestramento#

Le annotazioni umane di alta qualità offrono grandi vantaggi rispetto ai soli dati sintetici o esterni. Per informazioni di background sulle pratiche di qualità dei dati, consultare raccolta e annotazione dei dati.

Applicazioni#

La capacità di segmentazione dei concetti di SAM 3 abilita nuovi casi d'uso:

• Moderazione dei contenuti: trova tutte le istanze di tipi di contenuto specifici nelle librerie multimediali
• E-commerce: Segmenta tutti i prodotti di un certo tipo nelle immagini del catalogo, supportando l'auto-annotazione
• Imaging medico: identifica tutte le occorrenze di specifici tipi di tessuto o anomalie
• Sistemi autonomi: traccia tutte le istanze di segnali stradali, pedoni o veicoli per categoria
• Analisi video: conta e traccia tutte le persone che indossano abiti specifici o eseguono azioni
• Annotazione del set di dati: Annota rapidamente tutte le istanze di categorie di oggetti rari
• Ricerca scientifica: quantifica e analizza tutti i campioni che corrispondono a criteri specifici

Agente SAM 3: Ragionamento linguistico esteso#

SAM 3 può essere combinato con modelli linguistici multimodali di grandi dimensioni (MLLM) per gestire query complesse che richiedono ragionamento, in modo simile a sistemi a vocabolario aperto come OWLv2 e T-Rex.

Prestazioni sui task di ragionamento#

Esempi di query complesse#

L'Agente SAM 3 può gestire query che richiedono ragionamento:

• "Persone sedute ma che non tengono una scatola regalo tra le mani"
• "Il cane più vicino alla fotocamera che non indossa un collare"
• "Oggetti rossi più grandi della mano della persona"

L'MLLM propone semplici query di sintagmi nominali a SAM 3, analizza le maschere restituite e itera fino al soddisfacimento.

Limitazioni#

Sebbene SAM 3 rappresenti un progresso importante, presenta alcune limitazioni:

• Complessità delle frasi: più adatto a semplici sintagmi nominali; espressioni di riferimento lunghe o ragionamenti complessi potrebbero richiedere l'integrazione con MLLM
• Gestione dell'ambiguità: alcuni concetti rimangono intrinsecamente ambigui (ad esempio, "piccola finestra", "stanza accogliente")
• Requisiti di calcolo: Più grande e più lento rispetto a modelli di rilevamento specializzati come YOLO
• Ambito del vocabolario: focalizzato su concetti visivi atomici; il ragionamento compositivo è limitato senza l'assistenza di un MLLM
• Concetti rari: le prestazioni potrebbero degradare su concetti estremamente rari o granulari non ben rappresentati nei dati di addestramento

Citazione#

@inproceedings{sam3_2025,
  title     = {SAM 3: Segment Anything with Concepts},
  author    = {Anonymous authors},
  booktitle = {Submitted to ICLR 2026},
  year      = {2025},
  url       = {https://openreview.net/forum?id=r35clVtGzw},
  note      = {Paper ID: 4183, under double-blind review}
}

FAQ#