SAM 3: segmentare qualsiasi cosa con i concetti#

SAM 3 (Modello di segmentazione di qualsiasi cosa 3) è il modello di base di Meta per la segmentazione di concetti tramite prompt (PCS). Basato su SAM 2, SAM 3 introduce una capacità fondamentalmente nuova: rilevare, segmentare e tracciare tutte le istanze di un concetto visivo specificato tramite prompt testuali, immagini di esempio o entrambi. A differenza delle versioni precedenti di SAM, che segmentano un singolo oggetto per prompt, SAM 3 può individuare e segmentare ogni occorrenza di un concetto in qualsiasi punto di immagini o video, in linea con gli obiettivi del vocabolario aperto nella moderna segmentazione di istanze.

SAM 3 è completamente integrato nel pacchetto ultralytics e offre supporto nativo per la segmentazione di concetti con prompt testuali, prompt basati su immagini di esempio e tracciamento video. Il checkpoint più recente SAM 3.1 è supportato per la predizione su immagini.

Panoramica#

SAM 3 offre un miglioramento delle prestazioni di 2× rispetto ai sistemi esistenti nella segmentazione di concetti tramite prompt, mantenendo e migliorando al contempo le capacità di SAM 2 per la segmentazione visiva interattiva. Il modello eccelle nella segmentazione a vocabolario aperto: gli utenti possono specificare concetti con semplici sintagmi nominali (ad es. "autobus scolastico giallo", "gatto a strisce") oppure fornendo immagini di esempio dell'oggetto target. Queste capacità completano le pipeline pronte per la produzione che si basano su workflow semplificati di predizione e tracciamento.

Che cos'è la segmentazione di concetti tramite prompt (PCS)?#

L'attività PCS riceve in input un prompt concettuale e restituisce maschere di segmentazione con identificativi univoci per tutte le istanze degli oggetti corrispondenti. I prompt concettuali possono essere:

• Testo: semplici sintagmi nominali come "mela rossa" o "persona con un cappello", simili a quelli usati nell'apprendimento zero-shot
• Immagini di esempio: bounding box intorno a oggetti di esempio (positivi o negativi) per una generalizzazione rapida
• Combinati: testo e immagini di esempio insieme per un controllo preciso

Questo approccio differisce dai prompt visivi tradizionali (punti, riquadri, maschere), che segmentano una sola istanza specifica di un oggetto, come reso popolare dalla famiglia SAM originale.

Metriche chiave delle prestazioni#

Per informazioni sul contesto delle metriche dei modelli e sui compromessi in produzione, consulta approfondimenti sulla valutazione dei modelli e metriche delle prestazioni di YOLO.

SAM 3.1#

SAM 3.1, rilasciato da Meta il 27 marzo 2026, è un nuovo checkpoint di SAM 3 che aggiunge Object Multiplex, un approccio basato sulla memoria condivisa per il tracciamento video di più oggetti. Invece di elaborare ogni oggetto tracciato in modo indipendente, SAM 3.1 raggruppa gli oggetti in bucket di capacità fissa e li elabora insieme; secondo Meta, su una singola GPU H100 questo consente un aumento della velocità di ~7× con 128 oggetti. Il rilevatore di immagini e la head interattiva basata su prompt puntuali mantengono l'architettura di SAM 3.

Ultralytics carica il checkpoint SAM 3.1 (sam3.1_multiplex.pt) nei predittori di immagini SAM 3: SAM("sam3.1_multiplex.pt") per i prompt puntuali e a riquadro e SAM3SemanticPredictor per i prompt testuali e con immagini di esempio. Il tracciamento video Object Multiplex non è ancora supportato, quindi continua a usare sam3.pt con SAM3VideoPredictor e SAM3VideoSemanticPredictor.

Architettura#

SAM 3 è composto da un rilevatore e un tracker che condividono un backbone visivo Perception Encoder (PE). Questo design disaccoppiato evita conflitti tra attività e consente sia il rilevamento a livello di immagine sia il tracciamento a livello video, con un'interfaccia compatibile con l'uso di Python e l'uso della CLI di Ultralytics.

Componenti principali#

• Rilevatore: architettura basata su DETR per il rilevamento di concetti a livello di immagine

  • Encoder testuale per i prompt con sintagmi nominali
  • Encoder di immagini di esempio per i prompt basati su immagini
  • Encoder di fusione per condizionare le feature dell'immagine in base ai prompt
  • Nuova head di presenza che disaccoppia il riconoscimento ("cosa") dalla localizzazione ("dove")
  • Head delle maschere per generare maschere di segmentazione delle istanze

• Tracker: segmentazione video basata sulla memoria, derivata da SAM 2

  • Encoder dei prompt, decoder delle maschere, encoder della memoria
  • Banca di memoria per memorizzare l'aspetto degli oggetti tra i fotogrammi
  • Disambiguazione temporale supportata da tecniche come il filtro di Kalman in scenari con più oggetti

• Token di presenza: token globale appreso che predice se il concetto target è presente nell'immagine o nel fotogramma, migliorando il rilevamento separando il riconoscimento dalla localizzazione.

Innovazioni chiave#

1. Riconoscimento e localizzazione disaccoppiati: la testa di presenza predice globalmente la presenza dei concetti, mentre le query delle proposte si concentrano solo sulla localizzazione, evitando obiettivi in conflitto.
2. Prompt concettuali e visivi unificati: supporta sia PCS (prompt concettuali) sia PVS (prompt visivi come clic/riquadri di SAM 2) in un unico modello.
3. Affinamento interattivo con esempi: gli utenti possono aggiungere esempi positivi o negativi di immagini per affinare iterativamente i risultati; il modello generalizza a oggetti simili invece di correggere solo singole istanze.
4. Disambiguazione temporale: usa i punteggi di rilevamento dei masklet e il riprompting periodico per gestire occlusioni, scene affollate e problemi di tracking nei video, in linea con le best practice di segmentazione e tracking delle istanze.

Dataset SA-Co#

SAM 3 viene addestrato su Segment Anything with Concepts (SA-Co), il dataset di segmentazione più grande e diversificato mai realizzato da Meta, che va oltre i benchmark comuni come COCO e LVIS.

Dati di addestramento#

Dati di benchmark#

Il benchmark di valutazione SA-Co contiene 214 mila espressioni distinte in 126 mila immagini e video e offre oltre 50× più concetti rispetto ai benchmark esistenti. Include:

• SA-Co/Gold: 7 domini, con tripla annotazione per misurare i limiti delle prestazioni umane
• SA-Co/Silver: 10 domini, con un'unica annotazione umana
• SA-Co/Bronze e SA-Co/Bio: 9 dataset esistenti adattati per la segmentazione concettuale
• SA-Co/VEval: benchmark video con 3 domini (SA-V, YT-Temporal-1B, SmartGlasses)

Innovazioni del motore di dati#

Il motore di dati scalabile di SAM 3, con intervento umano e del modello nel ciclo, raggiunge una capacità di annotazione 2× superiore grazie a:

1. Annotatori IA: modelli basati su Llama propongono sintagmi nominali diversificati, inclusi esempi negativi difficili
2. Verificatori IA: gli LLM multimodali ottimizzati verificano la qualità e la completezza delle maschere con prestazioni quasi umane
3. Estrazione attiva: concentra il lavoro umano sui casi di errore complessi in cui l'IA ha difficoltà
4. Basato su un'ontologia: sfrutta un'ampia ontologia fondata su Wikidata per coprire i concetti

Installazione#

Installa o aggiorna il pacchetto ultralytics:

pip install -U ultralytics

pip uninstall clip -y
pip install git+https://github.com/ultralytics/CLIP.git

Come usare SAM 3: versatilità nella segmentazione concettuale#

SAM 3 supporta le attività di segmentazione concettuale tramite prompt (PCS) e segmentazione visiva tramite prompt (PVS) attraverso interfacce predittive diverse:

Attività e modelli supportati#

Esempi di segmentazione concettuale#

Segmenta con prompt testuali#

from ultralytics.models.sam import SAM3SemanticPredictor

# Inizializza il predittore con la configurazione
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "model": "sam3.pt",
    "quantize": 16,  # Usa FP16 per un'inferenza più rapida
    "save": True,
}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Imposta l'immagine una sola volta per più query
predictor.set_image("path/to/image.jpg")

# Esegui query con più prompt testuali
results = predictor(text=["person", "bus", "glasses"])

# Funziona con descrizioni dettagliate
results = predictor(text=["person with red cloth", "person with blue cloth"])

# Esegui una query con un singolo concetto
results = predictor(text=["a person"])

Segmenta con esempi di immagini#

from ultralytics.models.sam import SAM3SemanticPredictor

# Inizializza il predittore
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16, "save": True}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Imposta l'immagine
predictor.set_image("path/to/image.jpg")

# Fornisci esempi di riquadri di delimitazione per segmentare oggetti simili
results = predictor(bboxes=[[480.0, 290.0, 590.0, 650.0]])

# Più riquadri di delimitazione come esempi dello stesso concetto visivo
results = predictor(bboxes=[[539, 599, 589, 639], [343, 267, 499, 662]])

Inferenza basata sulle caratteristiche per una maggiore efficienza#

import cv2

from ultralytics.models.sam import SAM3SemanticPredictor
from ultralytics.utils.plotting import Annotator, colors

# Inizializza i predittori
overrides = {"conf": 0.50, "task": "segment", "mode": "predict", "model": "sam3.pt", "verbose": False}
predictor = SAM3SemanticPredictor(overrides=overrides)
predictor2 = SAM3SemanticPredictor(overrides=overrides)

# Estrai le caratteristiche dal primo predittore
source = "path/to/image.jpg"
predictor.set_image(source)
src_shape = cv2.imread(source).shape[:2]

# Configura il secondo predittore e riutilizza le caratteristiche
predictor2.setup_model()

# Esegui l'inferenza usando le caratteristiche condivise con un prompt testuale
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, text=["person"])

# Esegui l'inferenza usando le caratteristiche condivise con un prompt basato su un riquadro di delimitazione
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, bboxes=[[439, 437, 524, 709]])

# Visualizza i risultati
if masks is not None:
    masks, boxes = masks.cpu().numpy(), boxes.cpu().numpy()
    im = cv2.imread(source)
    annotator = Annotator(im, pil=False)
    annotator.masks(masks, [colors(x, True) for x in range(len(masks))])

    cv2.imshow("result", annotator.result())
    cv2.waitKey(0)

Segmentazione concettuale nei video#

Traccia i concetti nei video con i riquadri di delimitazione#

from ultralytics.models.sam import SAM3VideoPredictor

# Crea il predittore video
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16}
predictor = SAM3VideoPredictor(overrides=overrides)

# Traccia gli oggetti usando prompt basati su riquadri di delimitazione
results = predictor(source="path/to/video.mp4", bboxes=[[706.5, 442.5, 905.25, 555], [598, 635, 725, 750]], stream=True)

# Elabora e visualizza i risultati
for r in results:
    r.show()  # Mostra il fotogramma con le maschere di segmentazione

Traccia i concetti con prompt testuali#

from ultralytics.models.sam import SAM3VideoSemanticPredictor

# Inizializza il predittore video semantico
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "imgsz": 640,
    "model": "sam3.pt",
    "quantize": 16,
    "save": True,
}
predictor = SAM3VideoSemanticPredictor(overrides=overrides)

# Traccia i concetti usando prompt testuali
results = predictor(source="path/to/video.mp4", text=["person", "bicycle"], stream=True)

# Elabora i risultati
for r in results:
    r.show()  # Mostra il fotogramma con gli oggetti tracciati

# Alternativa: traccia con prompt basati su riquadri di delimitazione
results = predictor(
    source="path/to/video.mp4",
    bboxes=[[864, 383, 975, 620], [705, 229, 782, 402]],
    labels=[1, 1],  # Etichette positive
    stream=True,
)

Prompt visivi (compatibilità con SAM 2)#

SAM 3 mantiene la piena retrocompatibilità con i prompt visivi di SAM 2 per la segmentazione di un singolo oggetto:

from ultralytics import SAM

model = SAM("sam3.pt")

# Prompt con un singolo punto: segmenta l'oggetto in una posizione specifica
results = model.predict(source="path/to/image.jpg", points=[900, 370], labels=[1])
results[0].show()

# Più punti: segmenta un singolo oggetto usando più punti guida
results = model.predict(source="path/to/image.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Prompt con riquadro: segmenta l'oggetto all'interno del riquadro di delimitazione
results = model.predict(source="path/to/image.jpg", bboxes=[100, 150, 300, 400])
results[0].show()

Benchmark delle prestazioni#

Segmentazione delle immagini#

SAM 3 raggiunge risultati allo stato dell'arte su più benchmark, inclusi dataset del mondo reale come LVIS e COCO per la segmentazione:

Esplora le opzioni di dataset per sperimentare rapidamente in dataset Ultralytics.

Prestazioni di segmentazione video#

SAM 3 mostra miglioramenti significativi rispetto a SAM 2 e ai precedenti risultati allo stato dell'arte nei benchmark video come DAVIS 2017 e YouTube-VOS:

Adattamento con pochi esempi#

SAM 3 eccelle nell'adattarsi a nuovi domini con pochi esempi, una capacità utile nei flussi di lavoro di IA incentrata sui dati:

Efficacia del perfezionamento interattivo#

Il prompting basato sui concetti di SAM 3 con esempi converge molto più rapidamente del prompting visivo:

Precisione del conteggio degli oggetti#

SAM 3 offre un conteggio accurato segmentando tutte le istanze, un requisito comune nel conteggio degli oggetti:

Confronto tra SAM 3, SAM 2 e YOLO#

Qui confrontiamo le capacità di SAM 3 con SAM 2 e i modelli YOLO26. Per il rilevamento e la segmentazione in tempo reale a vocabolario aperto usando gli stessi tipi di prompt, consulta YOLOE:

Benchmark della velocità eseguito su NVIDIA RTX PRO 6000 con torch==2.9.1 e ultralytics==8.4.19.

Punti chiave:

• SAM 3: ideale per la segmentazione di concetti a vocabolario aperto e per trovare tutte le istanze di un concetto con prompt testuali o basati su esempi
• SAM 2: ideale per la segmentazione interattiva di un singolo oggetto in immagini e video con prompt geometrici
• YOLO26: ideale per la segmentazione in tempo reale ad alta velocità, con inferenza end-to-end opzionale senza NMS, esportabile in molti formati per la distribuzione su GPU, CPU e dispositivi edge

Confronto tra SAM e YOLO#

Confronto tra SAM 3, SAM 2, SAM, MobileSAM e FastSAM e i modelli di segmentazione YOLO di Ultralytics (YOLOv8, YOLO11, YOLO26) in termini di dimensioni, parametri e velocità di inferenza su GPU:

Questo confronto evidenzia le notevoli differenze nelle dimensioni e nella velocità dei modelli tra le varianti SAM e i modelli di segmentazione YOLO. Sebbene SAM offra capacità uniche di segmentazione automatica, i modelli YOLO, in particolare YOLOv8n-seg, YOLO11n-seg e YOLO26n-seg, sono significativamente più piccoli, più veloci e più efficienti dal punto di vista computazionale.

Test eseguiti su una NVIDIA RTX PRO 6000 con 96 GB di VRAM usando torch==2.9.1 e ultralytics==8.4.19. Per riprodurre questo test:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profilo SAM3, SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt", "sam3.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profilo FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profilo dei modelli YOLO
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    model(ASSETS, nms=False)  # Head senza NMS di YOLO26; non fa nulla per YOLOv8/YOLO11

Metriche di valutazione#

SAM 3 introduce nuove metriche progettate per il task PCS, che si affiancano a misure note come F1 score, precisione e richiamo.

F1 con classificazione condizionata (CGF1)#

La metrica principale che combina localizzazione e classificazione:

CGF1 = 100 × pmF1 × IL_MCC

Dove:

• pmF1 (F1 macro positivo): misura la qualità della localizzazione sugli esempi positivi
• IL_MCC (coefficiente di correlazione di Matthews a livello di immagine): misura l'accuratezza della classificazione binaria ("il concetto è presente?")

Perché queste metriche?#

Le metriche AP tradizionali non tengono conto della calibrazione, rendendo difficile usare i modelli nella pratica. Valutando solo le predizioni con confidenza superiore a 0.5, le metriche di SAM 3 favoriscono una buona calibrazione e riproducono le modalità d'uso reali nei cicli interattivi di predizione e tracciamento.

Ablation e approfondimenti principali#

Impatto della head di presenza#

La head di presenza separa il riconoscimento dalla localizzazione, apportando miglioramenti significativi:

La head di presenza offre un incremento di +5.7 CGF1 (+9.9%), migliorando principalmente la capacità di riconoscimento (IL_MCC +6.5%).

Effetto degli esempi negativi difficili#

Gli esempi negativi difficili sono fondamentali per il riconoscimento a vocabolario aperto e migliorano IL_MCC del 54.5% (0.44 → 0.68).

Scalabilità dei dati di addestramento#

Le annotazioni umane di alta qualità offrono notevoli miglioramenti rispetto ai soli dati sintetici o esterni. Per informazioni sulle pratiche di qualità dei dati, consulta raccolta e annotazione dei dati.

Applicazioni#

La capacità di segmentazione dei concetti di SAM 3 abilita nuovi casi d'uso:

• Moderazione dei contenuti: trova tutte le istanze di tipi specifici di contenuti nelle raccolte multimediali
• E-commerce: segmenta tutti i prodotti di un certo tipo nelle immagini dei cataloghi, supportando l'annotazione automatica
• Imaging medico: identifica tutte le occorrenze di specifici tipi di tessuto o anomalie
• Sistemi autonomi: traccia tutte le istanze di segnali stradali, pedoni o veicoli per categoria
• Analisi video: conta e traccia tutte le persone che indossano determinati vestiti o compiono determinate azioni
• Annotazione dei dataset: annota rapidamente tutte le istanze di categorie di oggetti rare
• Ricerca scientifica: quantifica e analizza tutti gli esemplari che soddisfano criteri specifici

Agente SAM 3: ragionamento linguistico avanzato#

SAM 3 può essere combinato con modelli linguistici multimodali di grandi dimensioni (MLLM) per gestire query complesse che richiedono ragionamento, in modo simile a sistemi a vocabolario aperto come OWLv2 e T-Rex.

Prestazioni nei task di ragionamento#

Esempi di query complesse#

L'agente SAM 3 è in grado di gestire query che richiedono ragionamento:

• "Persone sedute che non tengono una scatola regalo in mano"
• "Il cane più vicino alla fotocamera che non indossa un collare"
• "Oggetti rossi più grandi della mano della persona"

L'MLLM propone a SAM 3 semplici query basate su sintagmi nominali, analizza le maschere restituite e ripete il processo finché il risultato non è soddisfacente.

Limitazioni#

Sebbene SAM 3 rappresenti un importante progresso, presenta alcune limitazioni:

• Complessità delle frasi: è più adatto a semplici sintagmi nominali; le espressioni referenziali lunghe o il ragionamento complesso possono richiedere l'integrazione di un MLLM
• Gestione dell'ambiguità: alcuni concetti restano intrinsecamente ambigui (ad es. "finestra piccola", "stanza accogliente")
• Requisiti computazionali: è più grande e più lento dei modelli di rilevamento specializzati come YOLO
• Ampiezza del vocabolario: si concentra su concetti visivi atomici; il ragionamento composizionale è limitato senza l'assistenza di un MLLM
• Concetti rari: le prestazioni possono diminuire con concetti estremamente rari o granulari, non rappresentati adeguatamente nei dati di addestramento

Citazione#

@misc{carion2025sam3,
  title         = {SAM 3: Segment Anything with Concepts},
  author        = {Nicolas Carion and Laura Gustafson and Yuan-Ting Hu and Shoubhik Debnath and Ronghang Hu and Didac Suris and Chaitanya Ryali and Kalyan Vasudev Alwala and Haitham Khedr and Andrew Huang and Jie Lei and Tengyu Ma and Baishan Guo and Arpit Kalla and Markus Marks and Joseph Greer and Meng Wang and Peize Sun and Roman R{\"a}dle and Triantafyllos Afouras and Effrosyni Mavroudi and Katherine Xu and Tsung-Han Wu and Yu Zhou and Liliane Momeni and Rishi Hazra and Shuangrui Ding and Sagar Vaze and Francois Porcher and Feng Li and Siyuan Li and Aishwarya Kamath and Ho Kei Cheng and Piotr Doll{\'a}r and Nikhila Ravi and Kate Saenko and Pengchuan Zhang and Christoph Feichtenhofer},
  year          = {2025},
  eprint        = {2511.16719},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CV},
  url           = {https://arxiv.org/abs/2511.16719}
}

Domande frequenti#