SAM 2: Segment Anything Model 2#

SAM 2, il successore del Segment Anything Model (SAM) di Meta, è uno strumento all'avanguardia progettato per la segmentazione completa degli oggetti sia in immagini che in video. Eccelle nella gestione di dati visivi complessi attraverso un'architettura di modello unificata e basata su prompt che supporta l'elaborazione in tempo reale e la generalizzazione zero-shot.

Caratteristiche principali#

Architettura del Modello Unificata#

SAM 2 combina le capacità di segmentazione di immagini e video in un unico modello. Questa unificazione semplifica il deployment e consente prestazioni coerenti su diversi tipi di media. Sfrutta un'interfaccia flessibile basata su prompt, consentendo agli utenti di specificare oggetti di interesse tramite vari tipi di prompt, come punti, riquadri di delimitazione o maschere.

Prestazioni in Tempo Reale#

Il modello raggiunge velocità di inferenza in tempo reale, elaborando circa 44 fotogrammi al secondo. Questo rende SAM 2 adatto ad applicazioni che richiedono feedback immediato, come l'editing video e la realtà aumentata.

Generalizzazione Zero-Shot#

SAM 2 può segmentare oggetti che non ha mai incontrato prima, dimostrando una forte generalizzazione zero-shot. Questo è particolarmente utile in domini visivi diversi o in evoluzione in cui le categorie predefinite potrebbero non coprire tutti i possibili oggetti.

Raffinamento Interattivo#

Gli utenti possono perfezionare iterativamente i risultati della segmentazione fornendo prompt aggiuntivi, consentendo un controllo preciso sull'output. Questa interattività è essenziale per ottimizzare i risultati in applicazioni come l'annotazione video o l'imaging medico.

Gestione Avanzata delle Sfide Visive#

SAM 2 include meccanismi per gestire le sfide comuni della segmentazione video, come l'occlusione e la ricomparsa degli oggetti. Utilizza un sofisticato meccanismo di memoria per tenere traccia degli oggetti tra i fotogrammi, garantendo continuità anche quando gli oggetti sono temporaneamente oscurati o escono ed entrano nuovamente nella scena.

Per una comprensione più approfondita dell'architettura e delle capacità di SAM 2, esplora il documento di ricerca su SAM 2.

Prestazioni e Dettagli Tecnici#

SAM 2 stabilisce un nuovo punto di riferimento nel settore, superando i modelli precedenti su vari parametri:

Architettura del modello#

Componenti principali#

• Codificatore di Immagini e Video: Utilizza un'architettura basata su transformer per estrarre caratteristiche di alto livello sia dalle immagini che dai fotogrammi video. Questo componente è responsabile della comprensione del contenuto visivo in ogni istante temporale.
• Codificatore di Prompt: Elabora i prompt forniti dall'utente (punti, riquadri, maschere) per guidare l'attività di segmentazione. Ciò consente a SAM 2 di adattarsi all'input dell'utente e di mirare a oggetti specifici all'interno di una scena.
• Meccanismo di Memoria: Include un codificatore di memoria, un banca di memoria e un modulo di attenzione alla memoria. Questi componenti memorizzano e utilizzano collettivamente le informazioni dei fotogrammi passati, consentendo al modello di mantenere un tracciamento degli oggetti coerente nel tempo.
• Decodificatore di Maschere: Genera le maschere di segmentazione finali basate sulle caratteristiche dell'immagine codificata e sui prompt. Nei video, utilizza anche il contesto di memoria per garantire un tracciamento accurato tra i fotogrammi.

Meccanismo di Memoria e Gestione dell'Occlusione#

Il meccanismo di memoria consente a SAM 2 di gestire dipendenze temporali e occlusioni nei dati video. Man mano che gli oggetti si muovono e interagiscono, SAM 2 registra le loro caratteristiche in una banca di memoria. Quando un oggetto viene occluso, il modello può fare affidamento su questa memoria per prevedere la sua posizione e il suo aspetto quando riappare. L'head di occlusione gestisce specificamente gli scenari in cui gli oggetti non sono visibili, prevedendo la probabilità che un oggetto sia occluso.

Risoluzione dell'Ambiguità Multi-Maschera#

In situazioni con ambiguità (ad esempio, oggetti sovrapposti), SAM 2 può generare più previsioni di maschere. Questa funzione è fondamentale per rappresentare accuratamente scene complesse in cui una singola maschera potrebbe non descrivere a sufficienza le sfumature della scena.

Dataset SA-V#

Il dataset SA-V, sviluppato per l'addestramento di SAM 2, è uno dei dataset di segmentazione video più grandi e diversificati disponibili. Include:

• Oltre 51.000 Video: Catturati in 47 paesi, offrendo un'ampia gamma di scenari del mondo reale.
• Oltre 600.000 Annotazioni di Maschere: Dettagliate annotazioni di maschere spazio-temporali, denominate "masklets", che coprono interi oggetti e parti.
• Dimensione del Dataset: Presenta 4,5 volte più video e 53 volte più annotazioni rispetto ai precedenti dataset più grandi, offrendo una diversità e una complessità senza precedenti.

Benchmark#

Segmentazione di Oggetti Video#

SAM 2 ha dimostrato prestazioni superiori nei principali benchmark di segmentazione video:

Segmentazione Interattiva#

Nelle attività di segmentazione interattiva, SAM 2 mostra una significativa efficienza e precisione:

Installazione#

Per installare SAM 2, usa il seguente comando. Tutti i modelli SAM 2 verranno scaricati automaticamente al primo utilizzo.

pip install ultralytics

Come Usare SAM 2: Versatilità nella Segmentazione di Immagini e Video#

La seguente tabella descrive in dettaglio i modelli SAM 2 disponibili, i loro pesi pre-addestrati, le attività supportate e la compatibilità con diverse modalità operative come Inference, Validation, Training e Export.

Esempi di Predizione con SAM 2#

SAM 2 può essere utilizzato in un ampio spettro di attività, tra cui l'editing video in tempo reale, l'imaging medico e i sistemi autonomi. La sua capacità di segmentare dati visivi sia statici che dinamici lo rende uno strumento versatile per ricercatori e sviluppatori.

Segmenta con Prompt#

from ultralytics import SAM

# Load a model
model = SAM("sam2.1_b.pt")

# Display model information (optional)
model.info()

# Run inference with bboxes prompt
results = model("path/to/image.jpg", bboxes=[100, 100, 200, 200])

# Run inference with single point
results = model(points=[900, 370], labels=[1])

# Run inference with multiple points
results = model(points=[[400, 370], [900, 370]], labels=[1, 1])

# Run inference with multiple points prompt per object
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Run inference with negative points prompt
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Segmenta Tutto#

from ultralytics import SAM

# Load a model
model = SAM("sam2.1_b.pt")

# Display model information (optional)
model.info()

# Run inference
model("path/to/video.mp4")

Segmenta Video e Traccia oggetti#

from ultralytics.models.sam import SAM2VideoPredictor

# Create SAM2VideoPredictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "sam2_b.pt"}
predictor = SAM2VideoPredictor(overrides=overrides)

# Run inference with single point
results = predictor(source="test.mp4", points=[920, 470], labels=[1])

# Run inference with multiple points
results = predictor(source="test.mp4", points=[[920, 470], [909, 138]], labels=[1, 1])

# Run inference with multiple points prompt per object
results = predictor(source="test.mp4", points=[[[920, 470], [909, 138]]], labels=[[1, 1]])

# Run inference with negative points prompt
results = predictor(source="test.mp4", points=[[[920, 470], [909, 138]]], labels=[[1, 0]])

• Questo esempio dimostra come SAM 2 può essere utilizzato per segmentare l'intero contenuto di un'immagine o di un video se non vengono forniti prompt (bbox/punti/maschere).

Segmentazione e Tracciamento Interattivi Dinamici#

SAM2DynamicInteractivePredictor è un'estensione avanzata senza addestramento di SAM2 che consente un'interazione dinamica con più fotogrammi e capacità di apprendimento continuo. Questo predittore supporta aggiornamenti dei prompt in tempo reale e la gestione della memoria per migliorare le prestazioni di tracciamento su una sequenza di immagini. Rispetto al SAM2 originale, SAM2DynamicInteractivePredictor ricostruisce il flusso di inferenza per sfruttare al meglio i modelli SAM2 pre-addestrati senza richiedere un addestramento aggiuntivo.

Caratteristiche principali#

Offre tre miglioramenti significativi:

1. Interattivo Dinamico: Aggiungi nuovi prompt per unire/tracciare nuove istanze nei fotogrammi successivi in qualsiasi momento durante l'elaborazione video
2. Apprendimento Continuo: Aggiungi nuovi prompt per istanze esistenti per migliorare le prestazioni del modello nel tempo
3. Supporto Multi-Immagine Indipendente: Elabora più immagini indipendenti (non necessariamente da una sequenza video) con condivisione della memoria e tracciamento degli oggetti tra immagini

Funzionalità Principali#

• Flessibilità dei Prompt: Accetta riquadri di delimitazione, punti e maschere come prompt
• Gestione della Banca di Memoria: Mantiene una banca di memoria dinamica per memorizzare gli stati degli oggetti tra i fotogrammi
• Tracciamento Multi-Oggetto: Supporta il tracciamento di più oggetti contemporaneamente con ID di oggetti individuali
• Aggiornamenti in tempo reale: consente di aggiungere nuovi prompt durante l'inferenza senza rielaborare i fotogrammi precedenti
• Elaborazione di immagini indipendenti: elabora immagini singole con un contesto di memoria condiviso per la coerenza degli oggetti tra le immagini

from ultralytics.models.sam import SAM2DynamicInteractivePredictor

# Create SAM2DynamicInteractivePredictor
overrides = {"conf": 0.01, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "sam2_t.pt", "save": False}
predictor = SAM2DynamicInteractivePredictor(overrides=overrides, max_obj_num=10)

# Define a category by box prompt
predictor(source="image1.jpg", bboxes=[[100, 100, 200, 200]], obj_ids=[0], update_memory=True)

# Detect this particular object in a new image
results = predictor(source="image2.jpg")

# Add new category with a new object ID
results = predictor(
    source="image4.jpg",
    bboxes=[[300, 300, 400, 400]],  # New object
    obj_ids=[1],  # New object ID
    update_memory=True,  # Add to memory
)
# Perform inference
results = predictor(source="image5.jpg")

# Add refinement prompts to the same category to boost performance
# This helps when object appearance changes significantly
results = predictor(
    source="image6.jpg",
    points=[[150, 150]],  # Refinement point
    labels=[1],  # Positive point
    obj_ids=[1],  # Same object ID
    update_memory=True,  # Update memory with new information
)
# Perform inference on new image
results = predictor(source="image7.jpg")

Argomenti#

Casi d'uso#

SAM2DynamicInteractivePredictor è ideale per:

• Flussi di lavoro di annotazione video in cui compaiono nuovi oggetti durante la sequenza
• Modifica video interattiva che richiede l'aggiunta e il perfezionamento degli oggetti in tempo reale
• Applicazioni di videosorveglianza con esigenze di tracciamento dinamico degli oggetti
• Imaging medico per il tracciamento di strutture anatomiche in serie temporali
• Sistemi autonomi che richiedono rilevamento e tracciamento adattivi degli oggetti
• Dataset multi-immagine per una segmentazione coerente degli oggetti su immagini indipendenti
• Analisi di collezioni di immagini in cui gli oggetti devono essere tracciati attraverso scene diverse
• Segmentazione cross-domain che sfrutta la memoria da diversi contesti di immagine
• Annotazione semi-automatica per la creazione efficiente di dataset con un intervento manuale minimo

Confronto SAM rispetto a YOLO#

Qui confrontiamo i modelli SAM 2 di Meta, inclusa la variante più piccola SAM2-t, con i modelli di segmentazione Ultralytics inclusi YOLO26n-seg:

Questo confronto dimostra le sostanziali differenze nelle dimensioni e nelle velocità dei modelli tra le varianti SAM e i modelli di segmentazione YOLO. Mentre SAM fornisce capacità di segmentazione automatica uniche, i modelli YOLO, in particolare YOLOv8n-seg, YOLO11n-seg e YOLO26n-seg, sono significativamente più piccoli, più veloci e più efficienti dal punto di vista computazionale.

Velocità SAM misurate con PyTorch, velocità YOLO misurate con ONNX Runtime. Test eseguiti su un Apple M4 Air del 2025 con 16GB di RAM utilizzando torch==2.10.0, ultralytics==8.4.31 e onnxruntime==1.24.4. Per riprodurre questo test:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True)
    model = YOLO(onnx_path)
    model(ASSETS)

Annotazione automatica: creazione efficiente di dataset#

L'annotazione automatica è una potente funzionalità di SAM 2 che consente agli utenti di generare dataset di segmentazione in modo rapido e accurato sfruttando modelli preaddestrati. Questa capacità è particolarmente utile per creare dataset ampi e di alta qualità senza un eccessivo sforzo manuale.

Come eseguire l'annotazione automatica con SAM 2#

Per annotare automaticamente il tuo dataset utilizzando SAM 2, segui questo esempio:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="sam2_b.pt")

Questa funzione facilita la rapida creazione di dataset di segmentazione di alta qualità, ideali per ricercatori e sviluppatori che mirano ad accelerare i propri progetti.

Limitazioni#

Nonostante i suoi punti di forza, SAM 2 presenta alcune limitazioni:

• Stabilità del tracciamento: SAM 2 potrebbe perdere traccia degli oggetti durante sequenze prolungate o significativi cambi di punto di vista.
• Confusione tra oggetti: a volte il modello può confondere oggetti simili tra loro, in particolare in scene affollate.
• Efficienza con più oggetti: l'efficienza della segmentazione diminuisce quando si elaborano più oggetti contemporaneamente a causa della mancanza di comunicazione tra gli oggetti.
• Accuratezza dei dettagli: potrebbe tralasciare dettagli fini, soprattutto con oggetti in rapido movimento. Prompt aggiuntivi possono risolvere parzialmente questo problema, ma la continuità temporale non è garantita.

Citazioni e riconoscimenti#

Se SAM 2 rappresenta una parte fondamentale della tua ricerca o del tuo lavoro di sviluppo, si prega di citarlo utilizzando il seguente riferimento:

@article{ravi2024sam2,
  title={SAM 2: Segment Anything in Images and Videos},
  author={Ravi, Nikhila and Gabeur, Valentin and Hu, Yuan-Ting and Hu, Ronghang and Ryali, Chaitanya and Ma, Tengyu and Khedr, Haitham and R{\"a}dle, Roman and Rolland, Chloe and Gustafson, Laura and Mintun, Eric and Pan, Junting and Alwala, Kalyan Vasudev and Carion, Nicolas and Wu, Chao-Yuan and Girshick, Ross and Doll{\'a}r, Piotr and Feichtenhofer, Christoph},
  journal={arXiv preprint},
  year={2024}
}

Esprimiamo la nostra gratitudine a Meta AI per i loro contributi alla community dell'IA con questo modello e dataset rivoluzionari.

FAQ#

Che cos'è SAM 2 e in che modo migliora il modello originale Segment Anything Model (SAM)?#

SAM 2, il successore del Segment Anything Model (SAM) di Meta, è uno strumento all'avanguardia progettato per la segmentazione completa degli oggetti sia in immagini che in video. Eccelle nella gestione di dati visivi complessi attraverso un'architettura di modello unificata e basata su prompt che supporta l'elaborazione in tempo reale e la Generalizzazione Zero-Shot. SAM 2 offre diversi miglioramenti rispetto al SAM originale, tra cui:

• Architettura di modello unificata: combina le funzionalità di segmentazione di immagini e video in un unico modello.
• Prestazioni in tempo reale: elabora circa 44 fotogrammi al secondo, rendendolo adatto ad applicazioni che richiedono un feedback immediato.
• Generalizzazione Zero-Shot: segmenta oggetti che non ha mai incontrato prima, utile in diversi domini visivi.
• Perfezionamento interattivo: consente agli utenti di perfezionare in modo iterativo i risultati della segmentazione fornendo prompt aggiuntivi.
• Gestione avanzata delle sfide visive: gestisce le sfide comuni della segmentazione video come l'occlusione e la ricomparsa degli oggetti.

Per maggiori dettagli sull'architettura e sulle capacità di SAM 2, esplora il documento di ricerca su SAM 2.

Come posso usare SAM 2 per la segmentazione video in tempo reale?#

SAM 2 può essere utilizzato per la segmentazione video in tempo reale sfruttando la sua interfaccia basata su prompt e le capacità di inferenza in tempo reale. Ecco un esempio di base:

from ultralytics import SAM

# Load a model
model = SAM("sam2_b.pt")

# Display model information (optional)
model.info()

# Segment with bounding box prompt
results = model("path/to/image.jpg", bboxes=[100, 100, 200, 200])

# Segment with point prompt
results = model("path/to/image.jpg", points=[150, 150], labels=[1])

Per un utilizzo più completo, fai riferimento alla sezione Come usare SAM 2.

Quali dataset vengono utilizzati per addestrare SAM 2 e in che modo ne migliorano le prestazioni?#

SAM 2 è addestrato sul dataset SA-V, uno dei dataset di segmentazione video più grandi e diversificati disponibili. Il dataset SA-V include:

• Oltre 51.000 Video: Catturati in 47 paesi, offrendo un'ampia gamma di scenari del mondo reale.
• Oltre 600.000 Annotazioni di Maschere: Dettagliate annotazioni di maschere spazio-temporali, denominate "masklets", che coprono interi oggetti e parti.
• Dimensione del dataset: presenta 4,5 volte più video e 53 volte più annotazioni rispetto ai precedenti dataset più grandi, offrendo una diversità e una complessità senza precedenti.

Questo ampio dataset consente a SAM 2 di ottenere prestazioni superiori nei principali benchmark di segmentazione video e ne migliora le capacità di generalizzazione zero-shot. Per ulteriori informazioni, consulta la sezione Dataset SA-V.

In che modo SAM 2 gestisce le occlusioni e la ricomparsa degli oggetti nella segmentazione video?#

SAM 2 include un sofisticato meccanismo di memoria per gestire le dipendenze temporali e le occlusioni nei dati video. Il meccanismo di memoria è costituito da:

• Codificatore di memoria e banca di memoria: memorizza le caratteristiche dei fotogrammi passati.
• Modulo di attenzione della memoria: utilizza le informazioni memorizzate per mantenere un tracciamento coerente degli oggetti nel tempo.
• Testa di occlusione: gestisce specificamente gli scenari in cui gli oggetti non sono visibili, prevedendo la probabilità che un oggetto sia occluso.

Questo meccanismo garantisce la continuità anche quando gli oggetti sono temporaneamente oscurati o escono e rientrano nella scena. Per ulteriori dettagli, fai riferimento alla sezione Meccanismo di memoria e gestione delle occlusioni.

In che modo SAM 2 si confronta con altri modelli di segmentazione come YOLO26?#

I modelli SAM 2, come SAM2-t e SAM2-b di Meta, offrono potenti capacità di segmentazione zero-shot ma sono significativamente più grandi e più lenti rispetto ai modelli YOLO. Ad esempio, YOLO26n-seg è circa 24 volte più piccolo e oltre 1145 volte più veloce di SAM2-b su CPU. Sebbene SAM 2 eccelle in scenari di segmentazione versatili, basati su prompt e zero-shot, YOLO26 è ottimizzato per la velocità, l'efficienza e le applicazioni in tempo reale con inferenza end-to-end senza NMS, risultando più adatto per l'implementazione in ambienti con risorse limitate.