Modello Fast Segment Anything (FastSAM)#

Il modello Fast Segment Anything (FastSAM) è una nuova soluzione in tempo reale basata su CNN per il task Segment Anything. Questo task è progettato per segmentare qualsiasi oggetto all'interno di un'immagine in base a diversi possibili prompt di interazione forniti dall'utente. FastSAM riduce notevolmente il fabbisogno computazionale mantenendo prestazioni competitive, il che lo rende una scelta pratica per varie attività di visione artificiale.

Architettura del modello#

Panoramica#

FastSAM è progettato per superare i limiti del modello Segment Anything (SAM), un modello Transformer pesante che richiede notevoli risorse computazionali. FastSAM suddivide il task Segment Anything in due fasi sequenziali: segmentazione di tutte le istanze e selezione guidata da prompt. Nella prima fase usa YOLOv8-seg per generare le maschere di segmentazione di tutte le istanze presenti nell'immagine. Nella seconda fase restituisce la regione di interesse corrispondente al prompt.

Funzionalità principali#

1. Soluzione in tempo reale: sfruttando l'efficienza computazionale delle CNN, FastSAM offre una soluzione in tempo reale per il task Segment Anything, risultando utile nelle applicazioni industriali che richiedono risultati rapidi.

2. Efficienza e prestazioni: FastSAM riduce significativamente il fabbisogno computazionale e di risorse senza compromettere la qualità delle prestazioni. Offre prestazioni paragonabili a SAM, ma con risorse computazionali drasticamente ridotte, consentendo applicazioni in tempo reale.

3. Segmentazione guidata da prompt: FastSAM può segmentare qualsiasi oggetto all'interno di un'immagine usando diversi possibili prompt di interazione forniti dall'utente, offrendo flessibilità e adattabilità in scenari diversi.

4. Basato su YOLOv8-seg: FastSAM si basa su YOLOv8-seg, un rilevatore di oggetti dotato di un ramo per la segmentazione delle istanze. Questo gli consente di generare efficacemente le maschere di segmentazione di tutte le istanze presenti in un'immagine.

5. Risultati competitivi sui benchmark: nel task di proposta di oggetti su MS COCO, FastSAM ottiene punteggi elevati a una velocità significativamente superiore rispetto a SAM su una singola NVIDIA RTX 3090, dimostrando efficienza e capacità.

6. Applicazioni pratiche: l'approccio proposto offre una nuova soluzione pratica per numerose attività di visione artificiale a velocità molto elevata, da decine a centinaia di volte superiore rispetto ai metodi attuali.

7. Fattibilità della compressione del modello: FastSAM dimostra la fattibilità di un approccio in grado di ridurre significativamente il carico computazionale introducendo un prior artificiale nella struttura e aprendo così nuove possibilità per le architetture di modelli di grandi dimensioni dedicate alle attività generali di visione artificiale.

Modelli disponibili, attività supportate e modalità operative#

Questa tabella presenta i modelli disponibili con i rispettivi pesi preaddestrati, le attività supportate e la compatibilità con le diverse modalità operative, come Inferenza, Validazione, Addestramento ed Esportazione. Le emoji ✅ indicano le modalità supportate e le emoji ❌ quelle non supportate.

Confronto tra FastSAM e YOLO#

Qui confrontiamo FastSAM-s con le varianti SAM di Meta e i modelli di segmentazione Ultralytics, tra cui YOLO26n-seg:

Questo confronto evidenzia le notevoli differenze nelle dimensioni e nella velocità dei modelli tra le varianti SAM e i modelli di segmentazione YOLO. Sebbene SAM offra capacità uniche di segmentazione automatica, i modelli YOLO, in particolare YOLOv8n-seg, YOLO11n-seg e YOLO26n-seg, sono significativamente più piccoli, più veloci e più efficienti dal punto di vista computazionale.

Le velocità di SAM sono state misurate con PyTorch, quelle di YOLO con ONNX Runtime. I test sono stati eseguiti su un Apple M4 Air del 2025 con 16 GB di RAM usando torch==2.10.0, ultralytics==8.4.31 e onnxruntime==1.24.4. Per riprodurre questo test:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profila SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profilo FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profila i modelli YOLO (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True, nms=False)  # Head senza NMS di YOLO26; non fa nulla per YOLOv8/YOLO11
    model = YOLO(onnx_path)
    model(ASSETS)

Esempi d'uso#

I modelli FastSAM sono facili da integrare nelle tue applicazioni Python. Ultralytics offre un'API Python intuitiva e comandi CLI per semplificare lo sviluppo.

Uso di predict#

Per segmentare un'immagine, usa il metodo predict come mostrato di seguito:

from ultralytics import FastSAM

# Definisci una sorgente di inferenza
source = "path/to/bus.jpg"

# Crea un modello FastSAM
model = FastSAM("FastSAM-s.pt")  # oppure FastSAM-x.pt

# Esegui l'inferenza su un'immagine
everything_results = model(source, device="cpu", retina_masks=True, imgsz=1024, conf=0.4, iou=0.9)

# Esegui l'inferenza con il prompt dei riquadri di delimitazione
results = model(source, bboxes=[439, 437, 524, 709])

# Esegui l'inferenza con un prompt basato su punti
results = model(source, points=[[200, 200]], labels=[1])

# Esegui l'inferenza con prompt testuali
results = model(source, texts="a photo of a dog")

# Esegui contemporaneamente l'inferenza con bbox, punti e prompt testuali
results = model(source, bboxes=[439, 437, 524, 709], points=[[200, 200]], labels=[1], texts="a photo of a dog")

Questo frammento di codice mostra quanto sia semplice caricare un modello preaddestrato ed eseguire una previsione su un'immagine.

from ultralytics.models.fastsam import FastSAMPredictor

# Crea FastSAMPredictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "FastSAM-s.pt", "save": False, "imgsz": 1024}
predictor = FastSAMPredictor(overrides=overrides)

# Segmenta tutto
everything_results = predictor("ultralytics/assets/bus.jpg")

# Inferenza con prompt
bbox_results = predictor.prompt(everything_results, bboxes=[[200, 200, 300, 300]])
point_results = predictor.prompt(everything_results, points=[200, 200])
text_results = predictor.prompt(everything_results, texts="a photo of a dog")

Uso di val#

Tieni presente che FastSAM supporta solo il rilevamento e la segmentazione di una singola classe di oggetti. Ciò significa che riconoscerà e segmenterà tutti gli oggetti come appartenenti alla stessa classe. Pertanto, quando prepari il dataset, devi convertire tutti gli ID delle categorie degli oggetti in 0.

La convalida del modello su un dataset può essere eseguita come segue:

from ultralytics import FastSAM

# Crea un modello FastSAM
model = FastSAM("FastSAM-s.pt")  # oppure FastSAM-x.pt

# Convalida il modello
results = model.val(data="coco8-seg.yaml")

Tracciamento#

Per eseguire il tracciamento degli oggetti in un'immagine, usa il metodo track come mostrato di seguito:

from ultralytics import FastSAM

# Crea un modello FastSAM
model = FastSAM("FastSAM-s.pt")  # oppure FastSAM-x.pt

# Traccia con un modello FastSAM su un video
results = model.track(source="path/to/video.mp4", imgsz=640)

Uso ufficiale di FastSAM#

FastSAM è disponibile anche direttamente dal repository CASIA-LMC-Lab/FastSAM. Ecco una breve panoramica dei passaggi tipici da seguire per usare FastSAM:

Installazione#

1. Clona il repository FastSAM:

   git clone https://github.com/CASIA-LMC-Lab/FastSAM.git

2. Crea e attiva un ambiente Conda con Python 3.9:

   conda create -n FastSAM python=3.9
   conda activate FastSAM

3. Accedi al repository clonato e installa i pacchetti richiesti:

   cd FastSAM
   pip install -r requirements.txt

4. Installa il modello CLIP:

   pip install git+https://github.com/ultralytics/CLIP.git

Esempio d'uso#

1. Scarica un checkpoint del modello.

2. Usa FastSAM per l'inferenza. Esempi di comandi:

   • Segmenta tutti gli oggetti in un'immagine:

     python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg

   • Segmenta oggetti specifici usando un prompt testuale:

     python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg --text_prompt "the yellow dog"

   • Segmenta gli oggetti all'interno di un riquadro di delimitazione (fornisci le coordinate del riquadro in formato xywh):

     python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg --box_prompt "[570,200,230,400]"

   • Segmenta gli oggetti in prossimità di punti specifici:

     python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg --point_prompt "[[520,360],[620,300]]" --point_label "[1,0]"

Inoltre, puoi provare FastSAM tramite la demo Colab di CASIA-LMC-Lab.

Citazioni e ringraziamenti#

Desideriamo ringraziare gli autori di FastSAM per il loro significativo contributo nel campo della segmentazione di istanze in tempo reale:

@misc{zhao2023fast,
      title={Fast Segment Anything},
      author={Xu Zhao and Wenchao Ding and Yongqi An and Yinglong Du and Tao Yu and Min Li and Ming Tang and Jinqiao Wang},
      year={2023},
      eprint={2306.12156},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

L'articolo originale su FastSAM è disponibile su arXiv. Gli autori hanno reso il loro lavoro disponibile al pubblico e il codice sorgente è accessibile su GitHub. Apprezziamo il loro impegno nel far progredire il settore e nel rendere il loro lavoro accessibile alla comunità più ampia.

Domande frequenti#