Fast Segment Anything Model (FastSAM)#

El Fast Segment Anything Model (FastSAM) es una novedosa solución basada en CNN en tiempo real para la tarea de Segment Anything. Esta tarea está diseñada para segmentar cualquier objeto dentro de una imagen basándose en varios prompts de interacción de usuario posibles. FastSAM reduce significativamente las demandas computacionales mientras mantiene un rendimiento competitivo, convirtiéndolo en una opción práctica para una variedad de tareas de visión.

Arquitectura del modelo#

Descripción general#

FastSAM se ha diseñado para abordar las limitaciones del Segment Anything Model (SAM), un modelo Transformer pesado con unos requisitos de recursos computacionales sustanciales. FastSAM desacopla la tarea de segmentar cualquier cosa en dos etapas secuenciales: segmentación de instancias general y selección guiada por prompts. La primera etapa utiliza YOLOv8-seg para producir las máscaras de segmentación de todas las instancias de la imagen. En la segunda etapa, genera la región de interés correspondiente al prompt.

Características clave#

1. Solución en tiempo real: Al aprovechar la eficiencia computacional de las CNN, FastSAM proporciona una solución en tiempo real para la tarea de segmentar cualquier cosa, lo que lo hace valioso para aplicaciones industriales que requieren resultados rápidos.

2. Eficiencia y rendimiento: FastSAM ofrece una reducción significativa en las demandas de recursos y cómputo sin comprometer la calidad del rendimiento. Logra un rendimiento comparable al de SAM pero con recursos computacionales drásticamente reducidos, permitiendo una aplicación en tiempo real.

3. Segmentación guiada por prompts: FastSAM puede segmentar cualquier objeto dentro de una imagen guiado por varios prompts de interacción de usuario posibles, proporcionando flexibilidad y adaptabilidad en diferentes escenarios.

4. Basado en YOLOv8-seg: FastSAM se basa en YOLOv8-seg, un detector de objetos equipado con una rama de segmentación de instancias. Esto le permite generar eficazmente las máscaras de segmentación de todas las instancias en una imagen.

5. Resultados competitivos en benchmarks: En la tarea de propuesta de objetos en MS COCO, FastSAM alcanza puntuaciones altas a una velocidad significativamente mayor que SAM en una única GPU NVIDIA RTX 3090, lo que demuestra su eficiencia y capacidad.

6. Aplicaciones prácticas: El enfoque propuesto proporciona una solución nueva y práctica para un gran número de tareas de visión a una velocidad muy alta, decenas o cientos de veces más rápida que los métodos actuales.

7. Viabilidad de compresión de modelos: FastSAM demuestra la viabilidad de un camino que puede reducir significativamente el esfuerzo computacional al introducir un prior artificial a la estructura, abriendo así nuevas posibilidades para la arquitectura de modelos grandes para tareas de visión general.

Modelos disponibles, tareas compatibles y modos de funcionamiento#

Esta tabla presenta los modelos disponibles con sus pesos preentrenados específicos, las tareas que admiten y su compatibilidad con diferentes modos de funcionamiento como Inference, Validation, Training y Export, indicados mediante emojis ✅ para los modos compatibles y emojis ❌ para los no compatibles.

Comparación de FastSAM frente a YOLO#

Aquí comparamos los modelos SAM 2 de Meta, incluida la variante más pequeña SAM2-t, con los modelos de segmentación de Ultralytics, incluido YOLO26n-seg:

Esta comparativa demuestra las diferencias sustanciales en los tamaños y velocidades de los modelos entre las variantes de SAM y los modelos de segmentación YOLO. Mientras que SAM proporciona capacidades de segmentación automática únicas, los modelos YOLO, particularmente YOLOv8n-seg, YOLO11n-seg y YOLO26n-seg, son significativamente más pequeños, rápidos y computacionalmente eficientes.

Las velocidades de SAM se han medido con PyTorch y las de YOLO con ONNX Runtime. Pruebas ejecutadas en un Apple M4 Air de 2025 con 16 GB de RAM utilizando torch==2.10.0, ultralytics==8.4.31 y onnxruntime==1.24.4. Para reproducir esta prueba:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True)
    model = YOLO(onnx_path)
    model(ASSETS)

Ejemplos de uso#

Los modelos FastSAM son fáciles de integrar en tus aplicaciones de Python. Ultralytics proporciona una API de Python fácil de usar y comandos de CLI para agilizar el desarrollo.

Uso de Predict#

Para realizar object detection en una imagen, utiliza el método predict como se muestra a continuación:

from ultralytics import FastSAM

# Define an inference source
source = "path/to/bus.jpg"

# Create a FastSAM model
model = FastSAM("FastSAM-s.pt")  # or FastSAM-x.pt

# Run inference on an image
everything_results = model(source, device="cpu", retina_masks=True, imgsz=1024, conf=0.4, iou=0.9)

# Run inference with bboxes prompt
results = model(source, bboxes=[439, 437, 524, 709])

# Run inference with points prompt
results = model(source, points=[[200, 200]], labels=[1])

# Run inference with texts prompt
results = model(source, texts="a photo of a dog")

# Run inference with bboxes and points and texts prompt at the same time
results = model(source, bboxes=[439, 437, 524, 709], points=[[200, 200]], labels=[1], texts="a photo of a dog")

Este fragmento demuestra la simplicidad de cargar un modelo preentrenado y ejecutar una predicción en una imagen.

from ultralytics.models.fastsam import FastSAMPredictor

# Create FastSAMPredictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "FastSAM-s.pt", "save": False, "imgsz": 1024}
predictor = FastSAMPredictor(overrides=overrides)

# Segment everything
everything_results = predictor("ultralytics/assets/bus.jpg")

# Prompt inference
bbox_results = predictor.prompt(everything_results, bboxes=[[200, 200, 300, 300]])
point_results = predictor.prompt(everything_results, points=[200, 200])
text_results = predictor.prompt(everything_results, texts="a photo of a dog")

Uso de Val#

Ten en cuenta que FastSAM solo admite la detección y segmentación de una única clase de objeto. Esto significa que reconocerá y segmentará todos los objetos como la misma clase. Por lo tanto, al preparar el conjunto de datos, necesitas convertir todos los ID de categoría de objetos a 0.

La validación del modelo en un conjunto de datos se puede realizar de la siguiente manera:

from ultralytics import FastSAM

# Create a FastSAM model
model = FastSAM("FastSAM-s.pt")  # or FastSAM-x.pt

# Validate the model
results = model.val(data="coco8-seg.yaml")

Uso de Track#

Para realizar el seguimiento de objetos en una imagen, utiliza el método track como se muestra a continuación:

from ultralytics import FastSAM

# Create a FastSAM model
model = FastSAM("FastSAM-s.pt")  # or FastSAM-x.pt

# Track with a FastSAM model on a video
results = model.track(source="path/to/video.mp4", imgsz=640)

Uso oficial de FastSAM#

FastSAM también está disponible directamente en el repositorio https://github.com/CASIA-IVA-Lab/FastSAM. Aquí tienes un breve resumen de los pasos habituales que puedes seguir para utilizar FastSAM:

Instalación#

1. Clona el repositorio de FastSAM:

   git clone https://github.com/CASIA-IVA-Lab/FastSAM.git

2. Crea y activa un entorno de Conda con Python 3.9:

   conda create -n FastSAM python=3.9
   conda activate FastSAM

3. Navega al repositorio clonado e instala los paquetes necesarios:

   cd FastSAM
   pip install -r requirements.txt

4. Instala el modelo CLIP:

   pip install git+https://github.com/ultralytics/CLIP.git

Ejemplo de uso#

1. Descarga un model checkpoint.

2. Usa FastSAM para la inferencia. Comandos de ejemplo:

   • Segmenta todo en una imagen:

     python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg

   • Segmenta objetos específicos usando un prompt de texto:

     python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg --text_prompt "the yellow dog"

   • Segmenta objetos dentro de un bounding box (proporciona las coordenadas de la caja en formato xywh):

     python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg --box_prompt "[570,200,230,400]"

   • Segmenta objetos cerca de puntos específicos:

     python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg --point_prompt "[[520,360],[620,300]]" --point_label "[1,0]"

Además, puedes probar FastSAM a través de la Colab demo de CASIA-IVA-Lab.

Citas y agradecimientos#

Nos gustaría reconocer a los autores de FastSAM por sus importantes contribuciones en el campo de la segmentación de instancias en tiempo real:

  @misc{zhao2023fast,
        title={Fast Segment Anything},
        author={Xu Zhao and Wenchao Ding and Yongqi An and Yinglong Du and Tao Yu and Min Li and Ming Tang and Jinqiao Wang},
        year={2023},
        eprint={2306.12156},
        archivePrefix={arXiv},
        primaryClass={cs.CV}
  }

El artículo original de FastSAM se puede consultar en arXiv. Los autores han publicado su trabajo de forma abierta y el código fuente está disponible en GitHub. Agradecemos sus esfuerzos por hacer avanzar el campo y poner su trabajo a disposición de la comunidad.

FAQ#

¿Qué es FastSAM y en qué se diferencia de SAM?#

FastSAM, acrónimo de Fast Segment Anything Model, es una solución en tiempo real basada en convolutional neural network (CNN) diseñada para reducir las demandas computacionales manteniendo un alto rendimiento en tareas de segmentación de objetos. A diferencia del Segment Anything Model (SAM), que utiliza una arquitectura más pesada basada en Transformer, FastSAM aprovecha Ultralytics YOLOv8-seg para una segmentación de instancias eficiente en dos etapas: segmentación de todas las instancias seguida de una selección guiada por prompts.

¿Cómo logra FastSAM un rendimiento de segmentación en tiempo real?#

FastSAM logra la segmentación en tiempo real desacoplando la tarea de segmentación en segmentación de todas las instancias con YOLOv8-seg y etapas de selección guiada por prompts. Al utilizar la eficiencia computacional de las CNN, FastSAM ofrece reducciones significativas en las demandas de recursos y cómputo mientras mantiene un rendimiento competitivo. Este enfoque de doble etapa permite a FastSAM ofrecer una segmentación rápida y eficiente adecuada para aplicaciones que requieren resultados rápidos.

¿Cuáles son las aplicaciones prácticas de FastSAM?#

FastSAM es útil para una gran variedad de tareas de computer vision que requieren un rendimiento de segmentación en tiempo real. Las aplicaciones incluyen:

• Automatización industrial para control y aseguramiento de calidad
• Análisis de vídeo en tiempo real para seguridad y vigilancia
• Autonomous vehicles para la detección y segmentación de objetos
• Imágenes médicas para tareas de segmentación precisas y rápidas

Su capacidad para manejar varios prompts de interacción de usuario hace que FastSAM sea adaptable y flexible para diversos escenarios.

¿Cómo uso el modelo FastSAM para inferencia en Python?#

Para usar FastSAM para inferencia en Python, puedes seguir el ejemplo a continuación:

from ultralytics import FastSAM

# Define an inference source
source = "path/to/bus.jpg"

# Create a FastSAM model
model = FastSAM("FastSAM-s.pt")  # or FastSAM-x.pt

# Run inference on an image
everything_results = model(source, device="cpu", retina_masks=True, imgsz=1024, conf=0.4, iou=0.9)

# Run inference with bboxes prompt
results = model(source, bboxes=[439, 437, 524, 709])

# Run inference with points prompt
results = model(source, points=[[200, 200]], labels=[1])

# Run inference with texts prompt
results = model(source, texts="a photo of a dog")

# Run inference with bboxes and points and texts prompt at the same time
results = model(source, bboxes=[439, 437, 524, 709], points=[[200, 200]], labels=[1], texts="a photo of a dog")

Para obtener más detalles sobre los métodos de inferencia, consulta la sección Predict Usage de la documentación.

¿Qué tipos de prompts admite FastSAM para tareas de segmentación?#

FastSAM admite múltiples tipos de prompts para guiar las tareas de segmentación:

• Prompt de Todo: Genera segmentación para todos los objetos visibles.
• Prompt de Cuadro Delimitador (BBox): Segmenta objetos dentro de un cuadro delimitador especificado.
• Prompt de Texto: Utiliza un texto descriptivo para segmentar objetos que coincidan con la descripción.
• Prompt de Punto: Segmenta objetos cerca de puntos específicos definidos por el usuario.

Esta flexibilidad permite que FastSAM se adapte a una amplia gama de escenarios de interacción con el usuario, lo que mejora su utilidad en diferentes aplicaciones. Para obtener más información sobre el uso de estos prompts, consulta la sección Key Features.