Fast Segment Anything Model (FastSAM)

El Fast Segment Anything Model (FastSAM) es una solución novedosa y en tiempo real basada en CNN para la tarea de segmentar cualquier cosa (Segment Anything). Esta tarea está diseñada para segmentar cualquier objeto dentro de una imagen basándose en varios posibles prompts de interacción del usuario. FastSAM reduce significativamente las exigencias computacionales mientras mantiene un rendimiento competitivo, lo que lo convierte en una opción práctica para una variedad de tareas de visión.

Arquitectura del modelo

Descripción general

FastSAM está diseñado para abordar las limitaciones del Segment Anything Model (SAM), un modelo pesado basado en Transformer con requisitos sustanciales de recursos computacionales. FastSAM desacopla la tarea de segmentar cualquier cosa en dos etapas secuenciales: segmentación de instancias completa y selección guiada por prompts. La primera etapa utiliza YOLOv8-seg para generar las máscaras de segmentación de todas las instancias en la imagen. En la segunda etapa, genera la región de interés correspondiente al prompt.

Características clave

1. Solución en tiempo real: Al aprovechar la eficiencia computacional de las CNN, FastSAM proporciona una solución en tiempo real para la tarea de segmentar cualquier cosa, lo que lo hace valioso para aplicaciones industriales que requieren resultados rápidos.

2. Eficiencia y rendimiento: FastSAM ofrece una reducción significativa en las exigencias computacionales y de recursos sin comprometer la calidad del rendimiento. Logra un rendimiento comparable al de SAM pero con recursos computacionales drásticamente reducidos, permitiendo su aplicación en tiempo real.

3. Segmentación guiada por prompts: FastSAM puede segmentar cualquier objeto dentro de una imagen guiado por varios posibles prompts de interacción del usuario, proporcionando flexibilidad y adaptabilidad en diferentes escenarios.

4. Basado en YOLOv8-seg: FastSAM se basa en YOLOv8-seg, un detector de objetos equipado con una rama de segmentación de instancias. Esto le permite producir eficazmente las máscaras de segmentación de todas las instancias en una imagen.

5. Resultados competitivos en benchmarks: En la tarea de propuesta de objetos en MS COCO, FastSAM logra puntuaciones altas a una velocidad significativamente más rápida que SAM en una única NVIDIA RTX 3090, demostrando su eficiencia y capacidad.

6. Aplicaciones prácticas: El enfoque propuesto proporciona una solución nueva y práctica para un gran número de tareas de visión a una velocidad realmente alta, decenas o cientos de veces más rápida que los métodos actuales.

7. Viabilidad de compresión de modelos: FastSAM demuestra la viabilidad de un camino que puede reducir significativamente el esfuerzo computacional al introducir un prior artificial en la estructura, abriendo así nuevas posibilidades para arquitecturas de modelos grandes para tareas de visión general.

Modelos disponibles, tareas admitidas y modos de funcionamiento

Esta tabla presenta los modelos disponibles con sus pesos preentrenados específicos, las tareas que admiten y su compatibilidad con diferentes modos de funcionamiento como Inferencia, Validación, Entrenamiento y Exportación, indicados con emojis ✅ para los modos compatibles y emojis ❌ para los no compatibles.

Comparativa de FastSAM frente a YOLO

Aquí comparamos los modelos SAM 2 de Meta, incluida la variante más pequeña SAM2-t, con los modelos de segmentación de Ultralytics, incluido YOLO26n-seg:

Esta comparación demuestra las diferencias sustanciales en los tamaños y velocidades de los modelos entre las variantes de SAM y los modelos de segmentación YOLO. Mientras que SAM ofrece capacidades únicas de segmentación automática, los modelos YOLO, particularmente YOLOv8n-seg, YOLO11n-seg y YOLO26n-seg, son significativamente más pequeños, más rápidos y más eficientes desde el punto de vista computacional.

Velocidades de SAM medidas con PyTorch, velocidades de YOLO medidas con ONNX Runtime. Pruebas realizadas en un Apple M4 Air de 2025 con 16GB de RAM usando torch==2.10.0, ultralytics==8.4.31 y onnxruntime==1.24.4. Para reproducir esta prueba:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True)
    model = YOLO(onnx_path)
    model(ASSETS)

Ejemplos de uso

Los modelos FastSAM son fáciles de integrar en tus aplicaciones de Python. Ultralytics proporciona una API de Python y comandos de CLI fáciles de usar para agilizar el desarrollo.

Uso de la predicción (Predict)

Para realizar detección de objetos en una imagen, utiliza el método predict como se muestra a continuación:

from ultralytics import FastSAM

# Define an inference source
source = "path/to/bus.jpg"

# Create a FastSAM model
model = FastSAM("FastSAM-s.pt")  # or FastSAM-x.pt

# Run inference on an image
everything_results = model(source, device="cpu", retina_masks=True, imgsz=1024, conf=0.4, iou=0.9)

# Run inference with bboxes prompt
results = model(source, bboxes=[439, 437, 524, 709])

# Run inference with points prompt
results = model(source, points=[[200, 200]], labels=[1])

# Run inference with texts prompt
results = model(source, texts="a photo of a dog")

# Run inference with bboxes and points and texts prompt at the same time
results = model(source, bboxes=[439, 437, 524, 709], points=[[200, 200]], labels=[1], texts="a photo of a dog")

Este fragmento demuestra la simplicidad de cargar un modelo preentrenado y ejecutar una predicción en una imagen.

from ultralytics.models.fastsam import FastSAMPredictor

# Create FastSAMPredictor
overrides = dict(conf=0.25, task="segment", mode="predict", model="FastSAM-s.pt", save=False, imgsz=1024)
predictor = FastSAMPredictor(overrides=overrides)

# Segment everything
everything_results = predictor("ultralytics/assets/bus.jpg")

# Prompt inference
bbox_results = predictor.prompt(everything_results, bboxes=[[200, 200, 300, 300]])
point_results = predictor.prompt(everything_results, points=[200, 200])
text_results = predictor.prompt(everything_results, texts="a photo of a dog")

Uso de validación (Val)

La validación del modelo en un conjunto de datos se puede realizar de la siguiente manera:

from ultralytics import FastSAM

# Create a FastSAM model
model = FastSAM("FastSAM-s.pt")  # or FastSAM-x.pt

# Validate the model
results = model.val(data="coco8-seg.yaml")

Ten en cuenta que FastSAM solo admite la detección y segmentación de una única clase de objeto. Esto significa que reconocerá y segmentará todos los objetos como la misma clase. Por lo tanto, al preparar el conjunto de datos, necesitas convertir todos los ID de categorías de objetos a 0.

Uso de seguimiento (Track)

Para realizar el seguimiento de objetos en una imagen, utiliza el método track como se muestra a continuación:

from ultralytics import FastSAM

# Create a FastSAM model
model = FastSAM("FastSAM-s.pt")  # or FastSAM-x.pt

# Track with a FastSAM model on a video
results = model.track(source="path/to/video.mp4", imgsz=640)

Uso oficial de FastSAM

FastSAM también está disponible directamente desde el repositorio https://github.com/CASIA-IVA-Lab/FastSAM. Aquí tienes una breve descripción general de los pasos típicos que podrías seguir para utilizar FastSAM:

Instalación

1. Clona el repositorio FastSAM:

   git clone https://github.com/CASIA-IVA-Lab/FastSAM.git

2. Crea y activa un entorno Conda con Python 3.9:

   conda create -n FastSAM python=3.9
   conda activate FastSAM

3. Navega al repositorio clonado e instala los paquetes requeridos:

   cd FastSAM
   pip install -r requirements.txt

4. Instala el modelo CLIP:

   pip install git+https://github.com/ultralytics/CLIP.git

Ejemplo de uso

1. Descarga un checkpoint del modelo.

2. Usa FastSAM para la inferencia. Comandos de ejemplo:

   • Segmenta todo en una imagen:

     python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg

   • Segmenta objetos específicos usando un prompt de texto:

     python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg --text_prompt "the yellow dog"

   • Segmenta objetos dentro de una bounding box (proporciona las coordenadas de la caja en formato xywh):

     python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg --box_prompt "[570,200,230,400]"

   • Segmenta objetos cerca de puntos específicos:

     python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg --point_prompt "[[520,360],[620,300]]" --point_label "[1,0]"

Adicionalmente, puedes probar FastSAM a través del Colab demo de CASIA-IVA-Lab.

Citas y reconocimientos

Nos gustaría reconocer a los autores de FastSAM por sus importantes contribuciones en el campo de la segmentación de instancias en tiempo real:

  @misc{zhao2023fast,
        title={Fast Segment Anything},
        author={Xu Zhao and Wenchao Ding and Yongqi An and Yinglong Du and Tao Yu and Min Li and Ming Tang and Jinqiao Wang},
        year={2023},
        eprint={2306.12156},
        archivePrefix={arXiv},
        primaryClass={cs.CV}
  }

El artículo original de FastSAM se puede encontrar en arXiv. Los autores han hecho público su trabajo, y el código se puede encontrar en GitHub. Agradecemos sus esfuerzos por avanzar en el campo y hacer que su trabajo sea accesible para la comunidad en general.

Preguntas frecuentes

¿Qué es FastSAM y en qué se diferencia de SAM?

FastSAM, abreviatura de Fast Segment Anything Model, es una solución basada en redes neuronales convolucionales (CNN) en tiempo real diseñada para reducir las exigencias computacionales mientras mantiene un alto rendimiento en tareas de segmentación de objetos. A diferencia del Segment Anything Model (SAM), que utiliza una arquitectura basada en Transformer más pesada, FastSAM aprovecha Ultralytics YOLOv8-seg para una segmentación de instancias eficiente en dos etapas: segmentación de todas las instancias seguida de una selección guiada por prompts.

¿Cómo logra FastSAM un rendimiento de segmentación en tiempo real?

FastSAM logra una segmentación en tiempo real al desacoplar la tarea de segmentación en segmentación de todas las instancias con YOLOv8-seg y etapas de selección guiada por prompts. Al utilizar la eficiencia computacional de las CNN, FastSAM ofrece reducciones significativas en las exigencias computacionales y de recursos mientras mantiene un rendimiento competitivo. Este enfoque de doble etapa permite a FastSAM ofrecer una segmentación rápida y eficiente adecuada para aplicaciones que requieren resultados rápidos.

¿Cuáles son las aplicaciones prácticas de FastSAM?

FastSAM es práctico para una variedad de tareas de visión por ordenador que requieren un rendimiento de segmentación en tiempo real. Las aplicaciones incluyen:

• Automatización industrial para control y aseguramiento de calidad
• Análisis de vídeo en tiempo real para seguridad y vigilancia
• Vehículos autónomos para detección y segmentación de objetos
• Imagen médica para tareas de segmentación precisas y rápidas

Su capacidad para manejar varios prompts de interacción del usuario hace que FastSAM sea adaptable y flexible para diversos escenarios.

¿Cómo utilizo el modelo FastSAM para inferencia en Python?

Para utilizar FastSAM para inferencia en Python, puedes seguir el ejemplo a continuación:

from ultralytics import FastSAM

# Define an inference source
source = "path/to/bus.jpg"

# Create a FastSAM model
model = FastSAM("FastSAM-s.pt")  # or FastSAM-x.pt

# Run inference on an image
everything_results = model(source, device="cpu", retina_masks=True, imgsz=1024, conf=0.4, iou=0.9)

# Run inference with bboxes prompt
results = model(source, bboxes=[439, 437, 524, 709])

# Run inference with points prompt
results = model(source, points=[[200, 200]], labels=[1])

# Run inference with texts prompt
results = model(source, texts="a photo of a dog")

# Run inference with bboxes and points and texts prompt at the same time
results = model(source, bboxes=[439, 437, 524, 709], points=[[200, 200]], labels=[1], texts="a photo of a dog")

Para más detalles sobre los métodos de inferencia, consulta la sección Uso de la predicción de la documentación.

¿Qué tipos de prompts admite FastSAM para las tareas de segmentación?

FastSAM admite múltiples tipos de prompts para guiar las tareas de segmentación:

• Everything Prompt (Prompt de todo): Genera la segmentación para todos los objetos visibles.
• Bounding Box (BBox) Prompt: Segmenta objetos dentro de una bounding box especificada.
• Text Prompt: Utiliza un texto descriptivo para segmentar objetos que coincidan con la descripción.
• Point Prompt: Segmenta objetos cerca de puntos específicos definidos por el usuario.

Esta flexibilidad permite que FastSAM se adapte a una amplia gama de escenarios de interacción del usuario, mejorando su utilidad en diferentes aplicaciones. Para obtener más información sobre el uso de estos prompts, consulta la sección Características clave.