Modelo de todo por segmentos rápidos (FastSAM)

El Modelo Rápido de Segmentar Cualquier Cosa (FastSAM) es una novedosa solución basada en CNN en tiempo real para la tarea Segmentar Cualquier Cosa. Esta tarea está diseñada para segmentar cualquier objeto dentro de una imagen basándose en varias posibles indicaciones de interacción del usuario. FastSAM reduce significativamente las demandas computacionales manteniendo un rendimiento competitivo, lo que lo convierte en una opción práctica para diversas tareas de visión.

Observa: Seguimiento de objetos mediante FastSAM con Ultralytics

Arquitectura Modelo

Visión general

FastSAM está diseñado para hacer frente a las limitaciones del Modelo Segmentar Cualquier Cosa (SAM), un pesado modelo Transformador con importantes requisitos de recursos computacionales. El FastSAM desacopla la tarea de segmentar cualquier cosa en dos etapas secuenciales: la segmentación de todas las instancias y la selección guiada por instrucciones. La primera etapa utiliza YOLOv8-seg para producir las máscaras de segmentación de todas las instancias de la imagen. En la segunda etapa, produce la región de interés correspondiente a la indicación.

Características principales

1. Solución en tiempo real: Al aprovechar la eficacia computacional de las CNN, FastSAM proporciona una solución en tiempo real para la tarea de segmentar cualquier cosa, lo que la hace valiosa para aplicaciones industriales que requieren resultados rápidos.

2. Eficacia y rendimiento: FastSAM ofrece una reducción significativa de las demandas computacionales y de recursos sin comprometer la calidad del rendimiento. Alcanza un rendimiento comparable al de SAM pero con unos recursos computacionales drásticamente reducidos, lo que permite una aplicación en tiempo real.

3. Segmentación guiada por indicaciones: FastSAM puede segmentar cualquier objeto dentro de una imagen guiada por varias indicaciones posibles de interacción con el usuario, lo que proporciona flexibilidad y adaptabilidad en diferentes escenarios.

4. Basado en YOLOv8 -seg: FastSAM se basa en YOLOv8-seg, un detector de objetos dotado de una rama de segmentación de instancias. Esto le permite producir eficazmente las máscaras de segmentación de todas las instancias de una imagen.

5. Resultados competitivos en pruebas comparativas: En la tarea de propuesta de objetos en MS COCO, FastSAM consigue puntuaciones altas a una velocidad significativamente mayor que SAM en un único NVIDIA RTX 3090, lo que demuestra su eficacia y capacidad.

6. Aplicaciones prácticas: El enfoque propuesto proporciona una solución nueva y práctica para un gran número de tareas de visión a una velocidad realmente alta, decenas o cientos de veces más rápida que los métodos actuales.

7. Viabilidad de la compresión de modelos: FastSAM demuestra la viabilidad de una vía que puede reducir significativamente el esfuerzo computacional introduciendo un previo artificial en la estructura, abriendo así nuevas posibilidades para la arquitectura de modelos grandes para tareas de visión general.

Modelos disponibles, tareas admitidas y modos de funcionamiento

Esta tabla presenta los modelos disponibles con sus pesos específicos preentrenados, las tareas que admiten y su compatibilidad con distintos modos de funcionamiento como Inferencia, Validación, Entrenamiento y Exportación, indicados con ✅ emojis para los modos admitidos y ❌ emojis para los modos no admitidos.

Ejemplos de uso

Los modelos FastSAM son fáciles de integrar en tus aplicaciones Python . Ultralytics proporciona una API Python y comandos CLI fáciles de usar para agilizar el desarrollo.

Predecir el uso

Para realizar la detección de objetos en una imagen, utiliza la función predict como se muestra a continuación:

from ultralytics import FastSAM
from ultralytics.models.fastsam import FastSAMPrompt

# Define an inference source
source = "path/to/bus.jpg"

# Create a FastSAM model
model = FastSAM("FastSAM-s.pt")  # or FastSAM-x.pt

# Run inference on an image
everything_results = model(source, device="cpu", retina_masks=True, imgsz=1024, conf=0.4, iou=0.9)

# Prepare a Prompt Process object
prompt_process = FastSAMPrompt(source, everything_results, device="cpu")

# Everything prompt
results = prompt_process.everything_prompt()

# Bbox default shape [0,0,0,0] -> [x1,y1,x2,y2]
results = prompt_process.box_prompt(bbox=[200, 200, 300, 300])

# Text prompt
results = prompt_process.text_prompt(text="a photo of a dog")

# Point prompt
# points default [[0,0]] [[x1,y1],[x2,y2]]
# point_label default [0] [1,0] 0:background, 1:foreground
results = prompt_process.point_prompt(points=[[200, 200]], pointlabel=[1])
prompt_process.plot(annotations=results, output="./")

# Load a FastSAM model and segment everything with it
yolo segment predict model=FastSAM-s.pt source=path/to/bus.jpg imgsz=640

Este fragmento demuestra la sencillez de cargar un modelo preentrenado y ejecutar una predicción sobre una imagen.

Uso de Val

La validación del modelo en un conjunto de datos puede hacerse del siguiente modo:

from ultralytics import FastSAM

# Create a FastSAM model
model = FastSAM("FastSAM-s.pt")  # or FastSAM-x.pt

# Validate the model
results = model.val(data="coco8-seg.yaml")

# Load a FastSAM model and validate it on the COCO8 example dataset at image size 640
yolo segment val model=FastSAM-s.pt data=coco8.yaml imgsz=640

Ten en cuenta que FastSAM sólo admite la detección y segmentación de una única clase de objetos. Esto significa que reconocerá y segmentará todos los objetos como de la misma clase. Por tanto, al preparar el conjunto de datos, debes convertir todos los ID de categoría de objeto a 0.

Uso de la pista

Para realizar el seguimiento de objetos en una imagen, utiliza la función track como se muestra a continuación:

from ultralytics import FastSAM

# Create a FastSAM model
model = FastSAM("FastSAM-s.pt")  # or FastSAM-x.pt

# Track with a FastSAM model on a video
results = model.track(source="path/to/video.mp4", imgsz=640)

yolo segment track model=FastSAM-s.pt source="path/to/video/file.mp4" imgsz=640

FastSAM Uso oficial

FastSAM también está disponible directamente en el repositorio https://github.com/CASIA-IVA-Lab/FastSAM. He aquí un breve resumen de los pasos típicos que puedes dar para utilizar FastSAM:

Instalación

1. Clona el repositorio FastSAM :

   git clone https://github.com/CASIA-IVA-Lab/FastSAM.git
   

2. Crea y activa un entorno Conda con Python 3.9:

   conda create -n FastSAM python=3.9
   conda activate FastSAM
   

3. Navega hasta el repositorio clonado e instala los paquetes necesarios:

   cd FastSAM
   pip install -r requirements.txt
   

4. Instala el modelo CLIP:

   pip install git+https://github.com/ultralytics/CLIP.git
   

Ejemplo de uso

1. Descarga un modelo de punto de control.

2. Utiliza FastSAM para hacer inferencias. Comandos de ejemplo:

   • Segmenta todo en una imagen:

     python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg
     

   • Segmenta objetos concretos utilizando la indicación de texto:

     python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg --text_prompt "the yellow dog"
     

   • Segmenta objetos dentro de una caja delimitadora (proporciona las coordenadas de la caja en formato xywh):

     python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg --box_prompt "[570,200,230,400]"
     

   • Segmenta objetos cercanos a puntos concretos:

     python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg --point_prompt "[[520,360],[620,300]]" --point_label "[1,0]"
     

Además, puedes probar FastSAM a través de una demo de Colab o en la demo webHuggingFace para tener una experiencia visual.

Citas y agradecimientos

Nos gustaría agradecer a los autores de FastSAM sus importantes contribuciones en el campo de la segmentación de instancias en tiempo real:

@misc{zhao2023fast,
      title={Fast Segment Anything},
      author={Xu Zhao and Wenchao Ding and Yongqi An and Yinglong Du and Tao Yu and Min Li and Ming Tang and Jinqiao Wang},
      year={2023},
      eprint={2306.12156},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

El artículo original FastSAM puede consultarse en arXiv. Los autores han puesto su trabajo a disposición del público, y se puede acceder al código base en GitHub. Agradecemos sus esfuerzos por hacer avanzar el campo y poner su trabajo a disposición de la comunidad en general.

PREGUNTAS FRECUENTES

¿Qué es FastSAM y en qué se diferencia de SAM?

FastSAMes una solución basada en una red neuronal convolucional (CNN) en tiempo real, diseñada para reducir las demandas computacionales, manteniendo al mismo tiempo un alto rendimiento en las tareas de segmentación de objetos. A diferencia del Segment Anything Model (SAM), que utiliza una arquitectura más pesada basada en Transformadores, FastSAM aprovecha Ultralytics YOLOv8 -seg para una segmentación de instancias eficiente en dos etapas: segmentación de todas las instancias seguida de una selección guiada por indicaciones.

¿Cómo consigue FastSAM un rendimiento de segmentación en tiempo real?

FastSAM consigue la segmentación en tiempo real desacoplando la tarea de segmentación en la segmentación de toda la instancia con YOLOv8-seg y etapas de selección guiadas por el indicador. Al utilizar la eficiencia computacional de las CNN, FastSAM ofrece reducciones significativas en las demandas computacionales y de recursos, manteniendo un rendimiento competitivo. Este enfoque de doble etapa permite a FastSAM ofrecer una segmentación rápida y eficaz, adecuada para aplicaciones que requieren resultados rápidos.

¿Cuáles son las aplicaciones prácticas de FastSAM?

FastSAM es práctico para diversas tareas de visión por ordenador que requieren un rendimiento de segmentación en tiempo real. Entre sus aplicaciones se incluyen:

• Automatización industrial para el control y la garantía de calidad
• Análisis de vídeo en tiempo real para seguridad y vigilancia
• Vehículos autónomos para la detección y segmentación de objetos
• Imágenes médicas para tareas de segmentación precisas y rápidas

Su capacidad para manejar diversas indicaciones de interacción con el usuario hace que FastSAM sea adaptable y flexible para diversos escenarios.

¿Cómo utilizo el modelo FastSAM para la inferencia en Python?

Para utilizar FastSAM para la inferencia en Python, puedes seguir el siguiente ejemplo:

from ultralytics import FastSAM
from ultralytics.models.fastsam import FastSAMPrompt

# Define an inference source
source = "path/to/bus.jpg"

# Create a FastSAM model
model = FastSAM("FastSAM-s.pt")  # or FastSAM-x.pt

# Run inference on an image
everything_results = model(source, device="cpu", retina_masks=True, imgsz=1024, conf=0.4, iou=0.9)

# Prepare a Prompt Process object
prompt_process = FastSAMPrompt(source, everything_results, device="cpu")

# Everything prompt
ann = prompt_process.everything_prompt()

# Bounding box prompt
ann = prompt_process.box_prompt(bbox=[200, 200, 300, 300])

# Text prompt
ann = prompt_process.text_prompt(text="a photo of a dog")

# Point prompt
ann = prompt_process.point_prompt(points=[[200, 200]], pointlabel=[1])
prompt_process.plot(annotations=ann, output="./")

Para más detalles sobre los métodos de inferencia, consulta la sección Predecir uso de la documentación.

¿Qué tipos de indicaciones admite FastSAM para las tareas de segmentación?

FastSAM admite varios tipos de indicaciones para guiar las tareas de segmentación:

• Todo a la vista: Genera la segmentación de todos los objetos visibles.
• Pregunta de caja delimitadora (BBox): Segmenta objetos dentro de un cuadro delimitador especificado.
• Indicación de texto: Utiliza un texto descriptivo para segmentar los objetos que coincidan con la descripción.
• Indicación de punto: Segmenta objetos cercanos a puntos específicos definidos por el usuario.

Esta flexibilidad permite a FastSAM adaptarse a una amplia gama de escenarios de interacción con el usuario, mejorando su utilidad en diferentes aplicaciones. Para más información sobre el uso de estos avisos, consulta la sección Características principales.

Comentarios