Ultralytics Documentos: Utilizar YOLOv8 con SAHI para la inferencia en rodajas

Bienvenido a la documentación de Ultralytics sobre cómo utilizar YOLOv8 con SAHI (Slicing Aided Hyper Inference). Esta completa guía pretende proporcionarte todos los conocimientos esenciales que necesitarás para aplicar SAHI junto con YOLOv8. Profundizaremos en qué es SAHI, por qué la inferencia en rodajas es fundamental para las aplicaciones a gran escala, y cómo integrar estas funcionalidades con YOLOv8 para mejorar el rendimiento de la detección de objetos.

Introducción a SAHI

SAHI (Slicing Aided Hyper Inference) es una innovadora biblioteca diseñada para optimizar los algoritmos de detección de objetos en imágenes a gran escala y de alta resolución. Su función principal consiste en dividir las imágenes en fragmentos manejables, ejecutar la detección de objetos en cada fragmento y, a continuación, unir los resultados. SAHI es compatible con una serie de modelos de detección de objetos, incluida la serie YOLO , por lo que ofrece flexibilidad al tiempo que garantiza un uso optimizado de los recursos informáticos.

Características principales de SAHI

• Integración sin fisuras: SAHI se integra sin esfuerzo con los modelos de YOLO , lo que significa que puedes empezar a cortar y detectar sin necesidad de modificar mucho el código.
• Eficiencia de recursos: Al dividir las imágenes grandes en partes más pequeñas, SAHI optimiza el uso de la memoria, lo que te permite ejecutar una detección de alta calidad en hardware con recursos limitados.
• Alta precisión: SAHI mantiene la precisión de detección empleando algoritmos inteligentes para fusionar los cuadros de detección superpuestos durante el proceso de cosido.

¿Qué es la inferencia en rodajas?

La Inferencia por Cortes se refiere a la práctica de subdividir una imagen grande o de alta resolución en segmentos más pequeños (cortes), realizar la detección de objetos en estos cortes y, a continuación, recompilar los cortes para reconstruir las ubicaciones de los objetos en la imagen original. Esta técnica es inestimable en situaciones en las que los recursos informáticos son limitados o cuando se trabaja con imágenes de muy alta resolución que, de otro modo, podrían provocar problemas de memoria.

Ventajas de la inferencia en rodajas

• Carga computacional reducida: Los cortes de imagen más pequeños son más rápidos de procesar y consumen menos memoria, lo que permite un funcionamiento más fluido en hardware de gama baja.

• Calidad de detección preservada: Como cada corte se trata de forma independiente, no se reduce la calidad de la detección de objetos, siempre que los cortes sean lo bastante grandes para captar los objetos de interés.

• Escalabilidad mejorada: La técnica permite escalar más fácilmente la detección de objetos en diferentes tamaños y resoluciones de imágenes, lo que la hace ideal para una amplia gama de aplicaciones, desde las imágenes de satélite hasta el diagnóstico médico.

YOLOv8 sin SAHI	YOLOv8 con SAHI

Instalación y preparación

Instalación

Para empezar, instala las últimas versiones de SAHI y Ultralytics:

pip install -U ultralytics sahi

Importar módulos y descargar recursos

A continuación te explicamos cómo importar los módulos necesarios y descargar un modelo de YOLOv8 y algunas imágenes de prueba:

from sahi.utils.yolov8 import download_yolov8s_model
from sahi import AutoDetectionModel
from sahi.utils.cv import read_image
from sahi.utils.file import download_from_url
from sahi.predict import get_prediction, get_sliced_prediction, predict
from pathlib import Path
from IPython.display import Image

# Download YOLOv8 model
yolov8_model_path = "models/yolov8s.pt"
download_yolov8s_model(yolov8_model_path)

# Download test images
download_from_url('https://raw.githubusercontent.com/obss/sahi/main/demo/demo_data/small-vehicles1.jpeg', 'demo_data/small-vehicles1.jpeg')
download_from_url('https://raw.githubusercontent.com/obss/sahi/main/demo/demo_data/terrain2.png', 'demo_data/terrain2.png')

Inferencia estándar con YOLOv8

Instanciar el modelo

Puedes instanciar un modelo YOLOv8 para la detección de objetos de esta forma:

detection_model = AutoDetectionModel.from_pretrained(
    model_type='yolov8',
    model_path=yolov8_model_path,
    confidence_threshold=0.3,
    device="cpu",  # or 'cuda:0'
)

Realiza una predicción estándar

Realiza una inferencia estándar utilizando una ruta de imagen o una imagen numpy.

# With an image path
result = get_prediction("demo_data/small-vehicles1.jpeg", detection_model)

# With a numpy image
result = get_prediction(read_image("demo_data/small-vehicles1.jpeg"), detection_model)

Visualiza los resultados

Exporta y visualiza los recuadros delimitadores y las máscaras predichas:

result.export_visuals(export_dir="demo_data/")
Image("demo_data/prediction_visual.png")

Inferencia en rodajas con YOLOv8

Realiza la inferencia en rodajas especificando las dimensiones de las rodajas y las relaciones de solapamiento:

result = get_sliced_prediction(
    "demo_data/small-vehicles1.jpeg",
    detection_model,
    slice_height=256,
    slice_width=256,
    overlap_height_ratio=0.2,
    overlap_width_ratio=0.2
)

Manejo de los resultados de la predicción

SAHI proporciona un PredictionResult que puede convertirse en varios formatos de anotación:

# Access the object prediction list
object_prediction_list = result.object_prediction_list

# Convert to COCO annotation, COCO prediction, imantics, and fiftyone formats
result.to_coco_annotations()[:3]
result.to_coco_predictions(image_id=1)[:3]
result.to_imantics_annotations()[:3]
result.to_fiftyone_detections()[:3]

Predicción por lotes

Para la predicción por lotes en un directorio de imágenes:

predict(
    model_type="yolov8",
    model_path="path/to/yolov8n.pt",
    model_device="cpu",  # or 'cuda:0'
    model_confidence_threshold=0.4,
    source="path/to/dir",
    slice_height=256,
    slice_width=256,
    overlap_height_ratio=0.2,
    overlap_width_ratio=0.2,
)

Ya está. Ahora estás equipado para utilizar YOLOv8 con SAHI tanto para la inferencia estándar como para la rebanada.

Citas y agradecimientos

Si utilizas SAHI en tu trabajo de investigación o desarrollo, cita el documento original de SAHI y da las gracias a los autores:

@article{akyon2022sahi,
  title={Slicing Aided Hyper Inference and Fine-tuning for Small Object Detection},
  author={Akyon, Fatih Cagatay and Altinuc, Sinan Onur and Temizel, Alptekin},
  journal={2022 IEEE International Conference on Image Processing (ICIP)},
  doi={10.1109/ICIP46576.2022.9897990},
  pages={966-970},
  year={2022}
}

Extendemos nuestro agradecimiento al grupo de investigación SAHI por crear y mantener este recurso inestimable para la comunidad de visión por ordenador. Para más información sobre SAHI y sus creadores, visita el repositorio SAHI GitHub.

Comentarios