Optimización de las inferencias de YOLOv8 con el motor DeepSparse de Neural Magic

Al desplegar modelos de detección de objetos como Ultralytics YOLOv8 en distintos equipos, puedes encontrarte con problemas específicos, como la optimización. Aquí es donde entra en juego la integración de YOLOv8con el motor DeepSparse de Neural Magic. Transforma la forma en que se ejecutan los modelos YOLOv8 y permite un rendimiento a nivel de GPU directamente en las CPU.

Esta guía te muestra cómo desplegar YOLOv8 utilizando Neural Magic's DeepSparse, cómo ejecutar inferencias y también cómo comparar el rendimiento para asegurarte de que está optimizado.

Neural MagicDeepSparse

Neural MagicDeepSparse es un tiempo de ejecución de inferencia diseñado para optimizar la ejecución de redes neuronales en CPU. Aplica técnicas avanzadas como la dispersión, la poda y la cuantización para reducir drásticamente las demandas computacionales, manteniendo la precisión. DeepSparse ofrece una solución ágil para la ejecución eficiente y escalable de redes neuronales en varios dispositivos.

Ventajas de integrar Neural Magic's DeepSparse con YOLOv8

Antes de sumergirnos en cómo desplegar YOLOV8 utilizando DeepSparse, vamos a entender las ventajas de utilizar DeepSparse. Algunas ventajas clave son:

• Velocidad de inferencia mejorada: Alcanza hasta 525 FPS (en YOLOv8n), acelerando significativamente la capacidad de inferencia de YOLOv8 en comparación con los métodos tradicionales.

• Eficiencia optimizada del modelo: Utiliza la poda y la cuantización para mejorar la eficacia de YOLOv8, reduciendo el tamaño del modelo y los requisitos computacionales, pero manteniendo la precisión.

• Alto rendimiento en CPU estándar: Ofrece un rendimiento similar al de la GPU en CPUs, proporcionando una opción más accesible y rentable para diversas aplicaciones.

• Integración y despliegue racionalizados: Ofrece herramientas fáciles de usar para integrar fácilmente YOLOv8 en las aplicaciones, incluidas las funciones de anotación de imágenes y vídeos.

• Compatibilidad con varios tipos de modelos: Compatible tanto con los modelos estándar como con los optimizados para la dispersión YOLOv8 , lo que añade flexibilidad de despliegue.

• Solución rentable y escalable: Reduce los gastos operativos y ofrece un despliegue escalable de modelos avanzados de detección de objetos.

¿Cómo funciona la tecnología DeepSparse de Neural Magic?

Neural Magicse inspira en la eficacia del cerebro humano en el cálculo de redes neuronales. Adopta dos principios clave del cerebro:

• Dispersión: El proceso de sparsificación consiste en podar la información redundante de las redes de aprendizaje profundo, lo que da lugar a modelos más pequeños y rápidos sin comprometer la precisión. Esta técnica reduce significativamente el tamaño de la red y sus necesidades computacionales.

• Localidad de referencia: DeepSparse utiliza un método de ejecución único, dividiendo la red en Tensor Columnas. Estas columnas se ejecutan en profundidad, encajando totalmente en la caché de la CPU. Este enfoque imita la eficiencia del cerebro, minimizando el movimiento de datos y maximizando el uso de la caché de la CPU.

Para más detalles sobre el funcionamiento de la tecnología DeepSparse de Neural Magic, consulta la entrada de su blog.

Crear una versión dispersa de YOLOv8 entrenada con un conjunto de datos personalizado

SparseZoo, un repositorio de modelos de código abierto de Neural Magic, ofrece una colección de puntos de comprobación de modelos YOLOv8 preespaciados. Con SparseML, perfectamente integrado en Ultralytics, los usuarios pueden ajustar sin esfuerzo estos puntos de control dispersos en sus conjuntos de datos específicos mediante una sencilla interfaz de línea de comandos.

Consulta la documentación deNeural Magic's SparseML YOLOv8 para más detalles.

Utilización: Despliegue de YOLOV8 utilizando DeepSparse

Desplegar YOLOv8 con Neural Magic's DeepSparse implica unos cuantos pasos sencillos. Antes de sumergirte en las instrucciones de uso, asegúrate de consultar la gama de modelosYOLOv8 que ofrece Ultralytics. Esto te ayudará a elegir el modelo más apropiado para los requisitos de tu proyecto. Así es como puedes empezar.

Paso 1: Instalación

Para instalar los paquetes necesarios, ejecuta

# Install the required packages
pip install deepsparse[yolov8]

Paso 2: Exportar YOLOv8 al formato ONNX

El motor DeepSparse requiere modelos YOLOv8 en formato ONNX . Exportar tu modelo a este formato es esencial para la compatibilidad con DeepSparse. Utiliza el siguiente comando para exportar modelos YOLOv8 :

# Export YOLOv8 model to ONNX format
yolo task=detect mode=export model=yolov8n.pt format=onnx opset=13

Este comando guardará la yolov8n.onnx modelo a tu disco.

Paso 3: Desplegar y ejecutar inferencias

Con tu modelo YOLOv8 en formato ONNX , puedes desplegar y ejecutar inferencias utilizando DeepSparse. Esto puede hacerse fácilmente con su intuitiva API Python :

from deepsparse import Pipeline

# Specify the path to your YOLOv8 ONNX model
model_path = "path/to/yolov8n.onnx"

# Set up the DeepSparse Pipeline
yolo_pipeline = Pipeline.create(task="yolov8", model_path=model_path)

# Run the model on your images
images = ["path/to/image.jpg"]
pipeline_outputs = yolo_pipeline(images=images)

Paso 4: Evaluación comparativa del rendimiento

Es importante comprobar que tu modelo YOLOv8 funciona de forma óptima en DeepSparse. Puedes comparar el rendimiento de tu modelo para analizar el rendimiento y la latencia:

# Benchmark performance
deepsparse.benchmark model_path="path/to/yolov8n.onnx" --scenario=sync --input_shapes="[1,3,640,640]"

Paso 5: Funciones adicionales

DeepSparse proporciona funciones adicionales para la integración práctica de YOLOv8 en aplicaciones, como la anotación de imágenes y la evaluación de conjuntos de datos.

# For image annotation
deepsparse.yolov8.annotate --source "path/to/image.jpg" --model_filepath "path/to/yolov8n.onnx"

# For evaluating model performance on a dataset
deepsparse.yolov8.eval --model_path "path/to/yolov8n.onnx"

Ejecutar el comando anotar procesa tu imagen especificada, detectando objetos y guardando la imagen anotada con cuadros delimitadores y clasificaciones. La imagen anotada se guardará en una carpeta de resultados de anotación. Esto ayuda a proporcionar una representación visual de las capacidades de detección del modelo.

Tras ejecutar el comando eval, recibirás métricas de salida detalladas, como la precisión, la recuperación y la mAP (Precisión media promedio). Esto proporciona una visión completa del rendimiento de tu modelo en el conjunto de datos. Esta funcionalidad es especialmente útil para ajustar y optimizar tus modelos YOLOv8 para casos de uso específicos, garantizando una gran precisión y eficacia.

Resumen

Esta guía explora la integración de Ultralytics' YOLOv8 con Neural Magic's DeepSparse Engine. Destaca cómo esta integración mejora el rendimiento de YOLOv8 en plataformas de CPU, ofreciendo eficiencia a nivel de GPU y técnicas avanzadas de sparsity de redes neuronales.

Para obtener información más detallada y un uso avanzado, visita la documentación deNeural Magic's DeepSparse. También puedes consultar la documentación de Neural Magicsobre la integración con YOLOv8 aquí y ver una magnífica sesión sobre ello aquí.

Además, para una comprensión más amplia de las diversas integraciones de YOLOv8 , visita la página de la guía de integraciónUltralytics , donde podrás descubrir otras interesantes posibilidades de integración.

Comentarios