Optimizar YOLOv8 Inferencias con Neural Magic's DeepSparse Engine

Al desplegar modelos de detección de objetos como Ultralytics YOLOv8 en distintos equipos, puedes encontrarte con problemas específicos, como la optimización. Aquí es donde interviene la integración de YOLOv8 con el motor DeepSparse de Neural Magic. Transforma la forma en que se ejecutan los modelos YOLOv8 y permite un rendimiento de nivel GPU directamente en las CPU.

Esta guía te muestra cómo desplegar YOLOv8 utilizando Neural Magic's DeepSparse, cómo ejecutar inferencias y también cómo comparar el rendimiento para asegurarte de que está optimizado.

Neural MagicDeepSparse

Neural Magic's DeepSparse es un tiempo de ejecución de inferencia diseñado para optimizar la ejecución de redes neuronales en CPU. Aplica técnicas avanzadas como la dispersión, la poda y la cuantización para reducir drásticamente las demandas computacionales, manteniendo la precisión. DeepSparse ofrece una solución ágil para la ejecución eficiente y escalable de redes neuronales en varios dispositivos.

Beneficios de la integración Neural Magic's DeepSparse con YOLOv8

Antes de sumergirse en cómo implementar YOLOV8 usando DeepSparse, entendamos los beneficios de usar DeepSparse. Algunas de las principales ventajas son:

• Velocidad de inferencia mejorada: Alcanza hasta 525 FPS (en YOLOv8n), acelerando significativamente la capacidad de inferencia de YOLOv8 en comparación con los métodos tradicionales.

• Eficiencia optimizada del modelo: Utiliza la poda y la cuantización para mejorar la eficacia de YOLOv8, reduciendo el tamaño del modelo y los requisitos computacionales, pero manteniendo la precisión.

• Alto rendimiento en CPU estándar: Ofrece un rendimiento similar al de GPU en CPUs, proporcionando una opción más accesible y rentable para diversas aplicaciones.

• Integración y despliegue racionalizados: Ofrece herramientas fáciles de usar para integrar fácilmente YOLOv8 en las aplicaciones, incluidas las funciones de anotación de imágenes y vídeos.

• Compatibilidad con varios tipos de modelos: Compatible tanto con los modelos estándar como con los optimizados para la dispersión YOLOv8 , lo que añade flexibilidad de despliegue.

• Solución rentable y escalable: Reduce los gastos operativos y ofrece un despliegue escalable de modelos avanzados de detección de objetos.

¿Cómo funciona la tecnología DeepSparse de Neural Magic?

Neural MagicLa tecnología Deep Sparse está inspirada en la eficiencia del cerebro humano en la computación de redes neuronales. Adopta dos principios clave del cerebro de la siguiente manera:

• Dispersión: El proceso de sparsificación consiste en podar la información redundante de las redes de aprendizaje profundo, lo que da lugar a modelos más pequeños y rápidos sin comprometer la precisión. Esta técnica reduce significativamente el tamaño de la red y sus necesidades computacionales.

• Localidad de referencia: DeepSparse utiliza un método de ejecución único, dividiendo la red en Tensor Columnas. Estas columnas se ejecutan en profundidad, encajando totalmente en la caché de CPU. Este enfoque imita la eficiencia del cerebro, minimizando el movimiento de datos y maximizando el uso de la caché de CPU.

Para más detalles sobre el funcionamiento de la tecnología DeepSparse de Neural Magic, consulta la entrada de su blog.

Crear una versión dispersa de YOLOv8 entrenada con un conjunto de datos personalizado

SparseZoo, un repositorio de modelos de código abierto de Neural Magic, ofrece una colección de puntos de comprobación de modelos YOLOv8 preespaciados. Con SparseML, perfectamente integrado en Ultralytics, los usuarios pueden ajustar sin esfuerzo estos puntos de control dispersos en sus conjuntos de datos específicos mediante una sencilla interfaz de línea de comandos.

Consulta la documentación deNeural Magic's SparseML YOLOv8 para más detalles.

Utilización: Despliegue de YOLOV8 utilizando DeepSparse

Desplegar YOLOv8 con Neural Magic's DeepSparse implica unos cuantos pasos sencillos. Antes de sumergirte en las instrucciones de uso, asegúrate de consultar la gama de modelosYOLOv8 que ofrece Ultralytics. Esto te ayudará a elegir el modelo más apropiado para los requisitos de tu proyecto. Así es como puedes empezar.

Paso 1: Instalación

Para instalar los paquetes necesarios, ejecuta

# Install the required packages
pip install deepsparse[yolov8]

Paso 2: Exportar YOLOv8 al formato ONNX

El motor DeepSparse requiere modelos YOLOv8 en formato ONNX . Exportar tu modelo a este formato es esencial para la compatibilidad con DeepSparse. Utiliza el siguiente comando para exportar modelos YOLOv8 :

# Export YOLOv8 model to ONNX format
yolo task=detect mode=export model=yolov8n.pt format=onnx opset=13

Este comando guardará la yolov8n.onnx modelo a tu disco.

Paso 3: Desplegar y ejecutar inferencias

Con tu modelo YOLOv8 en formato ONNX , puedes desplegar y ejecutar inferencias utilizando DeepSparse. Esto puede hacerse fácilmente con su intuitiva API Python :

from deepsparse import Pipeline

# Specify the path to your YOLOv8 ONNX model
model_path = "path/to/yolov8n.onnx"

# Set up the DeepSparse Pipeline
yolo_pipeline = Pipeline.create(task="yolov8", model_path=model_path)

# Run the model on your images
images = ["path/to/image.jpg"]
pipeline_outputs = yolo_pipeline(images=images)

Paso 4: Evaluación comparativa del rendimiento

Es importante comprobar que tu modelo YOLOv8 funciona de forma óptima en DeepSparse. Puedes comparar el rendimiento de tu modelo para analizar el rendimiento y la latencia:

# Benchmark performance
deepsparse.benchmark model_path="path/to/yolov8n.onnx" --scenario=sync --input_shapes="[1,3,640,640]"

Paso 5: Funciones adicionales

DeepSparse proporciona funciones adicionales para la integración práctica de YOLOv8 en aplicaciones, como la anotación de imágenes y la evaluación de conjuntos de datos.

# For image annotation
deepsparse.yolov8.annotate --source "path/to/image.jpg" --model_filepath "path/to/yolov8n.onnx"

# For evaluating model performance on a dataset
deepsparse.yolov8.eval --model_path "path/to/yolov8n.onnx"

Ejecutar el comando anotar procesa tu imagen especificada, detectando objetos y guardando la imagen anotada con cuadros delimitadores y clasificaciones. La imagen anotada se guardará en una carpeta de resultados de anotación. Esto ayuda a proporcionar una representación visual de las capacidades de detección del modelo.

Tras ejecutar el comando eval, recibirás métricas de salida detalladas, como la precisión, la recuperación y la mAP (Precisión media promedio). Esto proporciona una visión completa del rendimiento de tu modelo en el conjunto de datos. Esta funcionalidad es especialmente útil para ajustar y optimizar tus modelos YOLOv8 para casos de uso específicos, garantizando una gran precisión y eficacia.

Resumen

Esta guía explora la integración de Ultralytics' YOLOv8 con Neural Magic's DeepSparse Engine. Destaca cómo esta integración mejora el rendimiento de YOLOv8 en plataformas CPU , ofreciendo una eficiencia de nivel GPU y técnicas avanzadas de dispersión de redes neuronales.

Para obtener información más detallada y un uso avanzado, visita la documentación deNeural Magic's DeepSparse. También puedes consultar la documentación de Neural Magic sobre la integración con YOLOv8 aquí y ver una magnífica sesión sobre ello aquí.

Además, para una comprensión más amplia de las diversas integraciones de YOLOv8 , visita la página de la guía de integraciónUltralytics , donde podrás descubrir otras interesantes posibilidades de integración.

PREGUNTAS FRECUENTES

¿Qué es el motor DeepSparse de Neural Magic y cómo optimiza el rendimiento de YOLOv8 ?

Neural MagicDeepSparse Engine es un tiempo de ejecución de inferencia diseñado para optimizar la ejecución de redes neuronales en CPU mediante técnicas avanzadas como la dispersión, la poda y la cuantización. Integrando DeepSparse con YOLOv8, puedes conseguir un rendimiento similar al de GPU en CPU estándar, mejorando significativamente la velocidad de inferencia, la eficiencia del modelo y el rendimiento general, manteniendo la precisión. Para más detalles, consulta la sección DeepSparse deNeural Magic.

¿Cómo puedo instalar los paquetes necesarios para desplegar YOLOv8 utilizando Neural Magic's DeepSparse?

Instalar los paquetes necesarios para desplegar YOLOv8 con Neural Magic's DeepSparse es sencillo. Puedes instalarlos fácilmente utilizando el comando CLI. Éste es el comando que debes ejecutar:

pip install deepsparse[yolov8]

Una vez instalado, sigue los pasos que se indican en la sección Instalación para configurar tu entorno y empezar a utilizar DeepSparse con YOLOv8.

¿Cómo convierto los modelos YOLOv8 al formato ONNX para utilizarlos con DeepSparse?

Para convertir los modelos YOLOv8 al formato ONNX , necesario para la compatibilidad con DeepSparse, puedes utilizar el siguiente comando CLI :

yolo task=detect mode=export model=yolov8n.pt format=onnx opset=13

Este comando exportará tu modelo YOLOv8 (yolov8n.pt) a un formato (yolov8n.onnx) que puede utilizar el motor DeepSparse. Puedes encontrar más información sobre la exportación de modelos en la página Sección Exportación de modelos.

¿Cómo puedo comparar el rendimiento de YOLOv8 con el motor DeepSparse?

La evaluación comparativa del rendimiento de YOLOv8 en DeepSparse te ayuda a analizar el rendimiento y la latencia para asegurarte de que tu modelo está optimizado. Puedes utilizar el siguiente comando CLI para ejecutar una prueba comparativa:

deepsparse.benchmark model_path="path/to/yolov8n.onnx" --scenario=sync --input_shapes="[1,3,640,640]"

Este comando te proporcionará métricas vitales de rendimiento. Para más detalles, consulta la sección Evaluación comparativa del rendimiento.

¿Por qué debería utilizar Neural Magic's DeepSparse con YOLOv8 para tareas de detección de objetos?

La integración de Neural Magic's DeepSparse con YOLOv8 ofrece varias ventajas:

• Velocidad de inferencia mejorada: Alcanza hasta 525 FPS, acelerando significativamente las capacidades de YOLOv8.
• Eficiencia optimizada del modelo: Utiliza técnicas de sparsity, poda y cuantización para reducir el tamaño del modelo y las necesidades computacionales, manteniendo la precisión.
• Alto rendimiento en CPU estándar: Ofrece un rendimiento similar al de GPU en el económico hardware CPU .
• Integración racionalizada: Herramientas fáciles de usar para una implantación e integración sencillas.
• Flexibilidad: Admite modelos estándar y optimizados para la dispersión YOLOv8 .
• Rentable: Reduce los gastos operativos mediante una utilización eficaz de los recursos.

Para profundizar en estas ventajas, visita la sección Ventajas de integrar Neural Magic's DeepSparse con YOLOv8 .

Comentarios