Optimización de las inferencias en YOLO11 con el motor DeepSparse de Neural Magic

Al desplegar modelos de detección de objetos como Ultralytics YOLO11 en distintos equipos, pueden surgir problemas específicos, como la optimización. Aquí es donde entra en juego la integración de YOLO11 con el motor DeepSparse de Neural Magic. Transforma la forma en que se ejecutan los modelos YOLO11 y permite un rendimiento de nivel GPU directamente en las CPU.

Esta guía le muestra cómo desplegar YOLO11 utilizando Neural Magic's DeepSparse, cómo ejecutar inferencias, y también cómo comparar el rendimiento para asegurarse de que está optimizado.

Neural MagicDeepSparse

Neural MagicDeepSparse es un tiempo de ejecución de inferencia diseñado para optimizar la ejecución de redes neuronales en CPU. Aplica técnicas avanzadas como la sparsity, la poda y la cuantización para reducir drásticamente las demandas computacionales manteniendo la precisión. DeepSparse ofrece una solución ágil para la ejecución eficiente y escalable de redes neuronales en diversos dispositivos.

Ventajas de integrar Neural Magic's DeepSparse con YOLO11

Antes de entrar en cómo desplegar YOLOV8 utilizando DeepSparse, vamos a entender las ventajas de utilizar DeepSparse. Algunas ventajas clave incluyen:

• Mayor velocidad de inferencia: Alcanza hasta 525 FPS (en YOLO11n), lo que acelera considerablemente la capacidad de inferencia de YOLO11 en comparación con los métodos tradicionales.

• Eficiencia optimizada del modelo: Utiliza la poda y la cuantización para mejorar la eficiencia de YOLO11, reduciendo el tamaño del modelo y los requisitos computacionales, al tiempo que mantiene la precisión.

• Alto rendimiento en CPU estándar: Ofrece un rendimiento similar al de GPU en CPU, lo que supone una opción más accesible y rentable para diversas aplicaciones.

• Integración y despliegue racionalizados: Ofrece herramientas de fácil uso para integrar fácilmente YOLO11 en las aplicaciones, incluidas funciones de anotación de imágenes y vídeos.

• Compatibilidad con varios tipos de modelos: Compatible con los modelos estándar y optimizados para sparsity YOLO11 , lo que añade flexibilidad de despliegue.

• Solución rentable y escalable: Reduce los gastos operativos y ofrece una implantación escalable de modelos avanzados de detección de objetos.

¿Cómo funciona la tecnología DeepSparse de Neural Magic?

Neural Magicse inspira en la eficacia del cerebro humano en el cálculo de redes neuronales. Adopta dos principios clave del cerebro:

• Dispersión: El proceso de sparsificación consiste en podar la información redundante de las redes de aprendizaje profundo, lo que da lugar a modelos más pequeños y rápidos sin comprometer la precisión. Esta técnica reduce significativamente el tamaño de la red y sus necesidades computacionales.

• Localidad de referencia: DeepSparse utiliza un método de ejecución único, dividiendo la red en Tensor Columnas. Estas columnas se ejecutan en profundidad y caben íntegramente en la caché de CPU. Este enfoque imita la eficiencia del cerebro, minimizando el movimiento de datos y maximizando el uso de la caché de CPU.

Para más detalles sobre el funcionamiento de la tecnología DeepSparse de Neural Magic, consulte la entrada de su blog.

Creación de una versión dispersa de YOLO11 entrenada con un conjunto de datos personalizado

SparseZoo, un repositorio de modelos de código abierto de Neural Magic, ofrece una colección de puntos de comprobación de modelos YOLO11 preespaciados. Con SparseML, perfectamente integrado en Ultralytics, los usuarios pueden ajustar sin esfuerzo estos puntos de control dispersos en sus conjuntos de datos específicos mediante una sencilla interfaz de línea de comandos.

Consulte la documentación deNeural Magic's SparseML YOLO11 para más detalles.

Utilización: Despliegue de YOLOV8 con DeepSparse

Desplegar YOLO11 con DeepSparse de Neural Magic implica unos cuantos pasos sencillos. Antes de sumergirte en las instrucciones de uso, asegúrate de consultar la gama de modelos deYOLO11 que ofrece Ultralytics. Esto te ayudará a elegir el modelo más apropiado para los requisitos de tu proyecto. A continuación te explicamos cómo empezar.

Paso 1: Instalación

Para instalar los paquetes necesarios, ejecute

# Install the required packages
pip install deepsparse[yolov8]

Paso 2: Exportar YOLO11 al formato ONNX

El motor DeepSparse requiere modelos YOLO11 en formato ONNX . Exportar su modelo a este formato es esencial para la compatibilidad con DeepSparse. Utilice el siguiente comando para exportar modelos YOLO11 :

# Export YOLO11 model to ONNX format
yolo task=detect mode=export model=yolo11n.pt format=onnx opset=13

Este comando guardará el yolo11n.onnx modelo a su disco.

Paso 3: Despliegue y ejecución de inferencias

Con su modelo YOLO11 en formato ONNX , puede desplegar y ejecutar inferencias utilizando DeepSparse. Esto se puede hacer fácilmente con su intuitiva API Python :

from deepsparse import Pipeline

# Specify the path to your YOLO11 ONNX model
model_path = "path/to/yolo11n.onnx"

# Set up the DeepSparse Pipeline
yolo_pipeline = Pipeline.create(task="yolov8", model_path=model_path)

# Run the model on your images
images = ["path/to/image.jpg"]
pipeline_outputs = yolo_pipeline(images=images)

Paso 4: Evaluación comparativa de resultados

Es importante comprobar que su modelo YOLO11 funciona de forma óptima en DeepSparse. Puedes comparar el rendimiento de tu modelo para analizar el rendimiento y la latencia:

# Benchmark performance
deepsparse.benchmark model_path="path/to/yolo11n.onnx" --scenario=sync --input_shapes="[1,3,640,640]"

Paso 5: Funciones adicionales

DeepSparse proporciona funciones adicionales para la integración práctica de YOLO11 en aplicaciones, como la anotación de imágenes y la evaluación de conjuntos de datos.

# For image annotation
deepsparse.yolov8.annotate --source "path/to/image.jpg" --model_filepath "path/to/yolo11n.onnx"

# For evaluating model performance on a dataset
deepsparse.yolov8.eval --model_path "path/to/yolo11n.onnx"

Al ejecutar el comando de anotación se procesa la imagen especificada, se detectan los objetos y se guarda la imagen anotada con cuadros delimitadores y clasificaciones. La imagen anotada se guardará en una carpeta de resultados de anotación. Esto ayuda a proporcionar una representación visual de las capacidades de detección del modelo.

Después de ejecutar el comando eval, recibirá métricas de salida detalladas como precisión, recuperación y mAP (precisión media). Esto proporciona una visión completa del rendimiento del modelo en el conjunto de datos. Esta función es especialmente útil para ajustar y optimizar sus modelos YOLO11 para casos de uso específicos, garantizando una gran precisión y eficacia.

Resumen

Esta guía explora la integración de Ultralytics' YOLO11 con Neural Magic's DeepSparse Engine. Destaca cómo esta integración mejora el rendimiento de YOLO11 en plataformas CPU , ofreciendo una eficiencia de nivel GPU y técnicas avanzadas de dispersión de redes neuronales.

Para información más detallada y uso avanzado, visita Neural Magic's DeepSparse documentation. Además, consulte la documentación de Neural Magic sobre la integración con YOLO11 aquí y vea una magnífica sesión al respecto aquí.

Además, para conocer mejor las distintas integraciones de YOLO11 , visite la página de la guía de integraciónUltralytics , donde podrá descubrir otras interesantes posibilidades de integración.

PREGUNTAS FRECUENTES

¿Qué es el motor DeepSparse de Neural Magic y cómo optimiza el rendimiento de YOLO11 ?

Neural MagicDeepSparse Engine es un tiempo de ejecución de inferencia diseñado para optimizar la ejecución de redes neuronales en CPU mediante técnicas avanzadas como la dispersión, la poda y la cuantización. Integrando DeepSparse con YOLO11, se puede conseguir un rendimiento similar al de GPU en CPUs estándar, mejorando significativamente la velocidad de inferencia, la eficiencia del modelo y el rendimiento general, manteniendo la precisión. Para más información, consulte la sección DeepSparse deNeural Magic.

¿Cómo puedo instalar los paquetes necesarios para desplegar YOLO11 utilizando Neural Magic's DeepSparse?

La instalación de los paquetes necesarios para desplegar YOLO11 con Neural Magic's DeepSparse es sencilla. Puedes instalarlos fácilmente usando el comando CLI. Este es el comando que necesitas ejecutar:

pip install deepsparse[yolov8]

Una vez instalado, siga los pasos indicados en la sección Instalación para configurar su entorno y empezar a utilizar DeepSparse con YOLO11.

¿Cómo convierto los modelos YOLO11 al formato ONNX para utilizarlos con DeepSparse?

Para convertir los modelos YOLO11 al formato ONNX , necesario para la compatibilidad con DeepSparse, puede utilizar el siguiente comando CLI :

yolo task=detect mode=export model=yolo11n.pt format=onnx opset=13

Este comando exportará su modelo YOLO11 (yolo11n.pt) a un formato (yolo11n.onnx) que pueden ser utilizados por el motor DeepSparse. Más información sobre la exportación de modelos se puede encontrar en el Sección de exportación de modelos.

¿Cómo puedo comparar el rendimiento de YOLO11 con el motor DeepSparse?

La evaluación comparativa del rendimiento de YOLO11 en DeepSparse le ayuda a analizar el rendimiento y la latencia para asegurarse de que su modelo está optimizado. Puede utilizar el siguiente comando CLI para ejecutar una prueba comparativa:

deepsparse.benchmark model_path="path/to/yolo11n.onnx" --scenario=sync --input_shapes="[1,3,640,640]"

Este comando le proporcionará métricas de rendimiento vitales. Para obtener más información, consulte la sección Evaluación comparativa del rendimiento.

¿Por qué debería utilizar Neural Magic's DeepSparse con YOLO11 para tareas de detección de objetos?

La integración de Neural Magic's DeepSparse con YOLO11 ofrece varias ventajas:

• Velocidad de inferencia mejorada: Alcanza hasta 525 FPS, lo que acelera considerablemente la capacidad de YOLO11.
• Eficiencia optimizada del modelo: Utiliza técnicas de sparsity, poda y cuantificación para reducir el tamaño del modelo y las necesidades computacionales manteniendo la precisión.
• Alto rendimiento en CPU estándar: Ofrece un rendimiento similar al de GPU en el rentable hardware CPU .
• Integración simplificada: Herramientas fáciles de usar para facilitar la implantación y la integración.
• Flexibilidad: Admite modelos estándar y optimizados para la dispersión YOLO11 .
• Rentable: Reduce los gastos operativos gracias a una utilización eficiente de los recursos.

Para profundizar en estas ventajas, visite la sección Ventajas de la integración de Neural Magic's DeepSparse con YOLO11 .

Creado hace 11 meses ✏️ Actualizado hace 2 meses

Comentarios