Cómo exportar a NCNN desde YOLOv8 para una implantación sin problemas

Desplegar modelos de visión por ordenador en dispositivos con una potencia de cálculo limitada, como los sistemas móviles o integrados, puede ser complicado. Tienes que asegurarte de que utilizas un formato optimizado para un rendimiento óptimo. Esto garantiza que incluso los dispositivos con una potencia de procesamiento limitada puedan manejar bien las tareas avanzadas de visión computerizada.

La función de exportación al formato NCNN te permite optimizar tus Ultralytics YOLOv8 modelos para aplicaciones ligeras basadas en dispositivos. En esta guía, te explicaremos cómo convertir tus modelos al formato NCNN , facilitando que funcionen bien en diversos dispositivos móviles e integrados.

¿Por qué debes exportar a NCNN?

El marco NCNN desarrollado por Tencent, es un marco informático de inferencia de redes neuronales de alto rendimiento optimizado específicamente para plataformas móviles, como teléfonos móviles, dispositivos integrados y dispositivos IoT. NCNN es compatible con una amplia gama de plataformas, como Linux, Android, iOS y macOS.

NCNN es conocido por su rápida velocidad de procesamiento en CPUs móviles y permite un rápido despliegue de modelos de aprendizaje profundo en plataformas móviles. Esto facilita la creación de aplicaciones inteligentes, poniendo el poder de la IA al alcance de tu mano.

Características principales de los modelos NCNN

NCNN ofrecen una amplia gama de funciones clave que permiten el aprendizaje automático en el dispositivo, ayudando a los desarrolladores a ejecutar sus modelos en dispositivos móviles, integrados y periféricos:

• Eficientes y de alto rendimiento: los modelos NCNN están hechos para ser eficientes y ligeros, optimizados para funcionar en dispositivos móviles e integrados, como Raspberry Pi, con recursos limitados. También pueden alcanzar un alto rendimiento con gran precisión en diversas tareas basadas en la visión por ordenador.

• Cuantización: los modelos NCNN suelen admitir la cuantización, que es una técnica que reduce la precisión de los pesos y las activaciones del modelo. Esto mejora aún más el rendimiento y reduce la huella de memoria.

• Compatibilidad: los modelos de NCNN son compatibles con marcos de aprendizaje profundo populares como TensorFlowCaffe y ONNX. Esta compatibilidad permite a los desarrolladores utilizar fácilmente los modelos y flujos de trabajo existentes.

• Fáciles de usar: Los modelos NCNN están diseñados para integrarse fácilmente en diversas aplicaciones, gracias a su compatibilidad con los marcos de aprendizaje profundo más populares. Además, NCNN ofrece herramientas fáciles de usar para convertir modelos entre distintos formatos, garantizando una interoperabilidad sin problemas en todo el panorama de desarrollo.

Opciones de despliegue con NCNN

Antes de ver el código para exportar los modelos YOLOv8 al formato NCNN , vamos a entender cómo se utilizan normalmente los modelos NCNN .

NCNN diseñados para ofrecer eficacia y rendimiento, son compatibles con diversas plataformas de despliegue:

• Despliegue móvil: Específicamente optimizado para Android e iOS, lo que permite una integración perfecta en aplicaciones móviles para una inferencia eficiente en el dispositivo.

• Sistemas integrados y dispositivos IoT: Si te parece que ejecutar la inferencia en una Raspberry Pi con la GuíaUltralytics no es lo suficientemente rápido, cambiar a un modelo exportado de NCNN podría ayudar a acelerar las cosas. NCNN es genial para dispositivos como Raspberry Pi y NVIDIA Jetson, especialmente en situaciones en las que necesitas un procesamiento rápido directamente en el dispositivo.

• Despliegue en escritorio y servidor: Capaz de desplegarse en entornos de escritorio y servidor a través de Linux, Windows y macOS, apoyando el desarrollo, la formación y la evaluación con mayores capacidades computacionales.

Exportar a NCNN: Convertir tu modelo YOLOv8

Puedes ampliar la compatibilidad de los modelos y la flexibilidad de despliegue convirtiendo los modelos de YOLOv8 al formato NCNN .

Instalación

Para instalar los paquetes necesarios, ejecuta

# Install the required package for YOLOv8
pip install ultralytics

Para obtener instrucciones detalladas y buenas prácticas relacionadas con el proceso de instalación, consulta nuestra guía de instalaciónUltralytics . Mientras instalas los paquetes necesarios para YOLOv8, si encuentras alguna dificultad, consulta nuestra guía de Problemas comunes para encontrar soluciones y consejos.

Utilización

Antes de sumergirte en las instrucciones de uso, es importante tener en cuenta que, aunque todos los modelos deUltralytics YOLOv8 están disponibles para exportar, aquí puedes asegurarte de que el modelo que seleccionas admite la función de exportación.

from ultralytics import YOLO

# Load the YOLOv8 model
model = YOLO('yolov8n.pt')

# Export the model to NCNN format
model.export(format='ncnn') # creates '/yolov8n_ncnn_model'

# Load the exported NCNN model
ncnn_model = YOLO('./yolov8n_ncnn_model')

# Run inference
results = ncnn_model('https://ultralytics.com/images/bus.jpg')

# Export a YOLOv8n PyTorch model to NCNN format
yolo export model=yolov8n.pt format=ncnn  # creates '/yolov8n_ncnn_model'

# Run inference with the exported model
yolo predict model='./yolov8n_ncnn_model' source='https://ultralytics.com/images/bus.jpg'

Para más detalles sobre las opciones de exportación admitidas, visita la página de documentaciónUltralytics sobre opciones de despliegue.

Despliegue de modelos exportados de YOLOv8 NCNN

Después de exportar con éxito tus modelos Ultralytics YOLOv8 al formato NCNN , ya puedes desplegarlos. El primer paso principal y recomendado para ejecutar un modelo NCNN es utilizar el método YOLO("./model_ncnn_model"), como se indica en el fragmento de código de uso anterior. Sin embargo, para obtener instrucciones detalladas sobre el despliegue de tus modelos NCNN en otras configuraciones distintas, echa un vistazo a los siguientes recursos:

• Android: Este blog explica cómo utilizar los modelos NCNN para realizar tareas como la detección de objetos a través de aplicaciones Android.

• macOS: Comprende cómo utilizar los modelos NCNN para realizar tareas a través de macOS.

• Linux: Explora esta página para aprender a desplegar modelos NCNN en dispositivos de recursos limitados como Raspberry Pi y otros dispositivos similares.

• Windows x64 con VS2017: Explora este blog para aprender a desplegar modelos NCNN en windows x64 utilizando Visual Studio Community 2017.

Resumen

En esta guía, hemos repasado la exportación de los modelos Ultralytics YOLOv8 al formato NCNN . Este paso de conversión es crucial para mejorar la eficacia y la velocidad de los modelos YOLOv8 , haciéndolos más eficaces y adecuados para entornos informáticos con recursos limitados.

Para obtener instrucciones detalladas sobre su uso, consulta la documentación oficial de NCNN .

Además, si estás interesado en explorar otras opciones de integración para Ultralytics YOLOv8 , no dejes de visitar nuestra página de la guía de integración para obtener más ideas e información.

Comentarios