Cómo exportar a NCNN desde YOLOv8 para una implantación sin problemas

Desplegar modelos de visión por ordenador en dispositivos con una potencia de cálculo limitada, como los sistemas móviles o integrados, puede ser complicado. Tienes que asegurarte de que utilizas un formato optimizado para un rendimiento óptimo. Esto garantiza que incluso los dispositivos con una potencia de procesamiento limitada puedan manejar bien las tareas avanzadas de visión computerizada.

La función de exportación al formato NCNN te permite optimizar tus Ultralytics YOLOv8 modelos para aplicaciones ligeras basadas en dispositivos. En esta guía, te explicaremos cómo convertir tus modelos al formato NCNN , facilitando que funcionen bien en diversos dispositivos móviles e integrados.

¿Por qué debes exportar a NCNN?

El marco NCNN desarrollado por Tencent, es un marco informático de inferencia de redes neuronales de alto rendimiento optimizado específicamente para plataformas móviles, como teléfonos móviles, dispositivos integrados y dispositivos IoT. NCNN es compatible con una amplia gama de plataformas, como Linux, Android, iOS y macOS.

NCNN es conocido por su rápida velocidad de procesamiento en CPUs móviles y permite un rápido despliegue de modelos de aprendizaje profundo en plataformas móviles. Esto facilita la creación de aplicaciones inteligentes, poniendo el poder de la IA al alcance de tu mano.

Características principales de los modelos NCNN

NCNN ofrecen una amplia gama de funciones clave que permiten el aprendizaje automático en el dispositivo, ayudando a los desarrolladores a ejecutar sus modelos en dispositivos móviles, integrados y periféricos:

• Eficientes y de alto rendimiento: los modelos NCNN están hechos para ser eficientes y ligeros, optimizados para funcionar en dispositivos móviles e integrados, como Raspberry Pi, con recursos limitados. También pueden alcanzar un alto rendimiento con gran precisión en diversas tareas basadas en la visión por ordenador.

• Cuantización: los modelos NCNN suelen admitir la cuantización, que es una técnica que reduce la precisión de los pesos y las activaciones del modelo. Esto mejora aún más el rendimiento y reduce la huella de memoria.

• Compatibilidad: los modelos de NCNN son compatibles con marcos de aprendizaje profundo populares como TensorFlowCaffe y ONNX. Esta compatibilidad permite a los desarrolladores utilizar fácilmente los modelos y flujos de trabajo existentes.

• Fáciles de usar: Los modelos NCNN están diseñados para integrarse fácilmente en diversas aplicaciones, gracias a su compatibilidad con los marcos de aprendizaje profundo más populares. Además, NCNN ofrece herramientas fáciles de usar para convertir modelos entre distintos formatos, garantizando una interoperabilidad sin problemas en todo el panorama de desarrollo.

Opciones de despliegue con NCNN

Antes de ver el código para exportar YOLOv8 modelos a la NCNN formato, entendamos cómo NCNN Normalmente se utilizan modelos.

NCNN diseñados para ofrecer eficacia y rendimiento, son compatibles con diversas plataformas de despliegue:

• Despliegue móvil: Específicamente optimizado para Android y iOS, lo que permite una integración perfecta en aplicaciones móviles para una inferencia eficiente en el dispositivo.

• Sistemas Embebidos y Dispositivos IoT: Si te parece que ejecutar la inferencia en una Raspberry Pi con la GuíaUltralytics no es lo suficientemente rápido, cambiar a un modelo exportado de NCNN podría ayudar a acelerar las cosas. NCNN es genial para dispositivos como la Raspberry Pi y NVIDIA Jetson, especialmente en situaciones en las que necesitas un procesamiento rápido directamente en el dispositivo.

• Despliegue en escritorio y servidor: Capaz de desplegarse en entornos de escritorio y servidor a través de Linux, Windows y macOS, apoyando el desarrollo, la formación y la evaluación con mayores capacidades computacionales.

Exportar a NCNN: Convertir tu modelo YOLOv8

Puedes ampliar la compatibilidad de los modelos y la flexibilidad de despliegue convirtiendo los modelos de YOLOv8 al formato NCNN .

Instalación

Para instalar los paquetes necesarios, ejecuta

# Install the required package for YOLOv8
pip install ultralytics

Para obtener instrucciones detalladas y buenas prácticas relacionadas con el proceso de instalación, consulta nuestra guía de instalaciónUltralytics . Mientras instalas los paquetes necesarios para YOLOv8, si encuentras alguna dificultad, consulta nuestra guía de Problemas comunes para encontrar soluciones y consejos.

Utilización

Antes de sumergirte en las instrucciones de uso, es importante tener en cuenta que, aunque todos los modelos deUltralytics YOLOv8 están disponibles para exportar, aquí puedes asegurarte de que el modelo que seleccionas admite la función de exportación.

from ultralytics import YOLO

# Load the YOLOv8 model
model = YOLO("yolov8n.pt")

# Export the model to NCNN format
model.export(format="ncnn")  # creates '/yolov8n_ncnn_model'

# Load the exported NCNN model
ncnn_model = YOLO("./yolov8n_ncnn_model")

# Run inference
results = ncnn_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLOv8n PyTorch model to NCNN format
yolo export model=yolov8n.pt format=ncnn  # creates '/yolov8n_ncnn_model'

# Run inference with the exported model
yolo predict model='./yolov8n_ncnn_model' source='https://ultralytics.com/images/bus.jpg'

Para más detalles sobre las opciones de exportación admitidas, visita la página de documentaciónUltralytics sobre opciones de despliegue.

Despliegue de modelos exportados de YOLOv8 NCNN

Después de exportar con éxito tus modelos Ultralytics YOLOv8 al formato NCNN , ya puedes desplegarlos. El primer paso principal y recomendado para ejecutar un modelo NCNN es utilizar el método YOLO("./model_ncnn_model"), como se indica en el fragmento de código de uso anterior. Sin embargo, para obtener instrucciones detalladas sobre el despliegue de tus modelos NCNN en otras configuraciones distintas, echa un vistazo a los siguientes recursos:

• Android: Este blog explica cómo utilizar los modelos NCNN para realizar tareas como la detección de objetos a través de las aplicaciones Android .

• macOS: Comprende cómo utilizar los modelos NCNN para realizar tareas a través de macOS.

• Linux: Explora esta página para aprender a desplegar modelos NCNN en dispositivos de recursos limitados como Raspberry Pi y otros dispositivos similares.

• Windows x64 con VS2017: Explora este blog para aprender a desplegar modelos NCNN en windows x64 utilizando Visual Studio Community 2017.

Resumen

En esta guía, hemos repasado la exportación de los modelos Ultralytics YOLOv8 al formato NCNN . Este paso de conversión es crucial para mejorar la eficacia y la velocidad de los modelos YOLOv8 , haciéndolos más eficaces y adecuados para entornos informáticos con recursos limitados.

Para obtener instrucciones detalladas sobre su uso, consulta la documentación oficial de NCNN .

Además, si estás interesado en explorar otras opciones de integración para Ultralytics YOLOv8 , no dejes de visitar nuestra página de la guía de integración para obtener más ideas e información.

PREGUNTAS FRECUENTES

¿Cómo puedo exportar modelos de Ultralytics YOLOv8 al formato NCNN ?

Para exportar tu modelo Ultralytics YOLOv8 al formato NCNN , sigue estos pasos:

• Python: Utiliza el export de la clase YOLO .

  from ultralytics import YOLO
  
  # Load the YOLOv8 model
  model = YOLO("yolov8n.pt")
  
  # Export to NCNN format
  model.export(format="ncnn")  # creates '/yolov8n_ncnn_model'
  

• CLI: Utiliza el yolo con el comando export argumento.

  yolo export model=yolov8n.pt format=ncnn  # creates '/yolov8n_ncnn_model'
  

Para conocer las opciones de exportación detalladas, consulta la página Exportar de la documentación.

¿Cuáles son las ventajas de exportar modelos de YOLOv8 a NCNN?

Exportar tus modelos de Ultralytics YOLOv8 a NCNN ofrece varias ventajas:

• Eficacia: los modelos NCNN están optimizados para dispositivos móviles e integrados, lo que garantiza un alto rendimiento incluso con recursos computacionales limitados.
• Cuantización: NCNN admite técnicas como la cuantización, que mejoran la velocidad del modelo y reducen el uso de memoria.
• Amplia compatibilidad: Puedes implantar los modelos de NCNN en múltiples plataformas, como Android, iOS, Linux y macOS.

Para más detalles, consulta la sección Exportar a NCNN de la documentación.

¿Por qué debería utilizar NCNN para mis aplicaciones móviles de IA?

NCNNdesarrollado por Tencent, está optimizado específicamente para plataformas móviles. Las principales razones para utilizar NCNN son:

• Alto rendimiento: Diseñado para un procesamiento eficiente y rápido en CPUs móviles.
• Multiplataforma: Compatible con frameworks populares como TensorFlow y ONNX, lo que facilita la conversión y el despliegue de modelos en distintas plataformas.
• Apoyo de la comunidad: El apoyo activo de la comunidad garantiza mejoras y actualizaciones continuas.

Para saber más, visita la descripción general deNCNN en la documentación.

¿Qué plataformas son compatibles con la implantación del modelo NCNN ?

NCNN es versátil y compatible con varias plataformas:

• Móvil: Android, iOS.
• Sistemas embebidos y dispositivos IoT: Dispositivos como Raspberry Pi y NVIDIA Jetson.
• Ordenadores de sobremesa y servidores: Linux, Windows y macOS.

Si ejecutar modelos en una Raspberry Pi no es suficientemente rápido, convertirlos al formato NCNN podría acelerar las cosas, como se detalla en nuestra Guía de la Raspberry Pi.

¿Cómo puedo desplegar los modelos Ultralytics YOLOv8 NCNN en Android?

Para desplegar tus modelos YOLOv8 en Android:

1. Construye para Android: Sigue la guía NCNN Build for Android.
2. Intégralo en tu aplicación: Utiliza el SDK de NCNN Android para integrar el modelo exportado en tu aplicación para una inferencia eficiente en el dispositivo.

Para obtener instrucciones paso a paso, consulta nuestra guía sobre el despliegue de modelos YOLOv8 NCNN .

Para obtener guías y casos de uso más avanzados, visita la página de documentaciónUltralytics .

Comentarios