YOLOv8 Exportación de modelos a TorchScript para un despliegue rápido

El despliegue de modelos de visión por ordenador en distintos entornos, como sistemas integrados, navegadores web o plataformas con soporte limitado de Python , requiere una solución flexible y portátil. TorchScript se centra en la portabilidad y en la capacidad de ejecutar modelos en entornos en los que no está disponible el marco completo de Python . Esto lo hace ideal para escenarios en los que necesites desplegar tus capacidades de visión por ordenador en varios dispositivos o plataformas.

Exporta a Torchscript para serializar tus Ultralytics YOLOv8 para obtener compatibilidad entre plataformas y agilizar el despliegue. En esta guía, te mostraremos cómo exportar tus modelos YOLOv8 al formato TorchScript , para que te resulte más fácil utilizarlos en una gama más amplia de aplicaciones.

¿Por qué debes exportar a TorchScript?

Desarrollado por los creadores de PyTorch, TorchScript es una potente herramienta para optimizar y desplegar modelos PyTorch en diversas plataformas. Exportar modelos YOLOv8 a TorchScript es crucial para pasar de la investigación a las aplicaciones del mundo real. TorchScript PyTorch , que forma parte del marco de PyTorch , ayuda a que esta transición sea más suave, ya que permite utilizar los modelos de en entornos que no admiten Python.

El proceso implica dos técnicas: rastreo y scripting. El rastreo registra las operaciones durante la ejecución del modelo, mientras que el scripting permite definir modelos utilizando un subconjunto de Python. Estas técnicas garantizan que modelos como YOLOv8 puedan seguir haciendo su magia incluso fuera de su entorno habitual Python .

TorchScript Los modelos también pueden optimizarse mediante técnicas como la fusión de operadores y refinamientos en el uso de la memoria, garantizando una ejecución eficiente. Otra ventaja de exportar a TorchScript es su potencial para acelerar la ejecución del modelo en diversas plataformas de hardware. Crea una representación autónoma y lista para la producción de tu modelo PyTorch , que puede integrarse en entornos C++, sistemas embebidos o desplegarse en aplicaciones web o móviles.

Características principales de los modelos TorchScript

TorchScript, una parte clave del ecosistema PyTorch , proporciona potentes funciones para optimizar y desplegar modelos de aprendizaje profundo.

Éstas son las características clave que hacen de TorchScript una herramienta valiosa para los desarrolladores:

• Ejecución gráfica estática: TorchScript utiliza una representación gráfica estática del cálculo del modelo, que es diferente de la ejecución gráfica dinámica de PyTorch. En la ejecución de grafos estáticos, el grafo computacional se define y compila una vez antes de la ejecución real, lo que mejora el rendimiento durante la inferencia.

• Serialización de modelos: TorchScript te permite serializar modelos PyTorch en un formato independiente de la plataforma. Los modelos serializados pueden cargarse sin necesidad del código Python original, lo que permite su despliegue en distintos entornos de ejecución.

• Compilación JIT: TorchScript utiliza la compilación Just-In-Time (JIT) para convertir los modelos PyTorch en una representación intermedia optimizada. JIT compila el gráfico computacional del modelo, permitiendo una ejecución eficiente en los dispositivos de destino.

• Integración entre lenguajes: Con TorchScript, puedes exportar modelos PyTorch a otros lenguajes, como C++, Java y JavaScript. Esto facilita la integración de los modelos PyTorch en sistemas de software existentes escritos en lenguajes diferentes.

• Conversión gradual: TorchScript proporciona un enfoque de conversión gradual, que te permite convertir incrementalmente partes de tu modelo PyTorch en TorchScript. Esta flexibilidad es especialmente útil cuando se trata de modelos complejos o cuando quieres optimizar partes concretas del código.

Opciones de despliegue en TorchScript

Antes de ver el código para exportar los modelos YOLOv8 al formato TorchScript , vamos a entender dónde se utilizan normalmente los modelos TorchScript .

TorchScript ofrece varias opciones de despliegue para los modelos de aprendizaje automático, como:

• API DE C++: El caso de uso más común de TorchScript es su API C++, que te permite cargar y ejecutar modelos optimizados de TorchScript directamente dentro de aplicaciones C++. Esto es ideal para entornos de producción en los que Python puede no ser adecuado o no estar disponible. La API C++ ofrece una ejecución eficiente y de baja sobrecarga de los modelos TorchScript , maximizando el potencial de rendimiento.

• Despliegue móvil: TorchScript ofrece herramientas para convertir modelos en formatos fácilmente desplegables en dispositivos móviles. PyTorch Mobile proporciona un tiempo de ejecución para ejecutar estos modelos dentro de aplicaciones iOS y Android. Esto permite capacidades de inferencia offline de baja latencia, mejorando la experiencia del usuario y la privacidad de los datos.

• Despliegue en la nube: Los modelos TorchScript pueden desplegarse en servidores basados en la nube utilizando soluciones como TorchServe. Proporciona funciones como el versionado de modelos, el procesamiento por lotes y la supervisión de métricas para un despliegue escalable en entornos de producción. El despliegue en la nube con TorchScript puede hacer que tus modelos sean accesibles mediante API u otros servicios web.

Exportar a TorchScript: Convertir tu modelo YOLOv8

Exportar modelos de YOLOv8 a TorchScript facilita su uso en distintos lugares y ayuda a que se ejecuten más rápida y eficazmente. Esto es estupendo para cualquiera que desee utilizar modelos de aprendizaje profundo de forma más eficaz en aplicaciones del mundo real.

Instalación

Para instalar el paquete necesario, ejecuta

# Install the required package for YOLOv8
pip install ultralytics

Para obtener instrucciones detalladas y buenas prácticas relacionadas con el proceso de instalación, consulta nuestra guía de instalaciónUltralytics . Mientras instalas los paquetes necesarios para YOLOv8, si encuentras alguna dificultad, consulta nuestra guía de Problemas comunes para encontrar soluciones y consejos.

Utilización

Antes de sumergirte en las instrucciones de uso, es importante tener en cuenta que, aunque todos los modelos deUltralytics YOLOv8 están disponibles para exportar, aquí puedes asegurarte de que el modelo que seleccionas admite la función de exportación.

from ultralytics import YOLO

# Load the YOLOv8 model
model = YOLO('yolov8n.pt')

# Export the model to TorchScript format
model.export(format='torchscript')  # creates 'yolov8n.torchscript'

# Load the exported TorchScript model
torchscript_model = YOLO('yolov8n.torchscript')

# Run inference
results = torchscript_model('https://ultralytics.com/images/bus.jpg')

# Export a YOLOv8n PyTorch model to TorchScript format
yolo export model=yolov8n.pt format=torchscript  # creates 'yolov8n.torchscript'

# Run inference with the exported model
yolo predict model=yolov8n.torchscript source='https://ultralytics.com/images/bus.jpg'

Para más detalles sobre el proceso de exportación, visita la página de documentaciónUltralytics sobre exportación.

Despliegue de modelos exportados de YOLOv8 TorchScript

Después de exportar con éxito tus modelos Ultralytics YOLOv8 al formato TorchScript , ya puedes desplegarlos. El primer paso principal y recomendado para ejecutar un modelo TorchScript es utilizar el método YOLO("modelo.torchscript"), como se indica en el fragmento de código de uso anterior. Sin embargo, para obtener instrucciones detalladas sobre cómo desplegar tus modelos TorchScript en otras configuraciones distintas, echa un vistazo a los siguientes recursos:

• Explora la implantación móvil: La documentación para móviles de PyTorch proporciona directrices completas para desplegar modelos en dispositivos móviles, garantizando que tus aplicaciones sean eficientes y tengan capacidad de respuesta.

• Despliegue maestro del lado del servidor: Aprende a desplegar modelos en el lado del servidor con TorchServe, ofreciendo un tutorial paso a paso para un servicio de modelos escalable y eficiente.

• Implementar la implantación de C: Sumérgete en el Tutorial sobre la carga de un modelo TorchScript en C++, que facilita la integración de tus modelos TorchScript en aplicaciones C++ para mejorar el rendimiento y la versatilidad.

Resumen

En esta guía, exploramos el proceso de exportación de modelos Ultralytics YOLOv8 al formato TorchScript . Siguiendo las instrucciones proporcionadas, puedes optimizar el rendimiento de los modelos YOLOv8 y obtener la flexibilidad necesaria para desplegarlos en diversas plataformas y entornos.

Para más detalles sobre su uso, visita la documentación oficial deTorchScript.

Además, si quieres saber más sobre otras integraciones de Ultralytics YOLOv8 , visita nuestra página de guía de integraciones. Allí encontrarás un montón de recursos e ideas útiles.

Comentarios