Guía de inicio rápido: NVIDIA Jetson con Ultralytics YOLOv8

Esta completa guía proporciona un recorrido detallado para implantar Ultralytics YOLOv8 en los dispositivos NVIDIA Jetson. Además, presenta pruebas de rendimiento para demostrar las capacidades de YOLOv8 en estos pequeños y potentes dispositivos.

Observa: Cómo configurar NVIDIA Jetson con Ultralytics YOLOv8

¿Qué es NVIDIA Jetson?

NVIDIA Jetson es una serie de placas de computación integradas diseñadas para llevar la computación acelerada de IA (inteligencia artificial) a los dispositivos periféricos. Estos dispositivos compactos y potentes se basan en la arquitectura GPU de NVIDIA y son capaces de ejecutar complejos algoritmos de IA y modelos de aprendizaje profundo directamente en el dispositivo, sin necesidad de depender de recursos informáticos en la nube. Las placas Jetson se utilizan a menudo en robótica, vehículos autónomos, automatización industrial y otras aplicaciones en las que la inferencia de IA debe realizarse localmente con baja latencia y alta eficiencia. Además, estas placas se basan en la arquitectura ARM64 y consumen menos energía que los dispositivos informáticos tradicionales de GPU .

NVIDIA Comparación de la serie Jetson

Jetson Orin es la última iteración de la familia Jetson de NVIDIA basada en la arquitectura NVIDIA Ampere que aporta un rendimiento de IA drásticamente mejorado en comparación con las generaciones anteriores. En la tabla siguiente se comparan algunos de los dispositivos Jetson del ecosistema.

Para ver una tabla comparativa más detallada, visita la sección Especificaciones técnicas de la página oficial de NVIDIA Jetson.

¿Qué es NVIDIA JetPack?

NVIDIA El SDK Jet Pack que impulsa los módulos Jetson es la solución más completa y proporciona un entorno de desarrollo completo para crear aplicaciones de IA aceleradas de extremo a extremo y acorta el tiempo de comercialización. JetPack incluye Jetson Linux con cargador de arranque, núcleo Linux, entorno de escritorio Ubuntu y un conjunto completo de bibliotecas para la aceleración de la informática, multimedia, gráficos y visión por ordenador de GPU . También incluye muestras, documentación y herramientas para desarrolladores, tanto para el ordenador central como para el kit de desarrollador, y es compatible con SDK de nivel superior como DeepStream para análisis de vídeo en streaming, Isaac para robótica y Riva para IA conversacional.

Flash JetPack a NVIDIA Jetson

El primer paso tras hacerte con un dispositivo NVIDIA Jetson es flashear NVIDIA JetPack al dispositivo. Hay varias formas diferentes de flashear dispositivos NVIDIA Jetson.

1. Si tienes un kit de desarrollo oficial de NVIDIA , como el kit de desarrollo Jetson Orin Nano, puedes descargar una imagen y preparar una tarjeta SD con JetPack para arrancar el dispositivo.
2. Si posees cualquier otro Kit de Desarrollo de NVIDIA , puedes flashear JetPack en el dispositivo utilizando SDK Manager.
3. Si tienes un dispositivo Seeed Studio reComputer J4012, puedes flashear JetPack en la SSD incluida y si tienes un dispositivo Seeed Studio reComputer J1020 v2, puedes flashear JetPack en la eMMC/ SSD.
4. Si posees cualquier otro dispositivo de terceros alimentado por el módulo Jetson de NVIDIA , se recomienda que sigas el parpadeo de la línea de comandos.

Funciona con JetPack 5.x

Si tienes un Jetson Xavier NX, AGX Xavier, AGX Orin, Orin Nano u Orin NX compatible con JetPack 5.x, puedes continuar siguiendo esta guía. Sin embargo, si tienes un dispositivo heredado como Jetson Nano, pasa a Ejecutar en JetPack 4.x.

Configurar Ultralytics

Hay dos formas de configurar el paquete Ultralytics en NVIDIA Jetson para construir tu próximo proyecto de Visión por Computador. Puedes utilizar cualquiera de ellas.

• Empieza con Docker
• Empezar sin Docker

Empieza con Docker

La forma más rápida de empezar a utilizar Ultralytics YOLOv8 en NVIDIA Jetson es ejecutar con una imagen docker preconstruida para Jetson.

Ejecuta el siguiente comando para extraer el contenedor Docker y ejecutarlo en Jetson. Se basa en la imagen docker l4t-pytorch que contiene PyTorch y Torchvision en un entorno Python3.

t=ultralytics/ultralytics:latest-jetson-jetpack5 && sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Una vez hecho esto, pasa a la sección Utilizar TensorRT en NVIDIA Jetson.

Empezar sin Docker

Instala el paquete Ultralytics

Aquí instalaremos el paquete Ultralytics en el Jetson con dependencias opcionales para que podamos exportar los modelos PyTorch a otros formatos diferentes. Nos centraremos principalmente en las exportaciones deNVIDIA TensorRT porque TensorRT nos asegurará el máximo rendimiento de los dispositivos Jetson.

1. Actualizar la lista de paquetes, instalar pip y actualizar a la última versión

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Instala ultralytics paquete pip con dependencias opcionales

   pip install ultralytics[export]
   

3. Reinicia el dispositivo

   sudo reboot
   

Instala PyTorch y Torchvision

La instalación anterior de ultralytics instalará Torch y Torchvision. Sin embargo, estos 2 paquetes instalados mediante pip no son compatibles para ejecutarse en la plataforma Jetson, basada en la arquitectura ARM64. Por lo tanto, tenemos que instalar manualmente PyTorch pip wheel y compilar/instalar Torchvision desde el código fuente.

1. Desinstala PyTorch y Torchvision instalados actualmente

   pip uninstall torch torchvision
   

2. Instala PyTorch 2.1.0 según JP5.1.3

   sudo apt-get install -y libopenblas-base libopenmpi-dev
   wget https://developer.download.nvidia.com/compute/redist/jp/v512/pytorch/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl -O torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   

3. Instala Torchvision v0.16.2 según PyTorch v2.1.0

   sudo apt install -y libjpeg-dev zlib1g-dev
   git clone https://github.com/pytorch/vision torchvision
   cd torchvision
   git checkout v0.16.2
   python3 setup.py install --user
   

Visita la páginaPyTorch para Jetson para acceder a todas las versiones de PyTorch para las distintas versiones de JetPack. Para obtener una lista más detallada sobre la compatibilidad de PyTorchy Torchvision, visita la página de compatibilidad dePyTorch y Torchvision.

Instala onnxruntime-gpu

En onnxruntime-gpu alojado en PyPI no tiene aarch64 binarios para la Jetson. Así que tenemos que instalar manualmente este paquete. Este paquete es necesario para algunas de las exportaciones.

Todos diferentes onnxruntime-gpu se enumeran los paquetes correspondientes a las distintas versiones de JetPack y Python aquí. Sin embargo, aquí descargaremos e instalaremos onnxruntime-gpu 1.17.0 con Python3.8 para el JetPack que utilizamos en esta guía.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Funciona en JetPack 4.x

Aquí apoyamos para ejecutar Ultralytics en hardware heredado como el Jetson Nano. Actualmente utilizamos Docker para lograr esto.

Ejecuta el siguiente comando para extraer el contenedor Docker y ejecutarlo en Jetson. Esto se basa en la imagen docker l4t-cuda que contiene CUDA en un entorno L4T.

t=ultralytics/ultralytics:latest-jetson-jetpack4 && sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Utiliza TensorRT en NVIDIA Jetson

De todos los formatos de exportación de modelos que admite Ultralytics, TensorRT ofrece el mejor rendimiento de inferencia cuando se trabaja con dispositivos NVIDIA Jetson y nuestra recomendación es utilizar TensorRT con Jetson. También tenemos un documento detallado sobre TensorRT aquí.

Convierte el modelo a TensorRT y ejecuta la inferencia

El modelo YOLOv8n en formato PyTorch se convierte a TensorRT para ejecutar la inferencia con el modelo exportado.

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="engine")  # creates 'yolov8n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolov8n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLOv8n PyTorch model to TensorRT format
yolo export model=yolov8n.pt format=engine  # creates 'yolov8n.engine'

# Run inference with the exported model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA Puntos de referencia de Jetson Orin YOLOv8

YOLOv8 Los puntos de referencia fueron ejecutados por el Ultralytics en 10 formatos de modelos diferentes que miden la velocidad y la precisión: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite PaddlePaddle, NCNN. Las pruebas de rendimiento se ejecutaron en Seeed Studio reComputer J4012 con tecnología del dispositivo Jetson Orin NX de 16 GB con precisión FP32 con un tamaño de imagen de entrada predeterminado de 640.

Cuadro comparativo

Aunque todas las exportaciones de modelos funcionan con NVIDIA Jetson, sólo hemos incluido PyTorch, TorchScript, TensorRT para la tabla comparativa de abajo porque, hacen uso del GPU en la Jetson y está garantizado que producen los mejores resultados. Todas las demás exportaciones sólo utilizan el CPU y el rendimiento no es tan bueno como el de las tres anteriores. Puedes encontrar puntos de referencia para todas las exportaciones en la sección que sigue a este gráfico.

Tabla comparativa detallada

La siguiente tabla representa los resultados de referencia para cinco modelos diferentes (YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) en diez formatos diferentes (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite PaddlePaddle, NCNN), lo que nos da el estado, el tamaño, la métrica mAP50-95(B) y el tiempo de inferencia para cada combinación.

Explora más pruebas comparativas de Seeed Studio ejecutadas en diferentes versiones del hardware NVIDIA Jetson.

Reproducir nuestros resultados

Para reproducir las pruebas anteriores de Ultralytics en todos los formatos de exportación, ejecuta este código:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmarks(data="coco8.yaml", imgsz=640)

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml imgsz=640

Buenas prácticas al utilizar NVIDIA Jetson

Cuando utilices NVIDIA Jetson, hay un par de buenas prácticas que debes seguir para conseguir el máximo rendimiento en NVIDIA Jetson ejecutando YOLOv8.

1. Activar el modo de potencia MAX

   Activando el Modo MAX Power en el Jetson te asegurarás de que todos los núcleos CPU, GPU están encendidos.

   sudo nvpmodel -m 0
   

2. Activar los Relojes Jetson

   Si activas los Relojes Jetson, te asegurarás de que todos los núcleos CPU, GPU estén sincronizados a su frecuencia máxima.

   sudo jetson_clocks
   

3. Instalar la aplicación Jetson Stats

   Podemos utilizar la aplicación jetson stats para monitorizar las temperaturas de los componentes del sistema y comprobar otros detalles del sistema como ver CPU, GPU, utilización de la RAM, cambiar los modos de energía, poner los relojes al máximo, comprobar la información de JetPack

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

Próximos pasos

¡Enhorabuena por haber configurado con éxito YOLOv8 en tu NVIDIA Jetson! ¡Para más información y ayuda, visita la guía Ultralytics YOLOv8 Docs!

PREGUNTAS FRECUENTES

¿Cómo despliego Ultralytics YOLOv8 en los dispositivos NVIDIA Jetson?

Desplegar Ultralytics YOLOv8 en dispositivos NVIDIA Jetson es un proceso sencillo. En primer lugar, flashea tu dispositivo Jetson con el SDK NVIDIA JetPack. A continuación, utiliza una imagen Docker precompilada para una configuración rápida o instala manualmente los paquetes necesarios. Encontrarás los pasos detallados para cada método en las secciones Empezar con Docker y Empezar sin Docker.

¿Qué pruebas de rendimiento puedo esperar de los modelos YOLOv8 en los dispositivos NVIDIA Jetson?

YOLOv8 se han sometido a pruebas comparativas en varios dispositivos Jetson de NVIDIA , mostrando mejoras significativas en el rendimiento. Por ejemplo, el formato TensorRT ofrece el mejor rendimiento de inferencia. La tabla de la sección Tabla comparativa detallada ofrece una visión completa de las métricas de rendimiento como mAP50-95 y el tiempo de inferencia en los distintos formatos de modelo.

¿Por qué debería utilizar TensorRT para desplegar YOLOv8 en NVIDIA Jetson?

TensorRT es muy recomendable para desplegar modelos YOLOv8 en NVIDIA Jetson debido a su rendimiento óptimo. Acelera la inferencia aprovechando las capacidades de GPU del Jetson, garantizando la máxima eficacia y velocidad. Obtén más información sobre cómo convertir a TensorRT y ejecutar la inferencia en la sección Utilizar TensorRT en NVIDIA Jetson.

¿Cómo puedo instalar PyTorch y Torchvision en NVIDIA Jetson?

Para instalar PyTorch y Torchvision en NVIDIA Jetson, desinstala primero cualquier versión existente que se haya instalado mediante pip. A continuación, instala manualmente las versiones compatibles de PyTorch y Torchvision para la arquitectura ARM64 del Jetson. Encontrarás instrucciones detalladas para este proceso en la sección Instalar PyTorch y Torchvision.

¿Cuáles son las mejores prácticas para maximizar el rendimiento en NVIDIA Jetson cuando se utiliza YOLOv8?

Para maximizar el rendimiento en NVIDIA Jetson con YOLOv8, sigue estas prácticas recomendadas:

1. Activa el modo MAX Power para utilizar todos los núcleos CPU y GPU .
2. Activa los Relojes Jetson para que todos los núcleos funcionen a su frecuencia máxima.
3. Instala la aplicación Jetson Stats para controlar las métricas del sistema.

Para obtener comandos y detalles adicionales, consulta la sección Buenas prácticas al utilizar NVIDIA Jetson.

Comentarios