Guía de inicio rápido: NVIDIA Jetson con Ultralytics YOLO11

Esta guía completa proporciona un tutorial detallado para implementar Ultralytics YOLO11 en dispositivos NVIDIA Jetson. Además, muestra pruebas de rendimiento para demostrar las capacidades de YOLO11 en estos dispositivos pequeños y potentes.

Ver: Cómo usar Ultralytics YOLO11 en dispositivos NVIDIA JETSON

¿Qué es NVIDIA Jetson?

NVIDIA Jetson es una serie de placas informáticas integradas diseñadas para llevar la computación acelerada de IA (inteligencia artificial) a los dispositivos de borde. Estos dispositivos compactos y potentes se basan en la arquitectura de la GPU de NVIDIA y son capaces de ejecutar algoritmos complejos de IA y modelos de aprendizaje profundo directamente en el dispositivo, sin necesidad de depender de los recursos de la computación en la nube. Las placas Jetson se utilizan a menudo en robótica, vehículos autónomos, automatización industrial y otras aplicaciones donde la inferencia de la IA debe realizarse localmente con baja latencia y alta eficiencia. Además, estas placas se basan en la arquitectura ARM64 y funcionan con menor potencia en comparación con los dispositivos informáticos tradicionales de la GPU.

Comparación de la serie NVIDIA Jetson

Jetson Orin es la última iteración de la familia NVIDIA Jetson basada en la arquitectura NVIDIA Ampere, que aporta un rendimiento de IA drásticamente mejorado en comparación con las generaciones anteriores. La siguiente tabla compara algunos de los dispositivos Jetson del ecosistema.

Para una tabla comparativa más detallada, visite la sección de Especificaciones Técnicas de la página oficial de NVIDIA Jetson.

¿Qué es NVIDIA JetPack?

El SDK NVIDIA JetPack que impulsa los módulos Jetson es la solución más completa y proporciona un entorno de desarrollo completo para la creación de aplicaciones de IA aceleradas de extremo a extremo y reduce el tiempo de comercialización. JetPack incluye Jetson Linux con bootloader, kernel de Linux, entorno de escritorio Ubuntu y un conjunto completo de bibliotecas para la aceleración de la computación de GPU, multimedia, gráficos y visión artificial. También incluye ejemplos, documentación y herramientas de desarrollo tanto para el ordenador host como para el kit de desarrollo, y es compatible con SDK de nivel superior como DeepStream para el análisis de vídeo en streaming, Isaac para la robótica y Riva para la IA conversacional.

Flashear JetPack a NVIDIA Jetson

El primer paso después de tener en tus manos un dispositivo NVIDIA Jetson es flashear NVIDIA JetPack en el dispositivo. Hay varias formas diferentes de flashear dispositivos NVIDIA Jetson.

1. Si posees un Kit de Desarrollo oficial de NVIDIA, como el Kit de Desarrollo Jetson Orin Nano, puedes descargar una imagen y preparar una tarjeta SD con JetPack para arrancar el dispositivo.
2. Si posee cualquier otro kit de desarrollo de NVIDIA, puede flashear JetPack al dispositivo usando SDK Manager.
3. Si posee un dispositivo Seeed Studio reComputer J4012, puede flashear JetPack al SSD incluido, y si posee un dispositivo Seeed Studio reComputer J1020 v2, puede flashear JetPack a la eMMC/SSD.
4. Si posee cualquier otro dispositivo de terceros alimentado por el módulo NVIDIA Jetson, se recomienda seguir el flasheo por línea de comandos.

Soporte de JetPack según el dispositivo Jetson

La siguiente tabla destaca las versiones de NVIDIA JetPack compatibles con diferentes dispositivos NVIDIA Jetson.

Inicio rápido con Docker

La forma más rápida de empezar con Ultralytics YOLO11 en NVIDIA Jetson es ejecutar con imágenes Docker precompiladas para Jetson. Consulte la tabla anterior y elija la versión de JetPack según el dispositivo Jetson que posea.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack5
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack6
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Una vez hecho esto, vaya a la sección Usar TensorRT en NVIDIA Jetson.

Comenzar con la instalación nativa

Para una instalación nativa sin Docker, consulte los pasos siguientes.

Ejecutar en JetPack 6.1

Instalar el paquete Ultralytics

Aquí instalaremos el paquete Ultralytics en Jetson con dependencias opcionales para poder exportar los modelos de PyTorch a otros formatos diferentes. Nos centraremos principalmente en las exportaciones de NVIDIA TensorRT porque TensorRT se asegurará de que podamos obtener el máximo rendimiento de los dispositivos Jetson.

1. Actualizar la lista de paquetes, instalar pip y actualizar a la última versión

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Instalar ultralytics paquete pip con dependencias opcionales

   pip install ultralytics[export]
   

3. Reiniciar el dispositivo

   sudo reboot
   

Instalar PyTorch y Torchvision

La instalación anterior de Ultralytics instalará Torch y Torchvision. Sin embargo, estos 2 paquetes instalados a través de pip no son compatibles para ejecutarse en la plataforma Jetson, que se basa en la arquitectura ARM64. Por lo tanto, necesitamos instalar manualmente la rueda pip de PyTorch precompilada y compilar/instalar Torchvision desde la fuente.

Instalar torch 2.5.0 y torchvision 0.20 de acuerdo con JP6.1

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.5.0a0+872d972e41.nv24.08-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.20.0a0+afc54f7-cp310-cp310-linux_aarch64.whl

Instalar cuSPARSELt para solucionar un problema de dependencia con torch 2.5.0

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/arm64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get -y install libcusparselt0 libcusparselt-dev

Instalar onnxruntime-gpu

El onnxruntime-gpu el paquete alojado en PyPI no tiene aarch64 binarios para Jetson. Por lo tanto, necesitamos instalar este paquete manualmente. Este paquete es necesario para algunas de las exportaciones.

Puede encontrar todos los onnxruntime-gpu paquetes, organizados por versión de JetPack, versión de Python y otros detalles de compatibilidad, en el Matriz de compatibilidad de Jetson Zoo con ONNX Runtime. Aquí descargaremos e instalaremos onnxruntime-gpu 1.20.0 con Python3.10 soporte.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

Ejecutar en JetPack 5.1.2

Instalar el paquete Ultralytics

Aquí instalaremos el paquete Ultralytics en Jetson con dependencias opcionales para que podamos exportar los modelos PyTorch a otros formatos diferentes. Nos centraremos principalmente en las exportaciones NVIDIA TensorRT porque TensorRT se asegurará de que podamos obtener el máximo rendimiento de los dispositivos Jetson.

1. Actualizar la lista de paquetes, instalar pip y actualizar a la última versión

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Instalar ultralytics paquete pip con dependencias opcionales

   pip install ultralytics[export]
   

3. Reiniciar el dispositivo

   sudo reboot
   

Instalar PyTorch y Torchvision

La instalación anterior de Ultralytics instalará Torch y Torchvision. Sin embargo, estos 2 paquetes instalados a través de pip no son compatibles para ejecutarse en la plataforma Jetson, que se basa en la arquitectura ARM64. Por lo tanto, necesitamos instalar manualmente la rueda pip de PyTorch precompilada y compilar/instalar Torchvision desde la fuente.

1. Desinstalar PyTorch y Torchvision actualmente instalados

   pip uninstall torch torchvision
   

2. Instalar torch 2.2.0 y torchvision 0.17.2 de acuerdo con JP5.1.2

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.2.0-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.17.2+c1d70fe-cp38-cp38-linux_aarch64.whl
   

Instalar onnxruntime-gpu

El onnxruntime-gpu el paquete alojado en PyPI no tiene aarch64 binarios para Jetson. Por lo tanto, necesitamos instalar este paquete manualmente. Este paquete es necesario para algunas de las exportaciones.

Puede encontrar todos los onnxruntime-gpu paquetes, organizados por versión de JetPack, versión de Python y otros detalles de compatibilidad, en el Matriz de compatibilidad de Jetson Zoo con ONNX Runtime. Aquí descargaremos e instalaremos onnxruntime-gpu 1.17.0 con Python3.8 soporte.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Usar TensorRT en NVIDIA Jetson

Entre todos los formatos de exportación de modelos compatibles con Ultralytics, TensorRT ofrece el mayor rendimiento de inferencia en dispositivos NVIDIA Jetson, lo que la convierte en nuestra principal recomendación para implementaciones en Jetson. Para obtener instrucciones de configuración y uso avanzado, consulte nuestra guía de integración de TensorRT.

Convertir el modelo a TensorRT y ejecutar la inferencia

El modelo YOLO11n en formato PyTorch se convierte a TensorRT para ejecutar la inferencia con el modelo exportado.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine # creates 'yolo11n.engine'

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

Usar el Acelerador de Aprendizaje Profundo (DLA) de NVIDIA

NVIDIA Deep Learning Accelerator (DLA) es un componente de hardware especializado integrado en los dispositivos NVIDIA Jetson que optimiza la inferencia de aprendizaje profundo para la eficiencia energética y el rendimiento. Al descargar tareas de la GPU (liberándola para procesos más intensivos), DLA permite que los modelos se ejecuten con un menor consumo de energía manteniendo un alto rendimiento, ideal para sistemas integrados y aplicaciones de IA en tiempo real.

Los siguientes dispositivos Jetson están equipados con hardware DLA:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", half=True)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format with DLA enabled (only works with FP16 or INT8)
# Once DLA core number is specified at export, it will use the same core at inference
yolo export model=yolo11n.pt format=engine device="dla:0" half=True # dla:0 or dla:1 corresponds to the DLA cores

# Run inference with the exported model on the DLA
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

Benchmarks de Ultralytics YOLO11 en NVIDIA Jetson Orin

El equipo de Ultralytics ejecutó benchmarks de YOLO11 en 10 formatos de modelo diferentes, midiendo la velocidad y la precisión: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN. Los benchmarks se ejecutaron en NVIDIA Jetson AGX Orin Developer Kit (64GB), NVIDIA Jetson Orin Nano Super Developer Kit y Seeed Studio reComputer J4012 alimentado por el dispositivo Jetson Orin NX 16GB a precisión FP32 con un tamaño de imagen de entrada predeterminado de 640.

Gráficos comparativos

Aunque todas las exportaciones de modelos funcionan con NVIDIA Jetson, solo hemos incluido PyTorch, TorchScript, TensorRT para la tabla comparativa a continuación porque utilizan la GPU en Jetson y se garantiza que producirán los mejores resultados. Todas las demás exportaciones solo utilizan la CPU y el rendimiento no es tan bueno como los tres anteriores. Puede encontrar puntos de referencia para todas las exportaciones en la sección después de esta tabla.

NVIDIA Jetson AGX Orin Developer Kit (64GB)

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

Tablas de comparación detalladas

La siguiente tabla representa los resultados de referencia para cinco modelos diferentes (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) en diez formatos diferentes (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN), lo que nos da el estado, el tamaño, la métrica mAP50-95(B) y el tiempo de inferencia para cada combinación.

NVIDIA Jetson AGX Orin Developer Kit (64GB)

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

Explore más pruebas de rendimiento de Seeed Studio que se ejecutan en diferentes versiones de hardware NVIDIA Jetson.

Reproducir nuestros resultados

Para reproducir los benchmarks de Ultralytics anteriores en todos los formatos de exportación, ejecute este código:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all all export formats
yolo benchmark model=yolo11n.pt data=coco128.yaml imgsz=640

Mejores prácticas al usar NVIDIA Jetson

Cuando se utiliza NVIDIA Jetson, hay una serie de prácticas recomendadas que se deben seguir para habilitar el máximo rendimiento en NVIDIA Jetson ejecutando YOLO11.

1. Habilitar el modo de máxima potencia (MAX Power Mode)

   Habilitar el modo de máxima potencia en Jetson asegurará que todos los núcleos de la CPU y la GPU estén activados.

   sudo nvpmodel -m 0
   

2. Habilitar los relojes de Jetson (Jetson Clocks)

   Habilitar los relojes de Jetson asegurará que todos los núcleos de la CPU y la GPU estén sincronizados a su frecuencia máxima.

   sudo jetson_clocks
   

3. Instalar la aplicación Jetson Stats

   Podemos utilizar la aplicación Jetson Stats para supervisar las temperaturas de los componentes del sistema y comprobar otros detalles del sistema, como ver la utilización de la CPU, la GPU y la RAM, cambiar los modos de energía, establecer los relojes máximos y comprobar la información de JetPack.

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

Próximos pasos

¡Enhorabuena por configurar correctamente YOLO11 en su NVIDIA Jetson! Para obtener más información y soporte, visite más guías en Ultralytics YOLO11 Docs.

Preguntas frecuentes

¿Cómo implemento Ultralytics YOLO11 en dispositivos NVIDIA Jetson?

El despliegue de Ultralytics YOLO11 en dispositivos NVIDIA Jetson es un proceso sencillo. En primer lugar, flashee su dispositivo Jetson con el SDK NVIDIA JetPack. A continuación, utilice una imagen Docker preconstruida para una configuración rápida o instale manualmente los paquetes necesarios. En las secciones Inicio rápido con Docker e Inicio con la instalación nativa encontrará los pasos detallados para cada enfoque.

¿Qué benchmarks de rendimiento puedo esperar de los modelos YOLO11 en dispositivos NVIDIA Jetson?

Los modelos YOLO11 han sido evaluados en varios dispositivos NVIDIA Jetson, mostrando mejoras significativas en el rendimiento. Por ejemplo, el formato TensorRT ofrece el mejor rendimiento de inferencia. La tabla en la sección Tablas de comparación detalladas proporciona una visión completa de las métricas de rendimiento como mAP50-95 y el tiempo de inferencia en diferentes formatos de modelo.

¿Por qué debería usar TensorRT para implementar YOLO11 en NVIDIA Jetson?

TensorRT es muy recomendable para desplegar modelos YOLO11 en NVIDIA Jetson debido a su rendimiento óptimo. Acelera la inferencia aprovechando las capacidades de la GPU de Jetson, garantizando la máxima eficiencia y velocidad. Obtenga más información sobre cómo convertir a TensorRT y ejecutar la inferencia en la sección Usar TensorRT en NVIDIA Jetson.

¿Cómo puedo instalar PyTorch y Torchvision en NVIDIA Jetson?

Para instalar PyTorch y Torchvision en NVIDIA Jetson, primero desinstale cualquier versión existente que pueda haber sido instalada a través de pip. A continuación, instale manualmente las versiones compatibles de PyTorch y Torchvision para la arquitectura ARM64 de Jetson. En la sección Instalar PyTorch y Torchvision se proporcionan instrucciones detalladas para este proceso.

¿Cuáles son las mejores prácticas para maximizar el rendimiento en NVIDIA Jetson al usar YOLO11?

Para maximizar el rendimiento en NVIDIA Jetson con YOLO11, siga estas prácticas recomendadas:

1. Habilite el modo de máxima potencia para utilizar todos los núcleos de la CPU y la GPU.
2. Habilite los relojes de Jetson para ejecutar todos los núcleos a su frecuencia máxima.
3. Instale la aplicación Jetson Stats para supervisar las métricas del sistema.

Para obtener comandos y detalles adicionales, consulte la sección Prácticas recomendadas al utilizar NVIDIA Jetson.

📅 Creado hace 1 año ✏️ Actualizado hace 3 meses

Comentarios