Guía de inicio rápido: NVIDIA Jetson con Ultralytics YOLO11

Esta completa guía ofrece un recorrido detallado para implantar Ultralytics YOLO11 en los dispositivos NVIDIA Jetson. Además, presenta pruebas de rendimiento para demostrar las capacidades de YOLO11 en estos pequeños y potentes dispositivos.

Observa: Cómo configurar NVIDIA Jetson con Ultralytics YOLO11

¿Qué es NVIDIA Jetson?

NVIDIA Jetson es una serie de placas de computación integradas diseñadas para llevar la computación acelerada de IA (inteligencia artificial) a los dispositivos periféricos. Estos dispositivos compactos y potentes se basan en la arquitectura GPU de NVIDIA y son capaces de ejecutar complejos algoritmos de IA y modelos de aprendizaje profundo directamente en el dispositivo, sin necesidad de depender de recursos de computación en la nube. Las placas Jetson se utilizan a menudo en robótica, vehículos autónomos, automatización industrial y otras aplicaciones en las que la inferencia de IA debe realizarse localmente con baja latencia y alta eficiencia. Además, estas placas se basan en la arquitectura ARM64 y consumen menos energía que los dispositivos informáticos tradicionales GPU .

NVIDIA Comparación de la serie Jetson

Jetson Orin es la última iteración de la familia Jetson NVIDIA basada en la arquitectura NVIDIA Ampere que aporta un rendimiento de IA drásticamente mejorado en comparación con las generaciones anteriores. En la tabla siguiente se comparan algunos de los dispositivos Jetson del ecosistema.

Para obtener una tabla comparativa más detallada, visite la sección de especificaciones técnicas de la página oficial de NVIDIA Jetson.

¿Qué es NVIDIA JetPack?

NVIDIA El kit de desarrollo de software JetPack de los módulos Jetson es la solución más completa y ofrece un entorno de desarrollo completo para crear aplicaciones de IA aceleradas de principio a fin y reducir el tiempo de comercialización. JetPack incluye Jetson Linux con gestor de arranque, kernel Linux, entorno de escritorio Ubuntu y un completo conjunto de librerías para la aceleración de GPU informática, multimedia, gráficos y visión por ordenador. También incluye muestras, documentación y herramientas de desarrollo tanto para el ordenador central como para el kit de desarrollo, y es compatible con SDK de nivel superior como DeepStream para análisis de vídeo en streaming, Isaac para robótica y Riva para IA conversacional.

Flash JetPack a NVIDIA Jetson

El primer paso después de conseguir un dispositivo NVIDIA Jetson es flashear NVIDIA JetPack al dispositivo. Hay varias formas de flashear dispositivos NVIDIA Jetson.

1. Si posees un kit de desarrollo oficial de NVIDIA como el Jetson Orin Nano Developer Kit, puedes descargar una imagen y preparar una tarjeta SD con JetPack para arrancar el dispositivo.
2. Si posees cualquier otro Kit de Desarrollo NVIDIA , puedes flashear JetPack al dispositivo usando SDK Manager.
3. Si posee un dispositivo Seeed Studio reComputer J4012, puede flashear JetPack en el SSD incluido y si posee un dispositivo Seeed Studio reComputer J1020 v2, puede flashear JetPack en el eMMC/ SSD.
4. Si posee cualquier otro dispositivo de terceros alimentado por el módulo NVIDIA Jetson, se recomienda seguir la línea de comandos de flasheo.

Soporte para JetPack basado en el dispositivo Jetson

La siguiente tabla muestra las versiones de NVIDIA JetPack soportadas por los diferentes dispositivos NVIDIA Jetson.

Inicio rápido con Docker

La forma más rápida de empezar con Ultralytics YOLO11 en NVIDIA Jetson es ejecutar con imágenes docker pre-construidas para Jetson. Consulte la tabla anterior y elija la versión de JetPack según el dispositivo Jetson que posea.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack5
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack6
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Una vez hecho esto, vaya a la sección Utilizar TensorRT en NVIDIA Jetson.

Comience con la instalación nativa

Para una instalación nativa sin Docker, consulte los pasos siguientes.

Run on JetPack 6.1

Instale el paquete Ultralytics

Aquí instalaremos el paquete Ultralytics en el Jetson con dependencias opcionales para que podamos exportar los PyTorch modelos a otros formatos diferentes. Nos centraremos principalmente en NVIDIA TensorRT exportaciones porque TensorRT se asegurará de que podemos obtener el máximo rendimiento de los dispositivos Jetson.

1. Actualizar la lista de paquetes, instalar pip y actualizar a la última versión

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Instale ultralytics Paquete pip con dependencias opcionales

   pip install ultralytics[export]
   

3. Reiniciar el dispositivo

   sudo reboot
   

Instalar PyTorch y Torchvision

La instalación anterior de ultralytics instalará Torch y Torchvision. Sin embargo, estos 2 paquetes instalados a través de pip no son compatibles para ejecutarse en la plataforma Jetson que se basa en la arquitectura ARM64. Por lo tanto, tenemos que instalar manualmente PyTorch pip wheel y compilar / instalar Torchvision desde el código fuente.

Instale torch 2.5.0 y torchvision 0.20 according to JP6.1

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.5.0a0+872d972e41.nv24.08-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.20.0a0+afc54f7-cp310-cp310-linux_aarch64.whl

Instale cuSPARSELt to fix a dependency issue with torch 2.5.0

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/arm64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get -y install libcusparselt0 libcusparselt-dev

Instale onnxruntime-gpu

En onnxruntime-gpu alojado en PyPI no tiene aarch64 binarios para la Jetson. Así que tenemos que instalar manualmente este paquete. Este paquete es necesario para algunas de las exportaciones.

Todos diferentes onnxruntime-gpu se enumeran los paquetes correspondientes a las distintas versiones de JetPack y Python aquí. Sin embargo, aquí vamos a descargar e instalar onnxruntime-gpu 1.20.0 con Python3.10 apoyo.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

Run on JetPack 5.1.2

Instale el paquete Ultralytics

Aquí instalaremos el paquete Ultralytics en el Jetson con dependencias opcionales para que podamos exportar los modelos PyTorch a otros formatos diferentes. Nos centraremos principalmente en NVIDIA TensorRT exportaciones porque TensorRT se asegurará de que podemos obtener el máximo rendimiento de los dispositivos Jetson.

1. Actualizar la lista de paquetes, instalar pip y actualizar a la última versión

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Instale ultralytics Paquete pip con dependencias opcionales

   pip install ultralytics[export]
   

3. Reiniciar el dispositivo

   sudo reboot
   

Instalar PyTorch y Torchvision

La instalación anterior de ultralytics instalará Torch y Torchvision. Sin embargo, estos 2 paquetes instalados a través de pip no son compatibles para ejecutarse en la plataforma Jetson que se basa en la arquitectura ARM64. Por lo tanto, tenemos que instalar manualmente PyTorch pip wheel y compilar / instalar Torchvision desde el código fuente.

1. Desinstalar PyTorch y Torchvision instalados actualmente

   pip uninstall torch torchvision
   

2. Instale torch 2.1.0 y torchvision 0.16.2 according to JP5.1.2

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.16.2+c6f3977-cp38-cp38-linux_aarch64.whl
   

Instale onnxruntime-gpu

En onnxruntime-gpu alojado en PyPI no tiene aarch64 binarios para la Jetson. Así que tenemos que instalar manualmente este paquete. Este paquete es necesario para algunas de las exportaciones.

Todos diferentes onnxruntime-gpu se enumeran los paquetes correspondientes a las distintas versiones de JetPack y Python aquí. Sin embargo, aquí vamos a descargar e instalar onnxruntime-gpu 1.17.0 con Python3.8 apoyo.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Utilice TensorRT en NVIDIA Jetson

De todos los formatos de exportación de modelos soportados por Ultralytics, TensorRT ofrece el mejor rendimiento de inferencia cuando se trabaja con dispositivos NVIDIA Jetson y nuestra recomendación es utilizar TensorRT con Jetson. También tenemos un documento detallado sobre TensorRT aquí.

Convierta el modelo a TensorRT y ejecute la inferencia

El modelo YOLO11n en formato PyTorch se convierte a TensorRT para ejecutar la inferencia con el modelo exportado.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine  # creates 'yolo11n.engine'

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

Utilice NVIDIA Deep Learning Accelerator (DLA)

NVIDIA Deep Learning Accelerator (DLA) es un componente de hardware especializado integrado en los dispositivos Jetson de NVIDIA que optimiza la inferencia del aprendizaje profundo en términos de eficiencia energética y rendimiento. Al descargar las tareas de GPU (liberándolo para procesos más intensivos), DLA permite que los modelos se ejecuten con un menor consumo de energía manteniendo un alto rendimiento, ideal para sistemas integrados y aplicaciones de IA en tiempo real.

Los siguientes dispositivos Jetson están equipados con hardware DLA:

• Jetson Orin NX 16 GB
• Serie Jetson AGX Orin
• Jetson AGX Serie Xavier
• Jetson Xavier Serie NX

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", half=True)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format with DLA enabled (only works with FP16 or INT8)
yolo export model=yolo11n.pt format=engine device="dla:0" half=True  # dla:0 or dla:1 corresponds to the DLA cores

# Run inference with the exported model on the DLA
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA Puntos de referencia de Jetson Orin YOLO11

YOLO11 benchmarks were run by the Ultralytics team on 10 different model formats measuring speed and accuracy: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, PaddlePaddle, NCNN. Benchmarks were run on both NVIDIA Jetson Orin Nano Super Developer Kit and Seeed Studio reComputer J4012 powered by Jetson Orin NX 16GB device at FP32 precision with default input image size of 640.

Comparison Charts

Aunque todos los modelos exportados funcionan con NVIDIA Jetson, sólo hemos incluido PyTorch, TorchScript, TensorRT en la tabla comparativa que aparece a continuación porque utilizan GPU en Jetson y se garantiza que producen los mejores resultados. Todas las demás exportaciones sólo utilizan CPU y su rendimiento no es tan bueno como el de las tres anteriores. Puedes encontrar puntos de referencia para todas las exportaciones en la sección después de este gráfico.

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

Detailed Comparison Tables

La siguiente tabla representa los resultados del benchmark para cinco modelos diferentes (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) a través de diez formatos diferentes (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel , TF GraphDef , TF Lite, PaddlePaddle, NCNN), dándonos el estado, el tamaño, la métrica mAP50-95(B) y el tiempo de inferencia para cada combinación.

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

Explore más pruebas comparativas realizadas por Seeed Studio en diferentes versiones del hardware NVIDIA Jetson.

Reproduzca nuestros resultados

Para reproducir las pruebas anteriores de Ultralytics en todos los formatos de exportación, ejecute este código:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmark(data="coco8.yaml", imgsz=640)

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml imgsz=640

Buenas prácticas al utilizar NVIDIA Jetson

Cuando se utiliza NVIDIA Jetson, hay un par de buenas prácticas a seguir para permitir el máximo rendimiento en el NVIDIA Jetson ejecutando YOLO11.

1. Activar modo MAX Power

   Activando el modo MAX Power en el Jetson se asegurará de que todos los núcleos CPU, GPU están encendidos.

   sudo nvpmodel -m 0
   

2. Activar los relojes Jetson

   Activando Jetson Clocks te asegurarás de que todos los núcleos CPU, GPU están sincronizados a su frecuencia máxima.

   sudo jetson_clocks
   

3. Instalar la aplicación Jetson Stats

   Podemos utilizar la aplicación jetson stats para monitorizar las temperaturas de los componentes del sistema y comprobar otros detalles del sistema como ver CPU, GPU, utilización de la RAM, cambiar los modos de energía, poner los relojes al máximo, comprobar la información de JetPack

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

Próximos pasos

¡Enhorabuena por haber configurado con éxito YOLO11 en tu NVIDIA Jetson! ¡Para más información y ayuda, visite la guía Ultralytics YOLO11 Docs!

PREGUNTAS FRECUENTES

¿Cómo implanto Ultralytics YOLO11 en los dispositivos NVIDIA Jetson?

Desplegar Ultralytics YOLO11 en dispositivos NVIDIA Jetson es un proceso sencillo. En primer lugar, flashea tu dispositivo Jetson con el SDK JetPack de NVIDIA . A continuación, utilice una imagen Docker precompilada para una configuración rápida o instale manualmente los paquetes necesarios. Los pasos detallados para cada enfoque se pueden encontrar en las secciones Inicio rápido con Docker e Inicio con instalación nativa.

¿Qué pruebas de rendimiento puedo esperar de los modelos YOLO11 en los dispositivos NVIDIA Jetson?

YOLO11 models have been benchmarked on various NVIDIA Jetson devices showing significant performance improvements. For example, the TensorRT format delivers the best inference performance. The table in the Detailed Comparison Tables section provides a comprehensive view of performance metrics like mAP50-95 and inference time across different model formats.

¿Por qué debería utilizar TensorRT para desplegar YOLO11 en NVIDIA Jetson?

TensorRT es muy recomendable para desplegar modelos YOLO11 en NVIDIA Jetson debido a su óptimo rendimiento. Acelera la inferencia aprovechando las capacidades de GPU de Jetson, lo que garantiza la máxima eficiencia y velocidad. Obtenga más información sobre cómo convertir a TensorRT y ejecutar la inferencia en la sección Uso de TensorRT en NVIDIA Jetson.

¿Cómo puedo instalar PyTorch y Torchvision en NVIDIA Jetson?

To install PyTorch and Torchvision on NVIDIA Jetson, first uninstall any existing versions that may have been installed via pip. Then, manually install the compatible PyTorch and Torchvision versions for the Jetson's ARM64 architecture. Detailed instructions for this process are provided in the Installation of PyTorch and Torchvision section.

¿Cuáles son las mejores prácticas para maximizar el rendimiento en NVIDIA Jetson cuando se utiliza YOLO11?

Para maximizar el rendimiento en NVIDIA Jetson con YOLO11, siga estas prácticas recomendadas:

1. Active el modo MAX Power para utilizar todos los núcleos CPU y GPU .
2. Activa Jetson Clocks para que todos los núcleos funcionen a su frecuencia máxima.
3. Instala la aplicación Jetson Stats para monitorizar las métricas del sistema.

Para obtener comandos y detalles adicionales, consulte la sección Buenas prácticas al utilizar NVIDIA Jetson.

Creado hace 9 meses ✏️ Actualizado hace 11 días

Comentarios