Guía de inicio rápido: NVIDIA Jetson con Ultralytics YOLO26#

Esta guía completa ofrece instrucciones detalladas para implementar Ultralytics YOLO26 en dispositivos NVIDIA Jetson. También incluye pruebas de rendimiento que muestran las capacidades de YOLO26 en estos dispositivos pequeños y potentes.

¿Qué es NVIDIA Jetson?#

NVIDIA Jetson es una serie de placas de computación integradas diseñadas para llevar la computación acelerada de IA (inteligencia artificial) a los dispositivos periféricos. Estos dispositivos compactos y potentes se basan en la arquitectura de GPU de NVIDIA y pueden ejecutar algoritmos complejos de IA y modelos de aprendizaje profundo directamente en el dispositivo, sin depender de los recursos de computación en la nube. Las placas Jetson se usan a menudo en robótica, vehículos autónomos, automatización industrial y otras aplicaciones que requieren ejecutar la inferencia de IA localmente, con baja latencia y gran eficiencia. Además, estas placas se basan en la arquitectura ARM64 y consumen menos energía que los dispositivos de computación con GPU tradicionales.

Comparativa de la serie NVIDIA Jetson#

NVIDIA Jetson AGX Thor es la versión más reciente de la familia NVIDIA Jetson y se basa en la arquitectura NVIDIA Blackwell, que mejora drásticamente el rendimiento de IA respecto a las generaciones anteriores. En la tabla siguiente se comparan algunos dispositivos del ecosistema Jetson.

Para consultar una tabla comparativa más detallada, visita la sección Compare Specifications de la página oficial de NVIDIA Jetson.

¿Qué es NVIDIA JetPack?#

NVIDIA JetPack SDK, que impulsa los módulos Jetson, es la solución más completa y ofrece un entorno de desarrollo integral para crear aplicaciones de IA aceleradas de extremo a extremo, además de reducir el tiempo de comercialización. JetPack incluye Jetson Linux con cargador de arranque, kernel de Linux, entorno de escritorio Ubuntu y un conjunto completo de bibliotecas para acelerar la computación con GPU, los contenidos multimedia, los gráficos y la visión artificial. También incluye ejemplos, documentación y herramientas para desarrolladores tanto para el ordenador anfitrión como para el kit de desarrollo, y admite SDK de nivel superior como DeepStream para el análisis de vídeo en streaming, Isaac para robótica y Riva para IA conversacional.

Instalar JetPack en NVIDIA Jetson#

El primer paso tras conseguir un dispositivo NVIDIA Jetson es instalar NVIDIA JetPack en él. Hay varias formas de instalarlo en dispositivos NVIDIA Jetson.

1. Para JetPack 7.2 en un kit de desarrollo oficial Jetson AGX Thor, AGX Orin u Orin Nano, descarga la ISO unificada de Jetson, grábala en una unidad USB y sigue la guía de inicio rápido específica del dispositivo para AGX Thor, AGX Orin u Orin Nano. A partir de JetPack 7.2, Orin Nano ya no utiliza una imagen de tarjeta SD descargable; la instalación desde la ISO en USB instala Jetson Linux en la tarjeta microSD o el SSD NVMe del dispositivo.
2. Si utilizas JetPack 6 deliberadamente en un kit de desarrollo Jetson Orin Nano, sigue las instrucciones de actualización y de tarjeta SD de JetPack 6.x de NVIDIA.
3. Si tienes otro kit de desarrollo NVIDIA, puedes instalar JetPack en el dispositivo con SDK Manager.
4. Si tienes un dispositivo Seeed Studio reComputer J4012, puedes instalar JetPack en el SSD incluido; si tienes un dispositivo Seeed Studio reComputer J1020 v2, puedes instalar JetPack en el eMMC/ SSD.
5. Si tienes otro dispositivo de terceros equipado con un módulo NVIDIA Jetson, te recomendamos seguir las instrucciones de instalación desde la línea de comandos.

Compatibilidad de JetPack según el dispositivo Jetson#

La tabla siguiente muestra las versiones de NVIDIA JetPack compatibles con los distintos dispositivos NVIDIA Jetson.

Inicio rápido con Docker#

La forma más rápida de empezar a usar Ultralytics YOLO26 en NVIDIA Jetson es ejecutarlo con imágenes de Docker prediseñadas para Jetson. Consulta la tabla anterior y elige la versión de JetPack correspondiente al dispositivo Jetson que tengas.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Para las imágenes de JetPack 4, 5 y 6, sigue los pasos de Uso de TensorRT en NVIDIA Jetson. La imagen de JetPack 7.1 anterior es solo para cargas de trabajo de PyTorch.

Empieza con la instalación nativa#

Para realizar una instalación nativa sin Docker, sigue los pasos que se indican a continuación.

Ejecución en JetPack 7.2#

Instala el paquete Ultralytics#

Aquí instalaremos el paquete Ultralytics en Jetson. Las dependencias de exportación se instalan automáticamente la primera vez que exportas un modelo, así que aquí solo necesitas el paquete base. Nos centraremos principalmente en las exportaciones a NVIDIA TensorRT, porque TensorRT permite sacar el máximo rendimiento de los dispositivos Jetson.

1. Actualiza la lista de paquetes, instala pip y actualízalo a la última versión

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Instala el paquete pip ultralytics

   pip install ultralytics

3. Reinicia el dispositivo

   sudo reboot

Instala PyTorch y Torchvision#

La instalación de Ultralytics anterior instalará Torch y Torchvision. Sin embargo, estos dos paquetes instalados mediante pip no son compatibles con los dispositivos JetPack 7.2 con CUDA 13. Por tanto, tenemos que instalarlos manualmente.

Instala torch y torchvision según JP7.2

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

Instala onnxruntime-gpu#

Utiliza un paquete de ONNX Runtime para GPU compatible con tus versiones de JetPack, Python y CUDA. Las versiones actuales de PyPI incluyen paquetes ARM64, pero no sustituyen a los paquetes específicos del dispositivo para todas las versiones de JetPack.

Aquí descargaremos e instalaremos onnxruntime-gpu 1.24.0 con compatibilidad con Python3.12.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

Ejecución en JetPack 6.1#

Instala el paquete Ultralytics#

Aquí instalaremos el paquete Ultralytics en Jetson. Las dependencias de exportación se instalan automáticamente la primera vez que exportas un modelo, así que aquí solo necesitas el paquete base. Nos centraremos principalmente en las exportaciones a NVIDIA TensorRT, porque TensorRT permite sacar el máximo rendimiento de los dispositivos Jetson.

1. Actualiza la lista de paquetes, instala pip y actualízalo a la última versión

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Instala el paquete pip ultralytics

   pip install ultralytics

3. Reinicia el dispositivo

   sudo reboot

Instala PyTorch y Torchvision#

La instalación de Ultralytics anterior instalará Torch y Torchvision. Sin embargo, estos dos paquetes instalados mediante pip no son compatibles con la plataforma Jetson, basada en la arquitectura ARM64. Por tanto, tenemos que instalar manualmente un paquete pip precompilado de PyTorch y compilar o instalar Torchvision desde el código fuente.

Instala torch 2.10.0 y torchvision 0.25.0 según JP6.1

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.10.0-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.25.0-cp310-cp310-linux_aarch64.whl

Instala cuDSS para solucionar un problema de dependencias con torch 2.10.0

wget https://developer.download.nvidia.com/compute/cudss/0.7.1/local_installers/cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo dpkg -i cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo cp /var/cudss-local-tegra-repo-ubuntu2204-0.7.1/cudss-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cudss

Instala onnxruntime-gpu#

Utiliza un paquete de ONNX Runtime para GPU compatible con tus versiones de JetPack, Python y CUDA. Las versiones actuales de PyPI incluyen paquetes ARM64, pero no sustituyen a los paquetes específicos del dispositivo para todas las versiones de JetPack.

Puedes encontrar todos los paquetes disponibles de onnxruntime-gpu, organizados por versión de JetPack, versión de Python y otros detalles de compatibilidad, en la matriz de compatibilidad de ONNX Runtime de Jetson Zoo.

Para JetPack 6 con compatibilidad con Python 3.10, puedes instalar onnxruntime-gpu 1.23.0:

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.23.0-cp310-cp310-linux_aarch64.whl

Como alternativa, para onnxruntime-gpu 1.20.0:

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

Ejecución en JetPack 5.1.2#

Instala el paquete Ultralytics#

Aquí instalaremos el paquete Ultralytics en Jetson. Las dependencias de exportación se instalan automáticamente la primera vez que exportas un modelo, así que aquí solo necesitas el paquete base. Nos centraremos principalmente en las exportaciones a NVIDIA TensorRT, porque TensorRT permite sacar el máximo rendimiento de los dispositivos Jetson.

1. Actualiza la lista de paquetes, instala pip y actualízalo a la última versión

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Instala el paquete pip ultralytics

   pip install ultralytics

3. Reinicia el dispositivo

   sudo reboot

Instala PyTorch y Torchvision#

La instalación de Ultralytics anterior instalará Torch y Torchvision. Sin embargo, estos dos paquetes instalados mediante pip no son compatibles con la plataforma Jetson, basada en la arquitectura ARM64. Por tanto, tenemos que instalar manualmente un paquete pip precompilado de PyTorch y compilar o instalar Torchvision desde el código fuente.

1. Desinstala las versiones de PyTorch y Torchvision que estén instaladas

   pip uninstall torch torchvision

2. Instala torch 2.1.0 y torchvision 0.16.2 según JP5.1.2

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.16.2+c6f3977-cp38-cp38-linux_aarch64.whl

Instala onnxruntime-gpu#

Utiliza un paquete de ONNX Runtime para GPU compatible con tus versiones de JetPack, Python y CUDA. Las versiones actuales de PyPI incluyen paquetes ARM64, pero no sustituyen a los paquetes específicos del dispositivo para todas las versiones de JetPack.

Puedes encontrar todos los paquetes disponibles de onnxruntime-gpu, organizados por versión de JetPack, versión de Python y otros detalles de compatibilidad, en la matriz de compatibilidad de ONNX Runtime de Jetson Zoo. Aquí descargaremos e instalaremos onnxruntime-gpu 1.17.0 con compatibilidad con Python3.8.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Usa TensorRT en NVIDIA Jetson#

De todos los formatos de exportación de modelos compatibles con Ultralytics, TensorRT ofrece la mayor velocidad de inferencia en dispositivos NVIDIA Jetson, por lo que es nuestra principal recomendación para implementaciones en Jetson. Antes de exportar, instala los enlaces de Python de TensorRT incluidos en tu versión de JetPack y verifícalos con python3 -c "import tensorrt; print(tensorrt.__version__)". Mantén el entorno de ejecución TensorRT 10.x compatible con JetPack 6/7; no lo sustituyas por TensorRT 11.2.1. Para obtener instrucciones de configuración y descubrir opciones de uso avanzadas, consulta nuestra guía específica de integración de TensorRT.

También puedes exportar desde el navegador sin configurar el entorno de compilación local. En la pestaña Exportar modelos de Ultralytics Platform, selecciona TensorRT y el dispositivo Jetson de destino. Las opciones de Thor se validan en hardware Thor físico. Las seis opciones de Orin generan actualmente motores candidatos compilados para AGX Orin; valídalos en el modelo SKU de Orin previsto antes de implementarlos.

Convierte el modelo a TensorRT y ejecuta la inferencia#

El modelo YOLO26n en formato PyTorch se convierte a TensorRT para ejecutar la inferencia con el modelo exportado.

from ultralytics import YOLO

# Carga un modelo YOLO26n de PyTorch
model = YOLO("yolo26n.pt")

# Exporta el modelo a TensorRT
model.export(format="engine")  # crea 'yolo26n.engine'

# Carga el modelo exportado a TensorRT
trt_model = YOLO("yolo26n.engine")

# Ejecutar inferencia
results = trt_model("https://ultralytics.com/images/bus.jpg")

Usa NVIDIA Deep Learning Accelerator (DLA)#

NVIDIA Deep Learning Accelerator (DLA) es un componente de hardware especializado integrado en los dispositivos NVIDIA Jetson que optimiza la inferencia de aprendizaje profundo para mejorar la eficiencia energética y el rendimiento. Al descargar tareas de la GPU (y dejarla libre para procesos más exigentes), DLA permite ejecutar modelos con un menor consumo energético sin renunciar a un alto rendimiento, algo ideal para sistemas integrados y aplicaciones de IA en tiempo real.

Los siguientes dispositivos Jetson incorporan hardware DLA:

from ultralytics import YOLO

# Carga un modelo YOLO26n de PyTorch
model = YOLO("yolo26n.pt")

# Exporta el modelo a TensorRT con DLA habilitado (solo funciona con FP16 o INT8)
model.export(format="engine", device="dla:0", quantize=16)  # dla:0 o dla:1 corresponden a los núcleos DLA

# Carga el modelo exportado a TensorRT
trt_model = YOLO("yolo26n.engine")

# Ejecutar inferencia
results = trt_model("https://ultralytics.com/images/bus.jpg")

Resultados de las pruebas de rendimiento de YOLO26 en NVIDIA Jetson#

El equipo de Ultralytics evaluó YOLO26 en 11 formatos de modelo, midiendo la velocidad y la precisión: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN y ExecuTorch. Las pruebas se realizaron en un kit de desarrollo NVIDIA Jetson AGX Thor, un kit de desarrollo NVIDIA Jetson AGX Orin (64 GB), un kit de desarrollo NVIDIA Jetson Orin Nano Super y un Seeed Studio reComputer J4012 equipado con un dispositivo Jetson Orin NX de 16 GB, con precisión FP32 y un tamaño de imagen de entrada predeterminado de 640.

Gráficos comparativos#

Aunque todas las exportaciones de modelos funcionan en NVIDIA Jetson, en el siguiente gráfico comparativo solo hemos incluido PyTorch, TorchScript y TensorRT, porque utilizan la GPU de Jetson y garantizan los mejores resultados. El resto de las exportaciones solo utilizan la CPU y ofrecen un rendimiento inferior al de estos tres formatos. En la sección posterior a este gráfico encontrarás los resultados de las pruebas de todos los formatos de exportación.

Kit de desarrollo NVIDIA Jetson AGX Thor#

Kit de desarrollo NVIDIA Jetson AGX Orin (64 GB)#

Kit de desarrollo NVIDIA Jetson Orin Nano Super#

NVIDIA Jetson Orin NX 16 GB#

Tablas comparativas detalladas#

La tabla siguiente muestra los resultados de las pruebas de rendimiento de cinco modelos diferentes (YOLO26n, YOLO26s, YOLO26m, YOLO26l, YOLO26x) en 11 formatos diferentes (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch), e indica el estado, el tamaño, la métrica mAP50-95(B) y el tiempo de inferencia de cada combinación.

Kit de desarrollo NVIDIA Jetson AGX Thor#

Kit de desarrollo NVIDIA Jetson AGX Orin (64 GB)#

Kit de desarrollo NVIDIA Jetson Orin Nano Super#

NVIDIA Jetson Orin NX 16 GB#

Descubre más pruebas de rendimiento de Seeed Studio ejecutadas en distintas versiones de hardware NVIDIA Jetson.

Reproduce nuestros resultados#

Para reproducir las pruebas de rendimiento anteriores de Ultralytics en todos los formatos de exportación, ejecuta este código:

from ultralytics import YOLO

# Carga un modelo YOLO26n de PyTorch
model = YOLO("yolo26n.pt")

# Prueba la velocidad y la precisión de YOLO26n en el conjunto de datos COCO128 con todos los formatos de exportación
results = model.benchmark(data="coco128.yaml", imgsz=640)

Prácticas recomendadas al usar NVIDIA Jetson#

Al usar NVIDIA Jetson, sigue estas prácticas recomendadas para obtener el máximo rendimiento de NVIDIA Jetson al ejecutar YOLO26.

1. Activa el modo de potencia MAX

   Al activar el modo de potencia MAX en Jetson, te aseguras de que todos los núcleos de CPU y GPU estén encendidos.

   sudo nvpmodel -m 0

2. Activa Jetson Clocks

   Al activar Jetson Clocks, te aseguras de que todos los núcleos de CPU y GPU funcionen a su frecuencia máxima.

   sudo jetson_clocks

3. Instala la aplicación Jetson Stats

   Puedes usar la aplicación jetson stats para supervisar las temperaturas de los componentes del sistema y consultar otros detalles, como el uso de CPU, GPU y RAM, cambiar los modos de potencia, establecer las frecuencias máximas y consultar información de JetPack.

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop

Consejos para optimizar la memoria de NVIDIA Jetson#

La memoria disponible suele ser el factor limitante en los dispositivos Jetson, sobre todo en las variantes con menos memoria, como Jetson Orin Nano (8 GB) u Orin NX 8 GB. Los consejos siguientes son cambios prácticos y de bajo riesgo que, en conjunto, pueden liberar varios cientos de megabytes y permitirte ejecutar modelos YOLO más grandes o admitir más cargas de trabajo en paralelo. Para obtener información completa, consulta el artículo de NVIDIA sobre cómo maximizar la eficiencia de la memoria en Jetson.

1. Cambia al arranque sin interfaz gráfica#

Si te conectas a Jetson por SSH o lo usas como dispositivo de producción sin una pantalla conectada, eliminar el entorno de escritorio y el servidor de pantalla puede liberar hasta 865 MB de RAM:

sudo systemctl set-default multi-user.target
sudo reboot

Para volver a activar el escritorio más adelante:

sudo systemctl set-default graphical.target
sudo reboot

2. Desactiva los servicios del sistema que no uses#

Los servicios en segundo plano no esenciales (Bluetooth, gestores de conectividad y demonios de hardware que no uses) consumen alrededor de 32 MB en total. Muestra los servicios activos y desactiva los que no necesite tu implementación:

# List running services
systemctl list-units --type=service --state=running

# Disable a service
sudo systemctl disable SERVICE_NAME

3. Analiza el uso de memoria#

Antes de optimizar, identifica qué procesos consumen realmente RAM. procrank ordena los procesos por PSS (tamaño proporcional del conjunto), que refleja la huella de memoria real de cada proceso con más precisión que RSS (tamaño del conjunto residente, las páginas de RAM física totales asignadas a un proceso, incluidas las compartidas con otros procesos):

git clone https://github.com/csimmonds/procrank_linux.git
cd procrank_linux && make
sudo ./procrank

Para consultar las asignaciones de GPU y NvMap (canalización de CUDA/vídeo) de cada proceso:

sudo cat /sys/kernel/debug/nvmap/iovmm/clients

4. Ejecuta la inferencia sin pantalla en producción#

En las canalizaciones de inferencia que no necesitan una vista previa en directo, desactivar los componentes relacionados con la pantalla (Tiler, OSD, DisplaySink) puede ahorrar más de 200 MB solo en la canalización. Con Ultralytics YOLO, desactiva el visor y guarda los resultados en disco:

from ultralytics import YOLO

model = YOLO("yolo26n.engine")

# show=False evita que se abra una ventana de visualización; save=True guarda en disco los resultados anotados
results = model.predict(source="video.mp4", show=False, save=True)

Impacto acumulado#

Combinar estos cambios resulta especialmente útil al usar modelos TensorRT INT8 en dispositivos con memoria limitada: puede marcar la diferencia entre poder cargar en memoria una variante de modelo más grande o no.

Próximos pasos#

Para obtener más información y ayuda, consulta la documentación de Ultralytics YOLO26.

Preguntas frecuentes#