Implanta en NVIDIA Jetson utilizando TensorRT y DeepStream SDK

📚 Esta guía explica cómo desplegar un modelo entrenado en la plataforma NVIDIA Jetson y realizar la inferencia utilizando TensorRT y DeepStream SDK. Aquí utilizamos TensorRT para maximizar el rendimiento de la inferencia en la plataforma Jetson.

Verificación del hardware

Hemos probado y verificado esta guía en los siguientes dispositivos Jetson

• Seeed reComputer J1010 construido con el módulo Jetson Nano
• Seeed reComputer J2021 construido con el módulo Jetson Xavier NX

Antes de empezar

Asegúrate de haber instalado correctamente el SDK JetPack con todos los componentes del SDK y el SDK DeepStream en el dispositivo Jetson, ya que incluye CUDA, TensorRT y el SDK DeepStream, necesarios para esta guía.

JetPack SDK proporciona un entorno de desarrollo completo para el desarrollo de IA acelerada por hardware. Todos los módulos y kits de desarrollo Jetson son compatibles con JetPack SDK.

Existen dos métodos principales de instalación

1. Método de imagen de tarjeta SD
2. Método NVIDIA SDK Manager

Puedes encontrar una guía de instalación muy detallada en el sitio web oficial de NVIDIA. También puedes encontrar guías correspondientes a los mencionados reComputer J1010 y reComputer J2021.

Instala los paquetes necesarios

• Paso 1. Accede al terminal del dispositivo Jetson, instala pip y actualízalo

sudo apt update
sudo apt install -y python3-pip
pip3 install --upgrade pip

• Paso 2. Clona el siguiente repositorio

git clone https://github.com/ultralytics/yolov5

• Paso 3. Abre requirements.txt

cd yolov5
vi requirements.txt

• Paso 5. Edita las siguientes líneas. Aquí tienes que pulsar primero i para entrar en el modo de edición. Pulsa ESC, luego escribe :wq para guardar y salir

# torch>=1.8.0
# torchvision>=0.9.0

Nota: torch y torchvision están excluidos por ahora porque se instalarán más adelante.

• Paso 6. instala la siguiente dependencia

sudo apt install -y libfreetype6-dev

• Paso 7. Instala los paquetes necesarios

pip3 install -r requirements.txt

Instala PyTorch y Torchvision

No podemos instalar PyTorch y Torchvision desde pip porque no son compatibles para ejecutarse en la plataforma Jetson, basada en la arquitectura ARM aarch64. Por lo tanto, tenemos que instalar manualmente PyTorch pip wheel y compilar/instalar Torchvision desde el código fuente.

Visita esta página para acceder a todos los enlaces de PyTorch y Torchvision.

Éstas son algunas de las versiones compatibles con JetPack 4.6 y superiores.

PyTorch v1.10.0

Compatible con JetPack 4.4 (L4T R32.4.3) / JetPack 4.4.1 (L4T R32.4.4) / JetPack 4.5 (L4T R32.5.0) / JetPack 4.5.1 (L4T R32.5.1) / JetPack 4.6 (L4T R32.6.1) con Python 3.6

• file_name: torch-1.10.0-cp36-cp36m-linux_aarch64.whl
• URL: https://nvidia.box.com/shared/static/fjtbno0vpo676a25cgvuqc1wty0fkkg6.whl

PyTorch v1.12.0

Compatible con JetPack 5.0 (L4T R34.1.0) / JetPack 5.0.1 (L4T R34.1.1) / JetPack 5.0.2 (L4T R35.1.0) con Python 3.8

• file_name: torch-1.12.0a0+2c916ef.nv22.3-cp38-cp38-linux_aarch64.whl

• URL: https://developer.download.nvidia.com/compute/redist/jp/v50/pytorch/torch-1.12.0a0+2c916ef.nv22.3-cp38-cp38-linux_aarch64.whl

• Paso 1. Instala torch según tu versión de JetPack en el siguiente formato

wget <URL> -O <file_name>
pip3 install <file_name>

Por ejemplo, aquí estamos ejecutando JP4.6.1, y por lo tanto elegimos PyTorch v1 .10.0

cd ~
sudo apt-get install -y libopenblas-base libopenmpi-dev
wget https://nvidia.box.com/shared/static/fjtbno0vpo676a25cgvuqc1wty0fkkg6.whl -O torch-1.10.0-cp36-cp36m-linux_aarch64.whl
pip3 install torch-1.10.0-cp36-cp36m-linux_aarch64.whl

• Paso 2. Instala Torchvision en función de la versión de PyTorch que tengas instalada. Por ejemplo, hemos elegido PyTorch v1 .10.0, lo que significa que tenemos que elegir Torchvision v0.11.1

sudo apt install -y libjpeg-dev zlib1g-dev
git clone --branch v0.11.1 https://github.com/pytorch/vision torchvision
cd torchvision
sudo python3 setup.py install

Aquí tienes una lista de la versión correspondiente de torchvision que necesitas instalar según la versión PyTorch :

• PyTorch v1.10 - torchvision v0.11.1
• PyTorch v1.12 - torchvision v0.13.0

Configuración de DeepStream para YOLOv5

• Paso 1. Clona el siguiente repositorio

cd ~
git clone https://github.com/marcoslucianops/DeepStream-Yolo

• Paso 2. Copia gen_wts_yoloV5.py de DeepStream-Yolo /utils en yolov5 directorio

cp DeepStream-Yolo/utils/gen_wts_yoloV5.py yolov5

• Paso 3. Dentro del repo yolov5 , descarga el archivo pt de las versiones YOLOv5 (ejemplo para YOLOv5s 6.1)

cd yolov5
wget https://github.com/ultralytics/yolov5/releases/download/v6.1/yolov5s.pt

• Paso 4. Genera los archivos cfg y wts

python3 gen_wts_yoloV5.py -w yolov5s.pt

Nota: Para cambiar el tamaño de inferencia (por defecto: 640)

-s SIZE
--size SIZE
-s HEIGHT WIDTH
--size HEIGHT WIDTH

Example for 1280:

-s 1280
or
-s 1280 1280

• Paso 5. Copia los archivos cfg y wts generados en la carpeta DeepStream-Yolo

cp yolov5s.cfg ~/DeepStream-Yolo
cp yolov5s.wts ~/DeepStream-Yolo

• Paso 6. Abre la carpeta DeepStream-Yolo y compila la biblioteca

cd ~/DeepStream-Yolo
CUDA_VER=11.4 make -C nvdsinfer_custom_impl_Yolo  # for DeepStream 6.1
CUDA_VER=10.2 make -C nvdsinfer_custom_impl_Yolo  # for DeepStream 6.0.1 / 6.0

• Paso 7. Edita el archivo config_infer_primary_yoloV5.txt según tu modelo

[property]
...
custom-network-config=yolov5s.cfg
model-file=yolov5s.wts
...

• Paso 8. Edita el archivo deepstream_app_config

...
[primary-gie]
...
config-file=config_infer_primary_yoloV5.txt

• Paso 9. Cambia la fuente de vídeo en el archivo deepstream_app_config. Aquí se carga un archivo de vídeo por defecto como puedes ver a continuación

...
[source0]
...
uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

Ejecuta la inferencia

deepstream-app -c deepstream_app_config.txt

El resultado anterior se ejecuta en Jetson Xavier NX con FP32 y YOLOv5s 640x640. Podemos ver que los FPS rondan los 30.

Calibración INT8

Si quieres utilizar la precisión INT8 para la inferencia, debes seguir los siguientes pasos

• Paso 1. Instala OpenCV

sudo apt-get install libopencv-dev

• Paso 2. Compila/recompila la biblioteca nvdsinfer_custom_impl_Yolo con soporte OpenCV

cd ~/DeepStream-Yolo
CUDA_VER=11.4 OPENCV=1 make -C nvdsinfer_custom_impl_Yolo  # for DeepStream 6.1
CUDA_VER=10.2 OPENCV=1 make -C nvdsinfer_custom_impl_Yolo  # for DeepStream 6.0.1 / 6.0

• Paso 3. Para el conjunto de datos COCO, descarga el val2017, extráelo y muévelo a la carpeta DeepStream-Yolo

• Paso 4. Crea un nuevo directorio para las imágenes de calibración

mkdir calibration

• Paso 5. Ejecuta lo siguiente para seleccionar 1000 imágenes aleatorias del conjunto de datos COCO para realizar la calibración

for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do \
    cp ${jpg} calibration/; \
done

Nota: NVIDIA recomienda al menos 500 imágenes para obtener una buena precisión. En este ejemplo, se han elegido 1000 imágenes para obtener una mayor precisión (más imágenes = más precisión). Valores más altos de INT8_CALIB_BATCH_SIZE darán como resultado más precisión y mayor velocidad de calibración. Ajústalo en función de la memoria de tu GPU. Puedes ajustarlo desde head -1000. Por ejemplo, para 2000 imágenes, la cabeza -2000. Este proceso puede llevar mucho tiempo.

• Paso 6. Crea el archivo calibración.txt con todas las imágenes seleccionadas

realpath calibration/*jpg > calibration.txt

• Paso 7. Establece las variables de entorno

export INT8_CALIB_IMG_PATH=calibration.txt
export INT8_CALIB_BATCH_SIZE=1

• Paso 8. Actualiza el archivo config_infer_primary_yoloV5.txt

En

...
model-engine-file=model_b1_gpu0_fp32.engine
#int8-calib-file=calib.table
...
network-mode=0
...

A

...
model-engine-file=model_b1_gpu0_int8.engine
int8-calib-file=calib.table
...
network-mode=1
...

• Paso 9. Ejecuta la inferencia

deepstream-app -c deepstream_app_config.txt

El resultado anterior se ejecuta en Jetson Xavier NX con INT8 y YOLOv5s 640x640. Podemos ver que los FPS rondan los 60.

Resultados de la evaluación comparativa

La tabla siguiente resume el rendimiento de los distintos modelos en Jetson Xavier NX.

Adicional

Este tutorial está escrito por nuestros amigos de seeed @lakshanthad y Elaine

Comentarios