Ultralytics YOLO26 no NVIDIA Jetson usando DeepStream SDK e TensorRT#

Este guia abrangente fornece um passo a passo detalhado para implantar o Ultralytics YOLO26 em dispositivos NVIDIA Jetson usando o DeepStream SDK e o TensorRT. Aqui usamos o TensorRT para maximizar o desempenho de inferência na plataforma Jetson.

Este guia aborda a configuração do DeepStream para o YOLO26, calibração INT8, configuração de múltiplos fluxos e resultados de benchmark.

O que é o NVIDIA DeepStream?#

O DeepStream SDK da NVIDIA é um kit de ferramentas de análise de streaming completo baseado no GStreamer para processamento multissensor baseado em IA, compreensão de vídeo, áudio e imagem. É ideal para desenvolvedores de visão computacional por IA, parceiros de software, startups e OEMs que criam aplicativos e serviços de IVA (Análise Inteligente de Vídeo). Agora você pode criar pipelines de processamento de fluxo que incorporam redes neurais e outras tarefas de processamento complexas, como rastreamento, codificação/decodificação de vídeo e renderização de vídeo. Esses pipelines permitem análises em tempo real em dados de vídeo, imagem e sensores. O suporte multiplataforma do DeepStream oferece uma maneira mais rápida e fácil de desenvolver aplicativos e serviços de visão computacional por IA no local, na borda e na nuvem.

Pré-requisitos#

Antes de começar a seguir este guia:

• Visite nossa documentação, Guia de Início Rápido: NVIDIA Jetson com Ultralytics YOLO26, para configurar seu dispositivo NVIDIA Jetson com o Ultralytics YOLO26
• Instale o DeepStream SDK de acordo com a versão do JetPack
  • Para o JetPack 4.6.4, instale o DeepStream 6.0.1
  • Para o JetPack 5.1.3, instale o DeepStream 6.3
  • Para o JetPack 6.1, instale o DeepStream 7.1
  • Para o JetPack 7.1, instale o DeepStream 9.0

Configuração do DeepStream para YOLO26#

Aqui estamos usando o repositório do GitHub marcoslucianops/DeepStream-Yolo, que inclui suporte do NVIDIA DeepStream SDK para modelos YOLO. Agradecemos os esforços de marcoslucianops por suas contribuições!

1. Instale o Ultralytics com as dependências necessárias

   cd ~
   pip install -U pip
   git clone https://github.com/ultralytics/ultralytics
   cd ultralytics
   pip install -e ".[export]" onnxslim

2. Clone o repositório DeepStream-Yolo

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo

3. Copie o arquivo export_yolo26.py do diretório DeepStream-Yolo/utils para a pasta ultralytics

   cp ~/DeepStream-Yolo/utils/export_yolo26.py ~/ultralytics
   cd ultralytics

4. Baixe um modelo de detecção Ultralytics YOLO26 (.pt) de sua escolha no projeto YOLO26. Aqui usamos yolo26s.pt.

   wget https://github.com/ultralytics/assets/releases/download/v8.4.0/yolo26s.pt

5. Converta o modelo para ONNX

   python3 export_yolo26.py -w yolo26s.pt

--opset 12

-s SIZE
--size SIZE
-s HEIGHT WIDTH
--size HEIGHT WIDTH

-s 1280
or
-s 1280 1280

--simplify

--dynamic

--batch 4

6. Copie o arquivo de modelo .onnx gerado e o arquivo labels.txt para a pasta DeepStream-Yolo

   cp yolo26s.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo

7. Defina a versão do CUDA de acordo com a versão do JetPack instalada

   Para o JetPack 4.6.4:

   export CUDA_VER=10.2

   Para o JetPack 5.1.3:

   export CUDA_VER=11.4

   Para o JetPack 6.1:

   export CUDA_VER=12.6

8. Compile a biblioteca

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

9. Edite o arquivo config_infer_primary_yolo26.txt de acordo com o seu modelo (para o YOLO26s com 80 classes)

   [property]
   ...
   onnx-file=yolo26s.onnx
   ...
   num-detected-classes=80
   ...
   parse-bbox-func-name=NvDsInferParseYolo
   ...

[property]
...
maintain-aspect-ratio=1
symmetric-padding=1
cluster-mode=4
...

10. Edite o arquivo deepstream_app_config

    ...
    [primary-gie]
    ...
    config-file=config_infer_primary_yolo26.txt

11. Você também pode alterar a fonte de vídeo no arquivo deepstream_app_config. Aqui, um arquivo de vídeo padrão é carregado

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

Executar inferência#

deepstream-app -c deepstream_app_config.txt

Calibração INT8#

Se você deseja usar precisão INT8 para inferência, você precisa seguir os passos abaixo:

1. Defina a variável de ambiente OPENCV

   export OPENCV=1

2. Compile a biblioteca

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

3. Para o conjunto de dados COCO, baixe o val2017, extraia e mova para a pasta DeepStream-Yolo

4. Crie um novo diretório para imagens de calibração

   mkdir calibration

5. Execute o seguinte para selecionar 1000 imagens aleatórias do conjunto de dados COCO para realizar a calibração

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done

6. Crie o arquivo calibration.txt com todas as imagens selecionadas

   realpath calibration/*jpg > calibration.txt

7. Defina variáveis de ambiente

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1

8. Atualize o arquivo config_infer_primary_yolo26.txt

   De

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...

   Para

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...

Executar inferência INT8#

Execute o mesmo comando para construir o motor INT8 e iniciar a inferência:

deepstream-app -c deepstream_app_config.txt

Configuração MultiStream#

Para configurar vários fluxos sob um único aplicativo DeepStream, faça as seguintes alterações no arquivo deepstream_app_config.txt:

1. Altere as linhas e colunas para criar uma exibição em grade de acordo com o número de fluxos que deseja ter. Por exemplo, para 4 fluxos, podemos adicionar 2 linhas e 2 colunas.

   [tiled-display]
   rows=2
   columns=2

2. Adicione um grupo [sourceN] separado para cada fluxo, cada um com seu próprio uri e num-sources=1.

   [source0]
   enable=1
   type=3
   uri=file:///path/to/video1.mp4
   num-sources=1
   
   [source1]
   enable=1
   type=3
   uri=file:///path/to/video2.mp4
   num-sources=1
   
   [source2]
   enable=1
   type=3
   uri=file:///path/to/video3.mp4
   num-sources=1
   
   [source3]
   enable=1
   type=3
   uri=file:///path/to/video4.mp4
   num-sources=1

Executar inferência Multi-Stream#

Execute o mesmo comando para iniciar todos os fluxos na exibição em grade:

deepstream-app -c deepstream_app_config.txt

Resultados de benchmark#

Os seguintes benchmarks resumem o desempenho dos modelos YOLO11 em diferentes níveis de precisão do TensorRT com um tamanho de entrada de 640x640 no NVIDIA Jetson Orin NX 16GB. O YOLO26 usa o mesmo fluxo de trabalho de exportação e inferência do DeepStream descrito acima.

Gráfico de comparação#

Tabela de comparação detalhada#

Agradecimentos#

Este guia foi criado inicialmente por nossos amigos da Seeed Studio, Lakshantha e Elaine.

FAQ#