Ultralytics YOLO26 na NVIDIA Jetson usando DeepStream SDK e TensorRT#

Este guia abrangente apresenta um passo a passo detalhado para implementar o Ultralytics YOLO26 em dispositivos NVIDIA Jetson usando o DeepStream SDK e o TensorRT. Aqui, usamos o TensorRT para maximizar o desempenho da inferência na plataforma Jetson.

Este guia aborda a configuração do DeepStream para YOLO26, a calibração INT8, a configuração de vários streams e os resultados de benchmark.

O que é o NVIDIA DeepStream?#

O DeepStream SDK da NVIDIA é um kit de ferramentas completo de análise de streams baseado no GStreamer para processamento multissensor orientado por IA, compreensão de vídeo, áudio e imagens. É ideal para desenvolvedores de IA para visão, parceiros de software, startups e OEMs que desenvolvem aplicações e serviços de IVA (análise de vídeo inteligente). Agora, você pode criar pipelines de processamento de streams que incorporam redes neurais e outras tarefas complexas de processamento, como rastreamento, codificação/decodificação de vídeo e renderização de vídeo. Esses pipelines permitem análises em tempo real de dados de vídeo, imagem e sensores. O suporte multiplataforma do DeepStream oferece uma maneira mais rápida e fácil de desenvolver aplicações e serviços de IA para visão no local, na borda e na nuvem.

Pré-requisitos#

Antes de começar a seguir este guia:

• Consulte a nossa documentação, Guia de início rápido: NVIDIA Jetson com Ultralytics YOLO26, para configurar o seu dispositivo NVIDIA Jetson com o Ultralytics YOLO26
• Instale o DeepStream SDK de acordo com a versão do JetPack
  • Para o JetPack 4.6.4, instale o DeepStream 6.0.1
  • Para o JetPack 5.1.3, instale o DeepStream 6.3
  • Para o JetPack 6.1, instale o DeepStream 7.1
  • Para o JetPack 7.1, instale o DeepStream 9.0

Configuração do DeepStream para YOLO26#

Aqui, usamos o repositório do GitHub marcoslucianops/DeepStream-Yolo, que inclui suporte do NVIDIA DeepStream SDK para modelos YOLO. Agradecemos os esforços de marcoslucianops pelas suas contribuições!

1. Instale o Ultralytics com as dependências necessárias

   pip install ultralytics onnx onnxslim

2. Clone o repositório DeepStream-Yolo

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo

3. Transfira um modelo de deteção Ultralytics YOLO26 (.pt) à sua escolha a partir do projeto YOLO26. Aqui, usamos o yolo26s.pt.

   wget https://github.com/ultralytics/assets/releases/download/v8.4.0/yolo26s.pt

4. Converte o modelo para ONNX e escreve o ficheiro labels.txt a partir do qual o DeepStream lê os nomes das classes

   from ultralytics import YOLO
   
   model = YOLO("yolo26s.pt")
   model.export(format="onnx", nms=False, agnostic_nms=True)  # creates 'yolo26s.onnx'
   with open("labels.txt", "w") as f:
       f.write("\n".join(model.names.values()))

5. Copie o ficheiro de modelo .onnx gerado e o ficheiro labels.txt para a pasta DeepStream-Yolo

   cp yolo26s.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo

6. Defina a versão do CUDA de acordo com a versão instalada do JetPack

   Para o JetPack 4.6.4:

   export CUDA_VER=10.2

   Para o JetPack 5.1.3:

   export CUDA_VER=11.4

   Para o JetPack 6.1:

   export CUDA_VER=12.6

   Para o JetPack 7.1:

   export CUDA_VER=13.0

7. Compile a biblioteca

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

8. Edite o ficheiro config_infer_primary_yolo26.txt de acordo com o seu modelo (para YOLO26s com 80 classes)

   [property]
   ...
   onnx-file=yolo26s.onnx
   ...
   num-detected-classes=80
   ...
   parse-bbox-func-name=NvDsInferParseYolo
   ...

[property]
...
maintain-aspect-ratio=1
symmetric-padding=1
cluster-mode=4
...

9. Edite o ficheiro deepstream_app_config

   ...
   [primary-gie]
   ...
   config-file=config_infer_primary_yolo26.txt

10. Você também pode alterar a fonte de vídeo no ficheiro deepstream_app_config. Aqui, é carregado um ficheiro de vídeo predefinido

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

Execute a inferência#

deepstream-app -c deepstream_app_config.txt

Calibração INT8#

Se quiser usar a precisão INT8 para a inferência, você precisa seguir os passos abaixo:

1. Defina a variável de ambiente OPENCV

   export OPENCV=1

2. Compile a biblioteca

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

3. Para o conjunto de dados COCO, transfira o val2017, extraia-o e mova-o para a pasta DeepStream-Yolo

4. Crie um novo diretório para as imagens de calibração

   mkdir calibration

5. Execute o seguinte para selecionar 1000 imagens aleatórias do conjunto de dados COCO para realizar a calibração

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done

6. Crie o ficheiro calibration.txt com todas as imagens selecionadas

   realpath calibration/*jpg > calibration.txt

7. Defina as variáveis de ambiente

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1

8. Atualize o ficheiro config_infer_primary_yolo26.txt

   De

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...

   Para

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...

Execute a inferência INT8#

Execute o mesmo comando para criar o mecanismo INT8 e iniciar a inferência:

deepstream-app -c deepstream_app_config.txt

Configuração de vários streams#

Para configurar vários streams numa única aplicação DeepStream, faça as seguintes alterações no ficheiro deepstream_app_config.txt:

1. Altere as linhas e as colunas para criar uma apresentação em grelha de acordo com o número de streams que você pretende ter. Por exemplo, para 4 streams, podemos adicionar 2 linhas e 2 colunas.

   [tiled-display]
   rows=2
   columns=2

2. Adicione um grupo [sourceN] separado para cada stream, cada um com o seu próprio uri e num-sources=1.

   [source0]
   enable=1
   type=3
   uri=file:///path/to/video1.mp4
   num-sources=1
   
   [source1]
   enable=1
   type=3
   uri=file:///path/to/video2.mp4
   num-sources=1
   
   [source2]
   enable=1
   type=3
   uri=file:///path/to/video3.mp4
   num-sources=1
   
   [source3]
   enable=1
   type=3
   uri=file:///path/to/video4.mp4
   num-sources=1

Execute a inferência em vários streams#

Execute o mesmo comando para iniciar todos os streams na apresentação lado a lado:

deepstream-app -c deepstream_app_config.txt

Resultados de benchmark#

Os benchmarks seguintes resumem o desempenho dos modelos YOLO11 em diferentes níveis de precisão do TensorRT, com um tamanho de entrada de 640x640 no NVIDIA Jetson Orin NX de 16 GB. O YOLO26 usa o mesmo fluxo de trabalho de exportação e inferência do DeepStream descrito acima.

Gráfico de comparação#

Tabela de comparação detalhada#

Agradecimentos#

Este guia foi criado originalmente pelos nossos amigos da Seeed Studio, Lakshantha e Elaine.

Perguntas frequentes#