Guia de início rápido: NVIDIA Jetson com Ultralytics YOLO11

Este guia abrangente fornece um passo-a-passo detalhado para a implantação do Ultralytics YOLO11 em dispositivos NVIDIA Jetson. Além disso, apresenta referências de desempenho para demonstrar as capacidades do YOLO11 nestes dispositivos pequenos e potentes.

Ver: Como configurar o NVIDIA Jetson com Ultralytics YOLO11

O que é NVIDIA Jetson?

NVIDIA A Jetson é uma série de placas de computação incorporadas concebidas para levar a computação acelerada de IA (inteligência artificial) aos dispositivos periféricos. Estes dispositivos compactos e potentes são construídos em torno da arquitetura NVIDIA's GPU e são capazes de executar algoritmos de IA complexos e modelos de aprendizagem profunda diretamente no dispositivo, sem necessidade de depender de recursos de computação em nuvem. As placas Jetson são frequentemente utilizadas em robótica, veículos autónomos, automação industrial e outras aplicações em que a inferência de IA tem de ser realizada localmente com baixa latência e elevada eficiência. Além disso, estas placas baseiam-se na arquitetura ARM64 e consomem menos energia do que os dispositivos de computação GPU tradicionais.

NVIDIA Comparação da série Jetson

O Jetson Orin é a mais recente iteração da família NVIDIA Jetson baseada na arquitetura NVIDIA Ampere, que proporciona um desempenho de IA drasticamente melhorado em comparação com as gerações anteriores. A tabela abaixo compara alguns dos dispositivos Jetson no ecossistema.

Para obter uma tabela de comparação mais detalhada, visite a secção Especificações técnicas da página oficial NVIDIA Jetson.

O que é o NVIDIA JetPack?

NVIDIA O SDK JetPack que alimenta os módulos Jetson é a solução mais abrangente e proporciona um ambiente de desenvolvimento completo para a criação de aplicações de IA aceleradas de ponta a ponta e reduz o tempo de comercialização. O JetPack inclui o Jetson Linux com bootloader, kernel Linux, ambiente de trabalho Ubuntu e um conjunto completo de bibliotecas para aceleração de GPU computação, multimédia, gráficos e visão computacional. Inclui também amostras, documentação e ferramentas para programadores, tanto para o computador anfitrião como para o kit de desenvolvimento, e suporta SDKs de nível superior, como o DeepStream para análise de vídeo em fluxo contínuo, o Isaac para robótica e o Riva para IA de conversação.

Flash JetPack para NVIDIA Jetson

O primeiro passo depois de deitar as mãos a um dispositivo NVIDIA Jetson é fazer o flash do NVIDIA JetPack para o dispositivo. Existem várias formas diferentes de atualizar os dispositivos NVIDIA Jetson.

1. Se possuir um kit de desenvolvimento oficial NVIDIA , como o kit de desenvolvimento Jetson Orin Nano, pode descarregar uma imagem e preparar um cartão SD com o JetPack para arrancar o dispositivo.
2. Se possuir qualquer outro NVIDIA Development Kit, pode instalar o JetPack no dispositivo utilizando o SDK Manager.
3. Se possuir um dispositivo Seeed Studio reComputer J4012, pode instalar o JetPack no SSD incluído e se possuir um dispositivo Seeed Studio reComputer J1020 v2, pode instalar o JetPack no eMMC/SSD.
4. Se possuir qualquer outro dispositivo de terceiros alimentado pelo módulo NVIDIA Jetson, recomenda-se que siga a linha de comandos para piscar.

Suporte JetPack baseado no dispositivo Jetson

A tabela abaixo destaca as versões do NVIDIA JetPack suportadas por diferentes dispositivos NVIDIA Jetson.

Início rápido com o Docker

A maneira mais rápida de começar a usar o Ultralytics YOLO11 no NVIDIA Jetson é executar com imagens de docker pré-construídas para o Jetson. Consulte a tabela acima e escolha a versão do JetPack de acordo com o dispositivo Jetson que possui.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack5
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack6
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Depois de fazer isto, passe à secção Utilizar TensorRT em NVIDIA Jetson.

Começar com a instalação nativa

Para uma instalação nativa sem o Docker, consulte as etapas abaixo.

Run on JetPack 6.1

Instalar o pacote Ultralytics

Aqui vamos instalar o pacote Ultralytics no Jetson com dependências opcionais para que possamos exportar os PyTorch modelos para outros formatos diferentes. Concentrar-nos-emos principalmente nas exportaçõesNVIDIA TensorRT porque o TensorRT garante que podemos obter o máximo desempenho dos dispositivos Jetson.

1. Atualizar a lista de pacotes, instalar o pip e atualizar para a versão mais recente

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Instalar ultralytics pacote pip com dependências opcionais

   pip install ultralytics[export]
   

3. Reiniciar o dispositivo

   sudo reboot
   

Instalar PyTorch e Torchvision

A instalação do ultralytics acima instalará o Torch e o Torchvision. No entanto, esses dois pacotes instalados via pip não são compatíveis para serem executados na plataforma Jetson, que é baseada na arquitetura ARM64. Portanto, precisamos de instalar manualmente o PyTorch pip wheel pré-construído e compilar/instalar o Torchvision a partir da fonte.

Instalar torch 2.5.0 e torchvision 0.20 according to JP6.1

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.5.0a0+872d972e41.nv24.08-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.20.0a0+afc54f7-cp310-cp310-linux_aarch64.whl

Instalar cuSPARSELt to fix a dependency issue with torch 2.5.0

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/arm64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get -y install libcusparselt0 libcusparselt-dev

Instalar onnxruntime-gpu

O onnxruntime-gpu hospedado no PyPI não possui o pacote aarch64 binários para o Jetson. Por isso, precisamos de instalar manualmente este pacote. Este pacote é necessário para algumas das exportações.

Todos diferentes onnxruntime-gpu os pacotes correspondentes às diferentes versões do JetPack e do Python são listados aqui. No entanto, aqui vamos descarregar e instalar onnxruntime-gpu 1.20.0 com Python3.10 apoio.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

Run on JetPack 5.1.2

Instalar o pacote Ultralytics

Aqui vamos instalar o pacote Ultralytics no Jetson com dependências opcionais para podermos exportar os modelos PyTorch para outros formatos diferentes. Concentrar-nos-emos principalmente nas exportaçõesNVIDIA TensorRT porque o TensorRT garante que podemos obter o máximo desempenho dos dispositivos Jetson.

1. Atualizar a lista de pacotes, instalar o pip e atualizar para a versão mais recente

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Instalar ultralytics pacote pip com dependências opcionais

   pip install ultralytics[export]
   

3. Reiniciar o dispositivo

   sudo reboot
   

Instalar PyTorch e Torchvision

A instalação do ultralytics acima instalará o Torch e o Torchvision. No entanto, esses dois pacotes instalados via pip não são compatíveis para serem executados na plataforma Jetson, que é baseada na arquitetura ARM64. Portanto, precisamos de instalar manualmente o PyTorch pip wheel pré-construído e compilar/instalar o Torchvision a partir da fonte.

1. Desinstalar o PyTorch e o Torchvision atualmente instalados

   pip uninstall torch torchvision
   

2. Instalar torch 2.1.0 e torchvision 0.16.2 according to JP5.1.2

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.16.2+c6f3977-cp38-cp38-linux_aarch64.whl
   

Instalar onnxruntime-gpu

O onnxruntime-gpu hospedado no PyPI não possui o pacote aarch64 binários para o Jetson. Por isso, precisamos de instalar manualmente este pacote. Este pacote é necessário para algumas das exportações.

Todos diferentes onnxruntime-gpu os pacotes correspondentes às diferentes versões do JetPack e do Python são listados aqui. No entanto, aqui vamos descarregar e instalar onnxruntime-gpu 1.17.0 com Python3.8 apoio.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Utilizar TensorRT em NVIDIA Jetson

De todos os formatos de exportação de modelos suportados por Ultralytics, TensorRT oferece o melhor desempenho de inferência ao trabalhar com dispositivos NVIDIA Jetson e nossa recomendação é usar TensorRT com Jetson. Também temos um documento detalhado sobre TensorRT aqui.

Converter o modelo para TensorRT e executar a inferência

O modelo YOLO11n no formato PyTorch é convertido para TensorRT para efetuar a inferência com o modelo exportado.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine  # creates 'yolo11n.engine'

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

Utilizar NVIDIA Acelerador de Aprendizagem Profunda (DLA)

NVIDIA O Deep Learning Accelerator (DLA) é um componente de hardware especializado incorporado nos dispositivos NVIDIA Jetson que optimiza a inferência de aprendizagem profunda para eficiência energética e desempenho. Ao descarregar tarefas do GPU (libertando-o para processos mais intensivos), o DLA permite que os modelos sejam executados com menor consumo de energia, mantendo um elevado rendimento, ideal para sistemas incorporados e aplicações de IA em tempo real.

Os seguintes dispositivos Jetson estão equipados com hardware DLA:

• Jetson Orin NX 16GB
• Série Jetson AGX Orin
• Série Jetson AGX Xavier
• Série Jetson Xavier NX

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", half=True)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format with DLA enabled (only works with FP16 or INT8)
yolo export model=yolo11n.pt format=engine device="dla:0" half=True  # dla:0 or dla:1 corresponds to the DLA cores

# Run inference with the exported model on the DLA
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA Jetson Orin YOLO11 Referências

YOLO11 benchmarks were run by the Ultralytics team on 10 different model formats measuring speed and accuracy: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, PaddlePaddle, NCNN. Benchmarks were run on both NVIDIA Jetson Orin Nano Super Developer Kit and Seeed Studio reComputer J4012 powered by Jetson Orin NX 16GB device at FP32 precision with default input image size of 640.

Comparison Charts

Apesar de todas as exportações de modelos estarem a funcionar com NVIDIA Jetson, incluímos apenas PyTorch, TorchScript, TensorRT no gráfico de comparação abaixo, porque utilizam o GPU no Jetson e garantem os melhores resultados. Todas as outras exportações utilizam apenas o CPU e o desempenho não é tão bom como as três anteriores. Pode encontrar referências para todas as exportações na secção a seguir a este gráfico.

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

Detailed Comparison Tables

A tabela abaixo representa os resultados do teste de referência para cinco modelos diferentes (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) em dez formatos diferentes (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel , TF GraphDef , TF Lite, PaddlePaddle, NCNN), dando-nos o estado, o tamanho, a métrica mAP50-95(B) e o tempo de inferência para cada combinação.

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

Explore mais esforços de avaliação comparativa do Seeed Studio executados em diferentes versões do hardware NVIDIA Jetson.

Reproduzir os nossos resultados

Para reproduzir os valores de referência Ultralytics acima referidos em todos os formatos de exportação, execute este código:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmark(data="coco8.yaml", imgsz=640)

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml imgsz=640

Melhores práticas ao utilizar NVIDIA Jetson

Ao utilizar o NVIDIA Jetson, existem algumas práticas recomendadas a seguir para permitir o máximo desempenho no NVIDIA Jetson com o YOLO11.

1. Ativar o modo de potência máxima

   A ativação do modo MAX Power no Jetson garante que todos os núcleos CPU, GPU estão ligados.

   sudo nvpmodel -m 0
   

2. Ativar os relógios Jetson

   A ativação dos relógios Jetson garante que todos os núcleos CPU, GPU têm o seu relógio na frequência máxima.

   sudo jetson_clocks
   

3. Instalar a aplicação Jetson Stats

   Podemos utilizar a aplicação jetson stats para monitorizar as temperaturas dos componentes do sistema e verificar outros detalhes do sistema, como ver CPU, GPU, utilização da RAM, alterar os modos de energia, definir relógios máximos, verificar as informações do JetPack

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

Próximos passos

Parabéns por ter configurado com êxito o YOLO11 no seu NVIDIA Jetson! Para mais informações e suporte, visite mais guias em Ultralytics YOLO11 Docs!

FAQ

Como posso implementar Ultralytics YOLO11 em dispositivos NVIDIA Jetson?

A implantação do Ultralytics YOLO11 em dispositivos NVIDIA Jetson é um processo simples. Primeiro, instale o seu dispositivo Jetson com o SDK JetPack NVIDIA . Em seguida, utilize uma imagem Docker pré-construída para uma configuração rápida ou instale manualmente os pacotes necessários. Os passos detalhados para cada abordagem podem ser encontrados nas secções Início rápido com o Docker e Início com a instalação nativa.

Que referências de desempenho posso esperar dos modelos YOLO11 em dispositivos NVIDIA Jetson?

YOLO11 models have been benchmarked on various NVIDIA Jetson devices showing significant performance improvements. For example, the TensorRT format delivers the best inference performance. The table in the Detailed Comparison Tables section provides a comprehensive view of performance metrics like mAP50-95 and inference time across different model formats.

Por que razão devo utilizar TensorRT para implementar YOLO11 em NVIDIA Jetson?

TensorRT é altamente recomendado para a implementação de modelos YOLO11 em NVIDIA Jetson devido ao seu ótimo desempenho. Ele acelera a inferência aproveitando os recursos GPU do Jetson, garantindo máxima eficiência e velocidade. Saiba mais sobre como converter para TensorRT e executar a inferência na secção Utilizar TensorRT em NVIDIA Jetson.

Como posso instalar o PyTorch e o Torchvision no NVIDIA Jetson?

To install PyTorch and Torchvision on NVIDIA Jetson, first uninstall any existing versions that may have been installed via pip. Then, manually install the compatible PyTorch and Torchvision versions for the Jetson's ARM64 architecture. Detailed instructions for this process are provided in the Installation of PyTorch and Torchvision section.

Quais são as práticas recomendadas para maximizar o desempenho em NVIDIA Jetson ao usar YOLO11?

Para maximizar o desempenho em NVIDIA Jetson com YOLO11, siga estas práticas recomendadas:

1. Ativar o modo de alimentação MAX para utilizar todos os núcleos CPU e GPU .
2. Ativar os relógios Jetson para executar todos os núcleos na sua frequência máxima.
3. Instale a aplicação Jetson Stats para monitorizar as métricas do sistema.

Para obter comandos e detalhes adicionais, consulte a secção Melhores práticas ao utilizar o NVIDIA Jetson.

📅C riado há 9 meses ✏️ Atualizado há 11 dias

Comentários