Guia de início rápido: NVIDIA Jetson com Ultralytics YOLO11

Este guia abrangente fornece um passo-a-passo detalhado para a implementação do Ultralytics YOLO11 em dispositivos NVIDIA Jetson. Além disso, apresenta benchmarks de desempenho para demonstrar as capacidades do YOLO11 nestes pequenos e poderosos dispositivos.

Observa: Como configurar o NVIDIA Jetson com Ultralytics YOLO11

O que é NVIDIA Jetson?

NVIDIA A Jetson é uma série de placas de computação incorporadas concebidas para levar a computação acelerada de IA (inteligência artificial) aos dispositivos periféricos. Estes dispositivos compactos e potentes são construídos em torno da arquitetura NVIDIA's GPU e são capazes de executar algoritmos de IA complexos e modelos de aprendizagem profunda diretamente no dispositivo, sem necessidade de depender de recursos de computação em nuvem. As placas Jetson são frequentemente utilizadas em robótica, veículos autónomos, automação industrial e outras aplicações em que a inferência de IA tem de ser realizada localmente com baixa latência e elevada eficiência. Além disso, estas placas baseiam-se na arquitetura ARM64 e consomem menos energia do que os dispositivos de computação GPU tradicionais.

NVIDIA Comparação da série Jetson

O Jetson Orin é a mais recente iteração da família NVIDIA Jetson baseada na arquitetura NVIDIA Ampere, que melhora drasticamente o desempenho da IA em comparação com as gerações anteriores. A tabela abaixo compara alguns dos dispositivos Jetson no ecossistema.

Para uma tabela de comparação mais detalhada, visita a secção Especificações técnicas da página oficial NVIDIA Jetson.

O que é o NVIDIA JetPack?

NVIDIA O SDK JetPack que alimenta os módulos Jetson é a solução mais abrangente e fornece um ambiente de desenvolvimento completo para a criação de aplicações de IA aceleradas de ponta a ponta e reduz o tempo de colocação no mercado. O JetPack inclui o Jetson Linux com bootloader, kernel Linux, ambiente de trabalho Ubuntu e um conjunto completo de bibliotecas para aceleração de GPU computação, multimédia, gráficos e visão computacional. Inclui também amostras, documentação e ferramentas de desenvolvimento para o computador anfitrião e o kit de desenvolvimento, e suporta SDKs de nível superior, como o DeepStream para análise de vídeo em fluxo contínuo, Isaac para robótica e Riva para IA de conversação.

Flash JetPack para NVIDIA Jetson

O primeiro passo depois de pores as mãos num dispositivo NVIDIA Jetson é flashear o NVIDIA JetPack para o dispositivo. Há várias formas diferentes de flashear os dispositivos NVIDIA Jetson.

1. Se tiveres um kit de desenvolvimento oficial NVIDIA , como o Jetson Orin Nano Developer Kit, podes transferir uma imagem e preparar um cartão SD com o JetPack para arrancar o dispositivo.
2. Se tiveres qualquer outro NVIDIA Development Kit, podes fazer flash do JetPack para o dispositivo utilizando o SDK Manager.
3. Se tiveres um dispositivo Seeed Studio reComputer J4012, podes fazer flash do JetPack para o SSD incluído e se tiveres um dispositivo Seeed Studio reComputer J1020 v2, podes fazer flash do JetPack para o eMMC/SSD.
4. Se tiveres qualquer outro dispositivo de terceiros alimentado pelo módulo NVIDIA Jetson, recomenda-se que sigas a linha de comandos para flashes.

Suporte JetPack baseado no dispositivo Jetson

A tabela abaixo destaca as versões do NVIDIA JetPack suportadas por diferentes dispositivos NVIDIA Jetson.

Início rápido com o Docker

A forma mais rápida de começares a utilizar o Ultralytics YOLO11 no NVIDIA Jetson é correr com imagens docker pré-construídas para o Jetson. Consulta a tabela acima e escolhe a versão do JetPack de acordo com o dispositivo Jetson que tens.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack5
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack6
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Depois de fazeres isto, passa à secção Utilizar TensorRT em NVIDIA Jetson.

Começa com a instalação nativa

Para uma instalação nativa sem o Docker, consulta os passos abaixo.

Corre no JetPack 6.x

Instala o pacote Ultralytics

Aqui vamos instalar o pacote Ultralytics no Jetson com dependências opcionais para podermos exportar os PyTorch modelos para outros formatos diferentes. Concentrar-nos-emos principalmente nas exportaçõesNVIDIA TensorRT porque TensorRT garante que podemos obter o máximo desempenho dos dispositivos Jetson.

1. Actualiza a lista de pacotes, instala o pip e actualiza para a versão mais recente

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Instala ultralytics pacote pip com dependências opcionais

   pip install ultralytics[export]
   

3. Reinicia o dispositivo

   sudo reboot
   

Instala PyTorch e Torchvision

A instalação do ultralytics acima instala o Torch e o Torchvision. No entanto, esses dois pacotes instalados via pip não são compatíveis para rodar na plataforma Jetson, que é baseada na arquitetura ARM64. Portanto, precisamos instalar manualmente o PyTorch pip wheel pré-construído e compilar/instalar o Torchvision a partir da fonte.

Instala torch 2.3.0 e torchvision 0.18 de acordo com JP6.0

sudo apt-get install libopenmpi-dev libopenblas-base libomp-dev -y
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.3.0-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.18.0a0+6043bc2-cp310-cp310-linux_aarch64.whl

Visita a páginaPyTorch for Jetson para acederes a todas as diferentes versões de PyTorch para diferentes versões do JetPack. Para obter uma lista mais detalhada sobre a compatibilidade do PyTorch e do Torchvision, visita a página de compatibilidade doPyTorch e do Torchvision.

Instala onnxruntime-gpu

O onnxruntime-gpu hospedado no PyPI não tem o pacote aarch64 para o Jetson. Por isso, tens de instalar manualmente este pacote. Este pacote é necessário para algumas das exportações.

Todos diferentes onnxruntime-gpu os pacotes correspondentes às diferentes versões do JetPack e do Python estão listados aqui. No entanto, aqui vamos descarregar e instalar onnxruntime-gpu 1.18.0 com Python3.10 apoia-te.

wget https://nvidia.box.com/shared/static/48dtuob7meiw6ebgfsfqakc9vse62sg4.whl -O onnxruntime_gpu-1.18.0-cp310-cp310-linux_aarch64.whl
pip install onnxruntime_gpu-1.18.0-cp310-cp310-linux_aarch64.whl

Execute no JetPack 5.x

Instala o pacote Ultralytics

Aqui vamos instalar o pacote Ultralytics no Jetson com dependências opcionais para que possamos exportar os modelos PyTorch para outros formatos diferentes. Iremos focar-nos principalmente nas exportaçõesNVIDIA TensorRT porque TensorRT irá garantir que podemos obter o máximo desempenho dos dispositivos Jetson.

1. Actualiza a lista de pacotes, instala o pip e actualiza para a versão mais recente

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Instala ultralytics pacote pip com dependências opcionais

   pip install ultralytics[export]
   

3. Reinicia o dispositivo

   sudo reboot
   

Instala PyTorch e Torchvision

A instalação do ultralytics acima instala o Torch e o Torchvision. No entanto, esses dois pacotes instalados via pip não são compatíveis para rodar na plataforma Jetson, que é baseada na arquitetura ARM64. Portanto, precisamos instalar manualmente o PyTorch pip wheel pré-construído e compilar/instalar o Torchvision a partir da fonte.

1. Desinstala o PyTorch e o Torchvision atualmente instalados

   pip uninstall torch torchvision
   

2. Instala PyTorch 2.1.0 de acordo com JP5.1.3

   sudo apt-get install -y libopenblas-base libopenmpi-dev
   wget https://developer.download.nvidia.com/compute/redist/jp/v512/pytorch/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl -O torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   

3. Instala o Torchvision v0.16.2 de acordo com PyTorch v2.1.0

   sudo apt install -y libjpeg-dev zlib1g-dev
   git clone https://github.com/pytorch/vision torchvision
   cd torchvision
   git checkout v0.16.2
   python3 setup.py install --user
   

Visita a páginaPyTorch for Jetson para acederes a todas as diferentes versões de PyTorch para diferentes versões do JetPack. Para obter uma lista mais detalhada sobre a compatibilidade do PyTorch e do Torchvision, visita a página de compatibilidade doPyTorch e do Torchvision.

Instala onnxruntime-gpu

O onnxruntime-gpu hospedado no PyPI não tem o pacote aarch64 para o Jetson. Por isso, tens de instalar manualmente este pacote. Este pacote é necessário para algumas das exportações.

Todos diferentes onnxruntime-gpu os pacotes correspondentes às diferentes versões do JetPack e do Python estão listados aqui. No entanto, aqui vamos descarregar e instalar onnxruntime-gpu 1.17.0 com Python3.8 apoia-te.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Utiliza TensorRT em NVIDIA Jetson

De todos os formatos de exportação de modelos suportados por Ultralytics, TensorRT oferece o melhor desempenho de inferência ao trabalhar com dispositivos NVIDIA Jetson e nossa recomendação é usar TensorRT com Jetson. Também temos um documento detalhado sobre TensorRT aqui.

Converte o modelo para TensorRT e executa a inferência

O modelo YOLO11n no formato PyTorch é convertido para TensorRT para executar a inferência com o modelo exportado.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine  # creates 'yolo11n.engine'

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

Usa NVIDIA Acelerador de Aprendizagem Profunda (DLA)

NVIDIA O Deep Learning Accelerator (DLA) é um componente de hardware especializado incorporado nos dispositivos NVIDIA Jetson que optimiza a inferência de aprendizagem profunda para eficiência energética e desempenho. Ao descarregar tarefas do GPU (libertando-o para processos mais intensivos), o DLA permite que os modelos sejam executados com menor consumo de energia, mantendo um elevado rendimento, ideal para sistemas incorporados e aplicações de IA em tempo real.

Os seguintes dispositivos Jetson estão equipados com hardware DLA:

• Jetson Orin NX 16GB
• Série Jetson AGX Orin
• Série Jetson AGX Xavier
• Jetson Xavier Série NX

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", half=True)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format with DLA enabled (only works with FP16 or INT8)
yolo export model=yolo11n.pt format=engine device="dla:0" half=True  # dla:0 or dla:1 corresponds to the DLA cores

# Run inference with the exported model on the DLA
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA Jetson Orin YOLO11 Benchmarks

Os testes de referência YOLO11 foram executados pela equipa Ultralytics em 10 formatos de modelos diferentes, medindo a velocidade e a precisão: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel , TF GraphDef , TF Lite, PaddlePaddle, NCNN. Os testes de referência foram executados no Seeed Studio reComputer J4012 alimentado pelo dispositivo Jetson Orin NX 16GB com precisão FP32 e tamanho de imagem de entrada predefinido de 640.

Gráfico de comparação

Apesar de todas as exportações de modelos estarem a funcionar com NVIDIA Jetson, incluímos apenas PyTorch, TorchScript, TensorRT no gráfico de comparação abaixo porque utilizam GPU no Jetson e garantem os melhores resultados. Todas as outras exportações utilizam apenas o CPU e o desempenho não é tão bom como as três anteriores. Podes encontrar referências para todas as exportações na secção a seguir a este gráfico.

Tabela de comparação detalhada

A tabela abaixo representa os resultados do benchmark para cinco modelos diferentes (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) em dez formatos diferentes (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel , TF GraphDef , TF Lite, PaddlePaddle, NCNN), dando-nos o estado, o tamanho, a métrica mAP50-95(B) e o tempo de inferência para cada combinação.

Explora mais esforços de avaliação comparativa do Seeed Studio executados em diferentes versões do hardware NVIDIA Jetson.

Reproduzir os nossos resultados

Para reproduzir as referências Ultralytics acima em todos os formatos de exportação, executa este código:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmarks(data="coco8.yaml", imgsz=640)

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml imgsz=640

Melhores práticas ao utilizar NVIDIA Jetson

Quando utilizas o NVIDIA Jetson, há algumas práticas recomendadas a seguir para obteres o máximo desempenho no NVIDIA Jetson com o YOLO11.

1. Ativar o modo de potência máxima

   Se activares o Modo de Energia Máxima no Jetson, certificar-te-ás de que todos os núcleos CPU, GPU estão ligados.

   sudo nvpmodel -m 0
   

2. Ativar os relógios Jetson

   Se activares o Jetson Clocks, certificar-te-ás de que todos os núcleos CPU, GPU têm a frequência máxima.

   sudo jetson_clocks
   

3. Instala a aplicação Jetson Stats

   Podemos utilizar a aplicação jetson stats para monitorizar as temperaturas dos componentes do sistema e verificar outros detalhes do sistema, tais como ver CPU, GPU, utilização da RAM, alterar os modos de energia, definir os relógios máximos, verificar a informação do JetPack

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

Próximos passos

Parabéns por teres configurado com sucesso o YOLO11 no teu NVIDIA Jetson! Para mais informações e apoio, visita mais guias em Ultralytics YOLO11 Docs!

FAQ

Como posso implementar o Ultralytics YOLO11 em dispositivos NVIDIA Jetson?

A implementação do Ultralytics YOLO11 em dispositivos NVIDIA Jetson é um processo simples. Em primeiro lugar, faz o flash do teu dispositivo Jetson com o NVIDIA JetPack SDK. Depois, usa uma imagem Docker pré-construída para uma configuração rápida ou instala manualmente os pacotes necessários. Os passos detalhados para cada abordagem podem ser encontrados nas secções Início rápido com o Docker e Início com a instalação nativa.

Que benchmarks de desempenho posso esperar dos modelos YOLO11 em dispositivos NVIDIA Jetson?

Os modelos YOLO11 foram comparados em vários dispositivos NVIDIA Jetson, mostrando melhorias significativas no desempenho. Por exemplo, o formato TensorRT oferece o melhor desempenho de inferência. A tabela na secção Tabela de comparação detalhada fornece uma visão abrangente das métricas de desempenho como o mAP50-95 e o tempo de inferência em diferentes formatos de modelo.

Por que razão devo utilizar TensorRT para implementar o YOLO11 em NVIDIA Jetson?

TensorRT é altamente recomendado para a implementação de modelos YOLO11 em NVIDIA Jetson devido ao seu desempenho ideal. Acelera a inferência aproveitando as capacidades GPU do Jetson, garantindo a máxima eficiência e velocidade. Sabe mais sobre como converter para TensorRT e executar a inferência na secção Utilizar TensorRT em NVIDIA Jetson.

Como posso instalar o PyTorch e o Torchvision no NVIDIA Jetson?

Para instalar o PyTorch e o Torchvision no NVIDIA Jetson, primeiro desinstala quaisquer versões existentes que possam ter sido instaladas via pip. Em seguida, instala manualmente as versões compatíveis do PyTorch e do Torchvision para a arquitetura ARM64 do Jetson. Instruções detalhadas para este processo são fornecidas na secção Instalar o PyTorch e o Torchvision.

Quais são as melhores práticas para maximizar o desempenho em NVIDIA Jetson quando utilizas o YOLO11?

Para maximizar o desempenho em NVIDIA Jetson com YOLO11, segue estas práticas recomendadas:

1. Ativa o modo de energia MAX para utilizar todos os núcleos CPU e GPU .
2. Ativa o Jetson Clocks para executar todos os núcleos na sua frequência máxima.
3. Instala a aplicação Jetson Stats para monitorizar as métricas do sistema.

Para comandos e detalhes adicionais, consulta a secção Práticas recomendadas ao utilizar o NVIDIA Jetson.

📅 C riado há 7 meses ✏️ Atualizado há 4 dias

Comentários