Guia de início rápido: NVIDIA Jetson com Ultralytics YOLO11

Este guia abrangente fornece um passo-a-passo detalhado para a implantação do Ultralytics YOLO11 em dispositivos NVIDIA Jetson. Além disso, apresenta referências de desempenho para demonstrar as capacidades do YOLO11 nestes dispositivos pequenos e potentes.

Ver: Como configurar o NVIDIA Jetson com Ultralytics YOLO11

O que é NVIDIA Jetson?

NVIDIA A Jetson é uma série de placas de computação incorporadas concebidas para levar a computação acelerada de IA (inteligência artificial) aos dispositivos periféricos. Estes dispositivos compactos e potentes são construídos em torno da arquitetura NVIDIA's GPU e são capazes de executar algoritmos de IA complexos e modelos de aprendizagem profunda diretamente no dispositivo, sem necessidade de depender de recursos de computação em nuvem. As placas Jetson são frequentemente utilizadas em robótica, veículos autónomos, automação industrial e outras aplicações em que a inferência de IA tem de ser realizada localmente com baixa latência e elevada eficiência. Além disso, estas placas baseiam-se na arquitetura ARM64 e consomem menos energia do que os dispositivos de computação GPU tradicionais.

NVIDIA Comparação da série Jetson

O Jetson Orin é a mais recente iteração da família NVIDIA Jetson baseada na arquitetura NVIDIA Ampere, que proporciona um desempenho de IA drasticamente melhorado em comparação com as gerações anteriores. A tabela abaixo compara alguns dos dispositivos Jetson no ecossistema.

Para obter uma tabela de comparação mais detalhada, visite a secção Especificações técnicas da página oficial NVIDIA Jetson.

O que é o NVIDIA JetPack?

NVIDIA O SDK JetPack que alimenta os módulos Jetson é a solução mais abrangente e proporciona um ambiente de desenvolvimento completo para a criação de aplicações de IA aceleradas de ponta a ponta e reduz o tempo de comercialização. O JetPack inclui o Jetson Linux com bootloader, kernel Linux, ambiente de trabalho Ubuntu e um conjunto completo de bibliotecas para aceleração de GPU computação, multimédia, gráficos e visão computacional. Inclui também amostras, documentação e ferramentas para programadores, tanto para o computador anfitrião como para o kit de desenvolvimento, e suporta SDKs de nível superior, como o DeepStream para análise de vídeo em fluxo contínuo, o Isaac para robótica e o Riva para IA de conversação.

Flash JetPack para NVIDIA Jetson

O primeiro passo depois de deitar as mãos a um dispositivo NVIDIA Jetson é fazer o flash do NVIDIA JetPack para o dispositivo. Existem várias formas diferentes de atualizar os dispositivos NVIDIA Jetson.

1. Se possuir um kit de desenvolvimento oficial NVIDIA , como o kit de desenvolvimento Jetson Orin Nano, pode descarregar uma imagem e preparar um cartão SD com o JetPack para arrancar o dispositivo.
2. Se possuir qualquer outro NVIDIA Development Kit, pode instalar o JetPack no dispositivo utilizando o SDK Manager.
3. Se possuir um dispositivo Seeed Studio reComputer J4012, pode instalar o JetPack no SSD incluído e se possuir um dispositivo Seeed Studio reComputer J1020 v2, pode instalar o JetPack no eMMC/SSD.
4. Se possuir qualquer outro dispositivo de terceiros alimentado pelo módulo NVIDIA Jetson, recomenda-se que siga a linha de comandos para piscar.

Suporte JetPack baseado no dispositivo Jetson

A tabela abaixo destaca as versões do NVIDIA JetPack suportadas por diferentes dispositivos NVIDIA Jetson.

Início rápido com o Docker

A maneira mais rápida de começar a usar o Ultralytics YOLO11 no NVIDIA Jetson é executar com imagens de docker pré-construídas para o Jetson. Consulte a tabela acima e escolha a versão do JetPack de acordo com o dispositivo Jetson que possui.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack5
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack6
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Depois de fazer isto, passe à secção Utilizar TensorRT em NVIDIA Jetson.

Começar com a instalação nativa

Para uma instalação nativa sem o Docker, consulte as etapas abaixo.

Executar no JetPack 6.x

Instalar o pacote Ultralytics

Aqui vamos instalar o pacote Ultralytics no Jetson com dependências opcionais para que possamos exportar os PyTorch modelos para outros formatos diferentes. Concentrar-nos-emos principalmente nas exportaçõesNVIDIA TensorRT porque o TensorRT garante que podemos obter o máximo desempenho dos dispositivos Jetson.

1. Atualizar a lista de pacotes, instalar o pip e atualizar para a versão mais recente

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Instalar ultralytics pacote pip com dependências opcionais

   pip install ultralytics[export]
   

3. Reiniciar o dispositivo

   sudo reboot
   

Instalar PyTorch e Torchvision

A instalação do ultralytics acima instalará o Torch e o Torchvision. No entanto, esses dois pacotes instalados via pip não são compatíveis para serem executados na plataforma Jetson, que é baseada na arquitetura ARM64. Portanto, precisamos de instalar manualmente o PyTorch pip wheel pré-construído e compilar/instalar o Torchvision a partir da fonte.

Instalar torch 2.3.0 e torchvision 0.18 de acordo com JP6.0

sudo apt-get install libopenmpi-dev libopenblas-base libomp-dev -y
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.3.0-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.18.0a0+6043bc2-cp310-cp310-linux_aarch64.whl

Visite a páginaPyTorch for Jetson para aceder a todas as diferentes versões de PyTorch para diferentes versões do JetPack. Para obter uma lista mais detalhada sobre a compatibilidade do PyTorch e do Torchvision, visite a página de compatibilidade doPyTorch e do Torchvision.

Instalar onnxruntime-gpu

O onnxruntime-gpu hospedado no PyPI não possui o pacote aarch64 binários para o Jetson. Por isso, precisamos de instalar manualmente este pacote. Este pacote é necessário para algumas das exportações.

Todos diferentes onnxruntime-gpu os pacotes correspondentes às diferentes versões do JetPack e do Python são listados aqui. No entanto, aqui vamos descarregar e instalar onnxruntime-gpu 1.18.0 com Python3.10 apoio.

wget https://nvidia.box.com/shared/static/48dtuob7meiw6ebgfsfqakc9vse62sg4.whl -O onnxruntime_gpu-1.18.0-cp310-cp310-linux_aarch64.whl
pip install onnxruntime_gpu-1.18.0-cp310-cp310-linux_aarch64.whl

Executar no JetPack 5.x

Instalar o pacote Ultralytics

Aqui vamos instalar o pacote Ultralytics no Jetson com dependências opcionais para podermos exportar os modelos PyTorch para outros formatos diferentes. Concentrar-nos-emos principalmente nas exportaçõesNVIDIA TensorRT porque o TensorRT garante que podemos obter o máximo desempenho dos dispositivos Jetson.

1. Atualizar a lista de pacotes, instalar o pip e atualizar para a versão mais recente

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Instalar ultralytics pacote pip com dependências opcionais

   pip install ultralytics[export]
   

3. Reiniciar o dispositivo

   sudo reboot
   

Instalar PyTorch e Torchvision

A instalação do ultralytics acima instalará o Torch e o Torchvision. No entanto, esses dois pacotes instalados via pip não são compatíveis para serem executados na plataforma Jetson, que é baseada na arquitetura ARM64. Portanto, precisamos de instalar manualmente o PyTorch pip wheel pré-construído e compilar/instalar o Torchvision a partir da fonte.

1. Desinstalar o PyTorch e o Torchvision atualmente instalados

   pip uninstall torch torchvision
   

2. Instalar PyTorch 2.1.0 de acordo com JP5.1.3

   sudo apt-get install -y libopenblas-base libopenmpi-dev
   wget https://developer.download.nvidia.com/compute/redist/jp/v512/pytorch/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl -O torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   

3. Instalar o Torchvision v0.16.2 de acordo com PyTorch v2.1.0

   sudo apt install -y libjpeg-dev zlib1g-dev
   git clone https://github.com/pytorch/vision torchvision
   cd torchvision
   git checkout v0.16.2
   python3 setup.py install --user
   

Visite a páginaPyTorch for Jetson para aceder a todas as diferentes versões de PyTorch para diferentes versões do JetPack. Para obter uma lista mais detalhada sobre a compatibilidade do PyTorch e do Torchvision, visite a página de compatibilidade doPyTorch e do Torchvision.

Instalar onnxruntime-gpu

O onnxruntime-gpu hospedado no PyPI não possui o pacote aarch64 binários para o Jetson. Por isso, precisamos de instalar manualmente este pacote. Este pacote é necessário para algumas das exportações.

Todos diferentes onnxruntime-gpu os pacotes correspondentes às diferentes versões do JetPack e do Python são listados aqui. No entanto, aqui vamos descarregar e instalar onnxruntime-gpu 1.17.0 com Python3.8 apoio.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Utilizar TensorRT em NVIDIA Jetson

De todos os formatos de exportação de modelos suportados por Ultralytics, TensorRT oferece o melhor desempenho de inferência ao trabalhar com dispositivos NVIDIA Jetson e nossa recomendação é usar TensorRT com Jetson. Também temos um documento detalhado sobre TensorRT aqui.

Converter o modelo para TensorRT e executar a inferência

O modelo YOLO11n no formato PyTorch é convertido para TensorRT para efetuar a inferência com o modelo exportado.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine  # creates 'yolo11n.engine'

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

Utilizar NVIDIA Acelerador de Aprendizagem Profunda (DLA)

NVIDIA O Deep Learning Accelerator (DLA) é um componente de hardware especializado incorporado nos dispositivos NVIDIA Jetson que optimiza a inferência de aprendizagem profunda para eficiência energética e desempenho. Ao descarregar tarefas do GPU (libertando-o para processos mais intensivos), o DLA permite que os modelos sejam executados com menor consumo de energia, mantendo um elevado rendimento, ideal para sistemas incorporados e aplicações de IA em tempo real.

Os seguintes dispositivos Jetson estão equipados com hardware DLA:

• Jetson Orin NX 16GB
• Série Jetson AGX Orin
• Série Jetson AGX Xavier
• Série Jetson Xavier NX

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", half=True)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format with DLA enabled (only works with FP16 or INT8)
yolo export model=yolo11n.pt format=engine device="dla:0" half=True  # dla:0 or dla:1 corresponds to the DLA cores

# Run inference with the exported model on the DLA
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA Jetson Orin YOLO11 Referências

YOLO11 Os testes de referência foram executados pela equipa Ultralytics em 10 formatos de modelos diferentes, medindo a velocidade e a precisão: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel , TF GraphDef , TF Lite, PaddlePaddle, NCNN. Os testes de referência foram efectuados no Seeed Studio reComputer J4012 equipado com o dispositivo Jetson Orin NX 16GB com precisão FP32 e tamanho de imagem de entrada predefinido de 640.

Gráfico de comparação

Apesar de todas as exportações de modelos estarem a funcionar com NVIDIA Jetson, incluímos apenas PyTorch, TorchScript, TensorRT no gráfico de comparação abaixo, porque utilizam o GPU no Jetson e garantem os melhores resultados. Todas as outras exportações utilizam apenas o CPU e o desempenho não é tão bom como as três anteriores. Pode encontrar referências para todas as exportações na secção a seguir a este gráfico.

Tabela de comparação pormenorizada

A tabela abaixo representa os resultados do teste de referência para cinco modelos diferentes (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) em dez formatos diferentes (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel , TF GraphDef , TF Lite, PaddlePaddle, NCNN), dando-nos o estado, o tamanho, a métrica mAP50-95(B) e o tempo de inferência para cada combinação.

Explore mais esforços de avaliação comparativa do Seeed Studio executados em diferentes versões do hardware NVIDIA Jetson.

Reproduzir os nossos resultados

Para reproduzir os valores de referência Ultralytics acima referidos em todos os formatos de exportação, execute este código:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmarks(data="coco8.yaml", imgsz=640)

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml imgsz=640

Melhores práticas ao utilizar NVIDIA Jetson

Ao utilizar o NVIDIA Jetson, existem algumas práticas recomendadas a seguir para permitir o máximo desempenho no NVIDIA Jetson com o YOLO11.

1. Ativar o modo de potência máxima

   A ativação do modo MAX Power no Jetson garante que todos os núcleos CPU, GPU estão ligados.

   sudo nvpmodel -m 0
   

2. Ativar os relógios Jetson

   A ativação dos relógios Jetson garante que todos os núcleos CPU, GPU têm o seu relógio na frequência máxima.

   sudo jetson_clocks
   

3. Instalar a aplicação Jetson Stats

   Podemos utilizar a aplicação jetson stats para monitorizar as temperaturas dos componentes do sistema e verificar outros detalhes do sistema, como ver CPU, GPU, utilização da RAM, alterar os modos de energia, definir relógios máximos, verificar as informações do JetPack

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

Próximos passos

Parabéns por ter configurado com êxito o YOLO11 no seu NVIDIA Jetson! Para mais informações e suporte, visite mais guias em Ultralytics YOLO11 Docs!

FAQ

Como posso implementar Ultralytics YOLO11 em dispositivos NVIDIA Jetson?

A implantação do Ultralytics YOLO11 em dispositivos NVIDIA Jetson é um processo simples. Primeiro, instale o seu dispositivo Jetson com o SDK JetPack NVIDIA . Em seguida, utilize uma imagem Docker pré-construída para uma configuração rápida ou instale manualmente os pacotes necessários. Os passos detalhados para cada abordagem podem ser encontrados nas secções Início rápido com o Docker e Início com a instalação nativa.

Que referências de desempenho posso esperar dos modelos YOLO11 em dispositivos NVIDIA Jetson?

YOLO11 foram comparados em vários dispositivos NVIDIA Jetson, mostrando melhorias significativas no desempenho. Por exemplo, o formato TensorRT oferece o melhor desempenho de inferência. A tabela na secção Tabela de comparação detalhada fornece uma visão abrangente das métricas de desempenho como o mAP50-95 e o tempo de inferência em diferentes formatos de modelo.

Por que razão devo utilizar TensorRT para implementar YOLO11 em NVIDIA Jetson?

TensorRT é altamente recomendado para a implementação de modelos YOLO11 em NVIDIA Jetson devido ao seu ótimo desempenho. Ele acelera a inferência aproveitando os recursos GPU do Jetson, garantindo máxima eficiência e velocidade. Saiba mais sobre como converter para TensorRT e executar a inferência na secção Utilizar TensorRT em NVIDIA Jetson.

Como posso instalar o PyTorch e o Torchvision no NVIDIA Jetson?

Para instalar o PyTorch e o Torchvision no NVIDIA Jetson, primeiro desinstale quaisquer versões existentes que possam ter sido instaladas via pip. Em seguida, instale manualmente as versões compatíveis do PyTorch e do Torchvision para a arquitetura ARM64 do Jetson. São fornecidas instruções detalhadas para este processo na secção Instalar o PyTorch e o Torchvision.

Quais são as práticas recomendadas para maximizar o desempenho em NVIDIA Jetson ao usar YOLO11?

Para maximizar o desempenho em NVIDIA Jetson com YOLO11, siga estas práticas recomendadas:

1. Ativar o modo de alimentação MAX para utilizar todos os núcleos CPU e GPU .
2. Ativar os relógios Jetson para executar todos os núcleos na sua frequência máxima.
3. Instale a aplicação Jetson Stats para monitorizar as métricas do sistema.

Para obter comandos e detalhes adicionais, consulte a secção Melhores práticas ao utilizar o NVIDIA Jetson.

📅C riado há 8 meses ✏️ Atualizado há 3 dias

Comentários