Exportação Rockchip RKNN para modelos Ultralytics YOLO26#

Ao implantar modelos de visão computacional em dispositivos embarcados, especialmente nos que usam processadores Rockchip, é essencial ter um formato de modelo compatível. Exportar modelos Ultralytics YOLO26 para o formato RKNN garante desempenho otimizado e compatibilidade com o hardware Rockchip. Este guia explica como converter seus modelos YOLO26 para o formato RKNN, incluindo exportações em ponto flutuante e quantizadas em INT8, permitindo uma implantação eficiente em plataformas Rockchip.

O que é Rockchip?#

Reconhecida por oferecer soluções versáteis e eficientes em termos de energia, a Rockchip projeta System-on-Chips (SoCs) avançados que alimentam uma ampla variedade de eletrônicos de consumo, aplicações industriais e tecnologias de IA. Com arquitetura baseada em ARM, unidades de processamento neural (NPUs) integradas e suporte a multimídia de alta resolução, os SoCs da Rockchip oferecem desempenho de ponta para dispositivos como tablets, smart TVs, sistemas de IoT e aplicações de IA de borda. Empresas como Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas e Banana Pi oferecem uma variedade de produtos baseados em SoCs da Rockchip, ampliando ainda mais seu alcance e impacto em diversos mercados.

RKNN Toolkit#

O RKNN Toolkit é um conjunto de ferramentas e bibliotecas fornecido pela Rockchip para facilitar a implantação de modelos de aprendizado profundo em suas plataformas de hardware. RKNN, ou Rede Neural Rockchip, é o formato proprietário usado por essas ferramentas. Os modelos RKNN foram projetados para aproveitar ao máximo a aceleração de hardware oferecida pela NPU (Unidade de Processamento Neural) da Rockchip, garantindo alto desempenho em tarefas de IA em dispositivos como RK3588, RK3566, RV1103, RV1106 e outros sistemas baseados em Rockchip.

Principais recursos dos modelos RKNN#

Os modelos RKNN oferecem várias vantagens para implantação em plataformas Rockchip:

• Otimizados para NPU: os modelos RKNN são otimizados especificamente para execução nas NPUs da Rockchip, garantindo o máximo desempenho e eficiência.
• Baixa latência: o formato RKNN minimiza a latência de inferência, algo essencial para aplicações em tempo real em dispositivos de borda.
• Personalização específica para a plataforma: os modelos RKNN podem ser adaptados a plataformas Rockchip específicas, permitindo um melhor aproveitamento dos recursos de hardware.
• Eficiência energética: ao aproveitar o hardware dedicado da NPU, os modelos RKNN consomem menos energia do que o processamento baseado em CPU ou GPU, prolongando a duração da bateria de dispositivos portáteis.

Gravar um sistema operacional no hardware Rockchip#

O primeiro passo depois de obter um dispositivo baseado em Rockchip é gravar um sistema operacional para que o hardware possa inicializar em um ambiente funcional. Neste guia, indicaremos os guias de introdução dos dois dispositivos que testamos: Radxa Rock 5B e Radxa Zero 3W.

• Guia de introdução ao Radxa Rock 5B
• Guia de introdução ao Radxa Zero 3W

Tarefas suportadas#

A exportação para RKNN oferece suporte às sete tarefas da Ultralytics. A segmentação semântica e a estimativa de profundidade estão disponíveis apenas com YOLO26, a única família que inclui essas cabeças.

Exportar para RKNN: convertendo seu modelo YOLO26#

Exporte um modelo Ultralytics YOLO26 para o formato RKNN e execute a inferência com o modelo exportado.

Instalação#

Para instalar os pacotes necessários, executa:

# Install the required package for YOLO26
pip install ultralytics

Para obter instruções detalhadas e boas práticas relacionadas ao processo de instalação, consulte nosso guia de instalação da Ultralytics. Se tiver dificuldades ao instalar os pacotes necessários para YOLO26, consulte nosso guia de problemas comuns para ver soluções e dicas.

Uso#

O formato RKNN oferece suporte aos modos Exportar, Prever e Validar. A inferência e a validação são executadas no hardware NPU da Rockchip. Exporte seu modelo e, em seguida, carregue o modelo exportado para executar a inferência ou validar sua precisão. Por padrão, a exportação para RKNN usa o caminho de compilação de ponto flutuante (quantize=16) para destinos Rockchip compatíveis com FP16. Use quantize=8 para compilar um modelo RKNN quantizado em INT8 com dados de calibração. A exportação para RKNN não oferece um modo FP32 separado; o padrão FP16 não solicita FP32.

from ultralytics import YOLO

# Carregar um modelo YOLO26 (substitua por qualquer modelo de tarefa compatível)
model = YOLO("yolo26n-obb.pt")

# Exportar o modelo para o formato RKNN
model.export(format="rknn", name="rk3588")  # creates 'yolo26n-obb_rknn_model'

# Exportar um modelo RKNN quantizado em INT8 com dados de calibração (somente modelos de detecção)
model = YOLO("yolo26n.pt")
model.export(format="rknn", name="rk3588", quantize=8, data="coco8.yaml")  # creates 'yolo26n_rknn_model'

from ultralytics import YOLO

# Carregar o modelo RKNN exportado
model = YOLO("./yolo26n-obb_rknn_model")

# Executar inferência
results = model("https://ultralytics.com/images/boats.jpg")

from ultralytics import YOLO

# Carregar o modelo RKNN exportado
model = YOLO("./yolo26n-obb_rknn_model")

# Validar a precisão no conjunto de dados DOTA8
metrics = model.val(data="dota8.yaml")

Argumentos de exportação#

Para mais detalhes sobre o processo de exportação, visita a página da documentação da Ultralytics sobre exportação.

Implantação de modelos YOLO26 RKNN exportados#

Depois de exportar com sucesso seus modelos Ultralytics YOLO26 para o formato RKNN, o próximo passo é implantá-los em dispositivos baseados em Rockchip.

Instalação#

Para instalar os pacotes necessários, executa:

# Install the required package for YOLO26
pip install ultralytics

Depois de instalar, execute a inferência e a validação no seu dispositivo Rockchip exatamente como mostrado na seção Uso acima — o _rknn_model exportado é carregado diretamente com YOLO(...).

Aplicações no mundo real#

Dispositivos com Rockchip e modelos YOLO26 RKNN podem ser usados em diversas aplicações:

• Vigilância inteligente: implante sistemas eficientes de detecção de objetos para monitoramento de segurança com baixo consumo de energia.
• Automação industrial: implemente o controle de qualidade e a detecção de defeitos diretamente em dispositivos embarcados.
• Análise de varejo: acompanhe o comportamento dos clientes e gerencie o estoque em tempo real, sem depender da nuvem.
• Agricultura inteligente: monitore a saúde das plantações e detecte pragas usando visão computacional na agricultura.
• Robótica autônoma: possibilite a navegação baseada em visão e a detecção de obstáculos em plataformas com recursos limitados.

Benchmarks#

Os benchmarks do YOLO26 abaixo foram executados pela equipe da Ultralytics no Radxa Rock 5B, baseado no Rockchip RK3588, usando o formato de modelo rknn para medir velocidade e precisão.

Resumo#

Neste guia, você aprendeu a exportar modelos Ultralytics YOLO26 para o formato RKNN a fim de aprimorar sua implantação em plataformas Rockchip. Você também conheceu o RKNN Toolkit e as vantagens específicas de usar modelos RKNN em aplicações de IA de borda.

A combinação de Ultralytics YOLO26 e da tecnologia NPU da Rockchip oferece uma solução eficiente para executar tarefas avançadas de visão computacional em dispositivos embarcados. Essa abordagem possibilita a detecção de objetos em tempo real e outras aplicações de IA visual com consumo mínimo de energia e alto desempenho.

Para mais detalhes sobre o uso, consulte a documentação oficial do RKNN.

Além disso, se quiseres saber mais sobre outras integrações da Ultralytics YOLO26, visita a nossa página do guia de integração. Encontrarás muitos recursos e informações úteis.

Perguntas frequentes#