Exportação RKNN da Rockchip para modelos Ultralytics YOLO26#

Quando implementas modelos de visão computacional em dispositivos embebidos, especialmente aqueles alimentados por processadores Rockchip, ter um formato de modelo compatível é essencial. Exportar modelos Ultralytics YOLO26 para o formato RKNN garante um desempenho otimizado e compatibilidade com o hardware da Rockchip. Este guia vai ajudar-te a converter os teus modelos YOLO26 para o formato RKNN, incluindo exportações quantizadas de vírgula flutuante e INT8, permitindo uma implementação eficiente em plataformas Rockchip.

O que é Rockchip?#

Reconhecida por fornecer soluções versáteis e energeticamente eficientes, a Rockchip concebe Sistemas em Chip (SoCs) avançados que alimentam uma vasta gama de eletrónica de consumo, aplicações industriais e tecnologias de IA. Com arquitetura baseada em ARM, Unidades de Processamento Neural (NPUs) integradas e suporte multimédia de alta resolução, os SoCs Rockchip permitem um desempenho de ponta para dispositivos como tablets, smart TVs, sistemas IoT e aplicações de IA de edge. Empresas como a Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas e Banana Pi oferecem uma variedade de produtos baseados em SoCs Rockchip, estendendo ainda mais o seu alcance e impacto em diversos mercados.

RKNN Toolkit#

O RKNN Toolkit é um conjunto de ferramentas e bibliotecas fornecidas pela Rockchip para facilitar a implementação de modelos de deep learning nas suas plataformas de hardware. RKNN, ou Rockchip Neural Network, é o formato proprietário utilizado por estas ferramentas. Os modelos RKNN são concebidos para tirar pleno partido da aceleração de hardware fornecida pela NPU (Neural Processing Unit) da Rockchip, garantindo um alto desempenho em tarefas de IA em dispositivos como o RK3588, RK3566, RV1103, RV1106 e outros sistemas alimentados por Rockchip.

Principais Recursos dos Modelos RKNN#

Os modelos RKNN oferecem várias vantagens para a implantação em plataformas Rockchip:

• Otimizado para NPU: Os modelos RKNN são especificamente otimizados para serem executados nas NPUs da Rockchip, garantindo desempenho e eficiência máximos.
• Baixa Latência: O formato RKNN minimiza a latência de inferência, o que é crítico para aplicações em tempo real em dispositivos de borda.
• Personalização Específica da Plataforma: Os modelos RKNN podem ser adaptados para plataformas Rockchip específicas, permitindo uma melhor utilização dos recursos de hardware.
• Eficiência Energética: Ao aproveitar o hardware dedicado da NPU, os modelos RKNN consomem menos energia do que o processamento baseado em CPU ou GPU, estendendo a vida útil da bateria para dispositivos portáteis.

Instalar o SO no hardware Rockchip#

O primeiro passo após adquirir um dispositivo baseado em Rockchip é instalar um SO para que o hardware possa inicializar em um ambiente funcional. Neste guia, indicaremos os guias de início rápido dos dois dispositivos que testamos, que são o Radxa Rock 5B e o Radxa Zero 3W.

• Guia de Introdução ao Radxa Rock 5B
• Guia de Introdução ao Radxa Zero 3W

Tarefas Suportadas#

A exportação para RKNN suporta todas as sete tarefas do Ultralytics. A segmentação semântica e a estimativa de profundidade estão disponíveis apenas com o YOLO26, a única família que possui esses cabeçotes.

Exportar para RKNN: Convertendo seu modelo YOLO26#

Exporte um modelo Ultralytics YOLO26 para o formato RKNN e execute a inferência com o modelo exportado.

Instalação#

Para instalar os pacotes necessários, execute:

# Install the required package for YOLO26
pip install ultralytics

Para instruções detalhadas e melhores práticas relacionadas com o processo de instalação, consulta o nosso guia de instalação do Ultralytics. Ao instalar os pacotes necessários para o YOLO26, se encontrares alguma dificuldade, consulta o nosso guia de problemas comuns para obter soluções e dicas.

Uso#

O formato RKNN suporta os modos Export, Predict e Validate. A inferência e a validação correm no hardware NPU da Rockchip. Exporta o teu modelo, depois carrega o modelo exportado para correr a inferência ou validar a sua precisão. Por predefinição, a exportação RKNN utiliza o caminho de compilação de vírgula flutuante (quantize=16) para alvos Rockchip com capacidade FP16. Usa quantize=8 para construir um modelo RKNN quantizado em INT8 com dados de calibração. A exportação RKNN não expõe um modo FP32 separado; a predefinição FP16 não solicita FP32.

from ultralytics import YOLO

# Load a YOLO26 model (replace with any supported task model)
model = YOLO("yolo26n-obb.pt")

# Export the model to RKNN format
model.export(format="rknn", name="rk3588")  # creates '/yolo26n-obb_rknn_model'

# Export an INT8-quantized RKNN model with calibration data
model.export(format="rknn", name="rk3588", quantize=8, data="dota8.yaml")

from ultralytics import YOLO

# Load the exported RKNN model
model = YOLO("./yolo26n-obb_rknn_model")

# Run inference
results = model("https://ultralytics.com/images/boats.jpg")

from ultralytics import YOLO

# Load the exported RKNN model
model = YOLO("./yolo26n-obb_rknn_model")

# Validate accuracy on the DOTA8 dataset
metrics = model.val(data="dota8.yaml")

Argumentos de Exportação#

Para mais detalhes sobre o processo de exportação, visita a página de documentação do Ultralytics sobre exportação.

Implantando Modelos YOLO26 RKNN Exportados#

Depois de exportar com sucesso seus modelos Ultralytics YOLO26 para o formato RKNN, o próximo passo é implantar esses modelos em dispositivos baseados em Rockchip.

Instalação#

Para instalar os pacotes necessários, execute:

# Install the required package for YOLO26
pip install ultralytics

Uma vez instalado, executa a inferência e a validação no teu dispositivo Rockchip exatamente como mostrado na secção Usage acima — o _rknn_model exportado carrega diretamente com YOLO(...).

Aplicações do Mundo Real#

Dispositivos equipados com Rockchip usando modelos YOLO26 RKNN podem ser usados em várias aplicações:

• Vigilância Inteligente: Implante sistemas eficientes de detecção de objetos para monitoramento de segurança com baixo consumo de energia.
• Automação Industrial: Implemente controle de qualidade e detecção de defeitos diretamente em dispositivos embarcados.
• Análise de Varejo: Rastreie o comportamento do cliente e o gerenciamento de inventário em tempo real sem dependência da nuvem.
• Agricultura Inteligente: Monitoriza a saúde das culturas e deteta pragas utilizando visão computacional na agricultura.
• Robótica Autônoma: Habilite navegação baseada em visão e detecção de obstáculos em plataformas com recursos limitados.

Benchmarks#

Os benchmarks do YOLO26 abaixo foram executados pela equipa da Ultralytics no Radxa Rock 5B baseado no Rockchip RK3588 com o formato de modelo rknn, medindo a velocidade e a precisão.

Resumo#

Neste guia, você aprendeu como exportar modelos Ultralytics YOLO26 para o formato RKNN para aprimorar sua implantação em plataformas Rockchip. Você também foi apresentado ao RKNN Toolkit e às vantagens específicas de usar modelos RKNN para aplicações de edge AI.

A combinação do Ultralytics YOLO26 e da tecnologia NPU da Rockchip fornece uma solução eficiente para executar tarefas avançadas de visão computacional em dispositivos embebidos. Esta abordagem permite deteção de objetos em tempo real e outras aplicações de IA de visão com consumo mínimo de energia e alto desempenho.

Para mais detalhes sobre a utilização, visita a documentação oficial do RKNN.

Além disso, se quiseres saber mais sobre outras integrações do Ultralytics YOLO26, visita a nossa integration guide page. Encontrará lá muitos recursos e conhecimentos úteis.

FAQ#