Exportação para RKNN de modelos Ultralytics YOLO26 para Rockchip#

Ao implementar modelos de visão computacional em dispositivos integrados, especialmente nos equipados com processadores Rockchip, é essencial dispor de um formato de modelo compatível. Exportar modelos Ultralytics YOLO26 para o formato RKNN garante um desempenho otimizado e compatibilidade com o hardware Rockchip. Este guia explica como converter os teus modelos YOLO26 para o formato RKNN, incluindo exportações de ponto flutuante e quantizadas em INT8, permitindo uma implementação eficiente em plataformas Rockchip.

O que é a Rockchip?#

Reconhecida por fornecer soluções versáteis e energeticamente eficientes, a Rockchip desenvolve sistemas avançados em chip (SoCs) que alimentam uma vasta gama de produtos eletrónicos de consumo, aplicações industriais e tecnologias de IA. Com uma arquitetura baseada em ARM, unidades de processamento neural (NPUs) integradas e suporte multimédia de alta resolução, os SoCs Rockchip permitem um desempenho de ponta em dispositivos como tablets, televisores inteligentes, sistemas IoT e aplicações de IA na periferia. Empresas como Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas e Banana Pi oferecem vários produtos baseados em SoCs Rockchip, ampliando ainda mais o seu alcance e impacto em diferentes mercados.

RKNN Toolkit#

O RKNN Toolkit é um conjunto de ferramentas e bibliotecas fornecido pela Rockchip para facilitar a implementação de modelos de aprendizagem profunda nas suas plataformas de hardware. RKNN, ou rede neural Rockchip, é o formato proprietário utilizado por estas ferramentas. Os modelos RKNN foram concebidos para tirar pleno partido da aceleração de hardware disponibilizada pela NPU (unidade de processamento neural) da Rockchip, garantindo um elevado desempenho em tarefas de IA em dispositivos como RK3588, RK3566, RV1103, RV1106 e outros sistemas equipados com Rockchip.

Principais funcionalidades dos modelos RKNN#

Os modelos RKNN oferecem várias vantagens para a implementação em plataformas Rockchip:

• Otimização para NPU: os modelos RKNN são especificamente otimizados para execução nas NPUs da Rockchip, garantindo o máximo desempenho e eficiência.
• Baixa latência: o formato RKNN minimiza a latência da inferência, o que é essencial para aplicações em tempo real em dispositivos periféricos.
• Personalização específica da plataforma: os modelos RKNN podem ser adaptados a plataformas Rockchip específicas, permitindo uma melhor utilização dos recursos de hardware.
• Eficiência energética: ao tirar partido do hardware NPU dedicado, os modelos RKNN consomem menos energia do que o processamento baseado em CPU ou GPU, prolongando a duração da bateria dos dispositivos portáteis.

Instalar o sistema operativo no hardware Rockchip#

O primeiro passo depois de obteres um dispositivo baseado em Rockchip é instalar um sistema operativo, para que o hardware possa arrancar num ambiente funcional. Neste guia, indicaremos os guias de introdução dos dois dispositivos que testámos: Radxa Rock 5B e Radxa Zero 3W.

• Guia de introdução do Radxa Rock 5B
• Guia de introdução do Radxa Zero 3W

Tarefas suportadas#

A exportação para RKNN é compatível com as sete tarefas da Ultralytics. A segmentação semântica e a estimativa de profundidade estão disponíveis apenas com YOLO26, a única família que inclui essas cabeças.

Exportar para RKNN: converter o teu modelo YOLO26#

Exporta um modelo Ultralytics YOLO26 para o formato RKNN e executa a inferência com o modelo exportado.

Instalação#

Para instalares os pacotes necessários, executa:

# Install the required package for YOLO26
pip install ultralytics

Para obter instruções detalhadas e boas práticas relacionadas com o processo de instalação, consulte o nosso guia de instalação do Ultralytics. Ao instalar os pacotes necessários para YOLO26, se encontrar alguma dificuldade, consulte o nosso guia de problemas comuns para obter soluções e dicas.

Utilização#

O formato RKNN é compatível com os modos Exportar, Prever e Validar. A inferência e a validação são executadas no hardware NPU da Rockchip. Exporta o teu modelo e, em seguida, carrega o modelo exportado para executar a inferência ou validar a sua precisão. Por predefinição, a exportação para RKNN utiliza o caminho de compilação de ponto flutuante (quantize=16) para destinos Rockchip compatíveis com FP16. Utiliza quantize=8 para compilar um modelo RKNN quantizado em INT8 com dados de calibração. A exportação para RKNN não disponibiliza um modo FP32 separado; a predefinição FP16 não solicita FP32.

from ultralytics import YOLO

# Load a YOLO26 model (replace with any supported task model)
model = YOLO("yolo26n-obb.pt")

# Export the model to RKNN format
model.export(format="rknn", name="rk3588")  # creates 'yolo26n-obb_rknn_model'

# Export an INT8-quantized RKNN model with calibration data (detection models only)
model = YOLO("yolo26n.pt")
model.export(format="rknn", name="rk3588", quantize=8, data="coco8.yaml")  # creates 'yolo26n_rknn_model'

from ultralytics import YOLO

# Load the exported RKNN model
model = YOLO("./yolo26n-obb_rknn_model")

# Run inference
results = model("https://ultralytics.com/images/boats.jpg")

from ultralytics import YOLO

# Load the exported RKNN model
model = YOLO("./yolo26n-obb_rknn_model")

# Validate accuracy on the DOTA8 dataset
metrics = model.val(data="dota8.yaml")

Argumentos de Exportação#

Para obter mais detalhes sobre o processo de exportação, visita a página da documentação da Ultralytics sobre exportação.

Implementar modelos YOLO26 RKNN exportados#

Depois de exportares com sucesso os teus modelos Ultralytics YOLO26 para o formato RKNN, o passo seguinte é implementá-los em dispositivos baseados em Rockchip.

Instalação#

Para instalares os pacotes necessários, executa:

# Install the required package for YOLO26
pip install ultralytics

Depois de instalado, executa a inferência e a validação no teu dispositivo Rockchip exatamente como mostrado na secção Utilização acima — o _rknn_model exportado é carregado diretamente com YOLO(...).

Aplicações no mundo real#

Os dispositivos equipados com Rockchip e modelos YOLO26 RKNN podem ser utilizados em várias aplicações:

• Vigilância inteligente: implementa sistemas eficientes de deteção de objetos para monitorização de segurança com baixo consumo de energia.
• Automação industrial: implementa o controlo de qualidade e a deteção de defeitos diretamente em dispositivos integrados.
• Análise de retalho: acompanha o comportamento dos clientes e a gestão do inventário em tempo real, sem depender da nuvem.
• Agricultura inteligente: monitoriza a saúde das culturas e deteta pragas utilizando visão computacional na agricultura.
• Robótica autónoma: permite a navegação baseada em visão e a deteção de obstáculos em plataformas com recursos limitados.

Benchmarks#

Os benchmarks do YOLO26 abaixo foram executados pela equipa da Ultralytics num Radxa Rock 5B baseado no Rockchip RK3588, utilizando o formato de modelo rknn para medir a velocidade e a precisão.

Resumo#

Neste guia, aprendeste a exportar modelos Ultralytics YOLO26 para o formato RKNN, de modo a melhorar a sua implementação em plataformas Rockchip. Também conheceste o RKNN Toolkit e as vantagens específicas da utilização de modelos RKNN em aplicações de IA na periferia.

A combinação de Ultralytics YOLO26 e da tecnologia NPU da Rockchip fornece uma solução eficiente para executar tarefas avançadas de visão computacional em dispositivos integrados. Esta abordagem permite a deteção de objetos em tempo real e outras aplicações de IA de visão, com um consumo mínimo de energia e um elevado desempenho.

Para mais informações sobre a utilização, consulta a documentação oficial do RKNN.

Além disso, se quiseres saber mais sobre outras integrações do Ultralytics YOLO26, visita a nossa página do guia de integrações. Encontrarás aí muitos recursos e informações úteis.

Perguntas frequentes#