Exportação RKNN da Rockchip para modelos Ultralytics YOLO26
Ao implementar modelos de visão computacional em dispositivos embarcados, especialmente naqueles equipados com processadores Rockchip, ter um formato de modelo compatível é essencial. Exportar modelos Ultralytics YOLO26 para o formato RKNN garante um desempenho otimizado e compatibilidade com o hardware da Rockchip. Este guia irá orientar-te na conversão dos teus modelos YOLO26 para o formato RKNN, permitindo uma implementação eficiente em plataformas Rockchip.
Este guia foi testado com a Radxa Rock 5B, baseada no Rockchip RK3588, e a Radxa Zero 3W, baseada no Rockchip RK3566. Espera-se que funcione em outros dispositivos baseados em Rockchip que suportem o rknn-toolkit2, como RK3576, RK3568, RK3562, RK2118 e RV1126B. Alvos que suportam apenas inferência INT8 (RV1103, RV1106, RV1103B, RV1106B) ainda não são suportados, pois a exportação RKNN da Ultralytics atualmente produz apenas modelos FP16.
O que é a Rockchip?
Reconhecida por oferecer soluções versáteis e energeticamente eficientes, a Rockchip projeta System-on-Chips (SoCs) avançados que alimentam uma vasta gama de eletrónicos de consumo, aplicações industriais e tecnologias de IA. Com arquitetura baseada em ARM, Unidades de Processamento Neural (NPUs) integradas e suporte multimédia de alta resolução, os SoCs da Rockchip permitem um desempenho de ponta para dispositivos como tablets, smart TVs, sistemas IoT e aplicações de edge AI. Empresas como Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas e Banana Pi oferecem uma variedade de produtos baseados em SoCs Rockchip, expandindo ainda mais o seu alcance e impacto em diversos mercados.
RKNN Toolkit
O RKNN Toolkit é um conjunto de ferramentas e bibliotecas fornecido pela Rockchip para facilitar a implementação de modelos de aprendizagem profunda (deep learning) nas suas plataformas de hardware. RKNN, ou Rockchip Neural Network, é o formato proprietário usado por estas ferramentas. Os modelos RKNN foram concebidos para tirar pleno partido da aceleração de hardware fornecida pela NPU (Unidade de Processamento Neural) da Rockchip, garantindo um alto desempenho em tarefas de IA em dispositivos como RK3588, RK3566, RV1103, RV1106 e outros sistemas movidos a Rockchip.
Principais características dos modelos RKNN
Os modelos RKNN oferecem várias vantagens para implementação em plataformas Rockchip:
- Otimizado para NPU: Os modelos RKNN são especificamente otimizados para correr nas NPUs da Rockchip, garantindo o máximo desempenho e eficiência.
- Baixa Latência: O formato RKNN minimiza a latência de inferência, o que é crítico para aplicações em tempo real em dispositivos de edge.
- Personalização específica da plataforma: Os modelos RKNN podem ser adaptados a plataformas Rockchip específicas, permitindo uma melhor utilização dos recursos de hardware.
- Eficiência Energética: Ao aproveitar o hardware NPU dedicado, os modelos RKNN consomem menos energia do que o processamento baseado em CPU ou GPU, prolongando a vida útil da bateria em dispositivos portáteis.
Instalar o SO no hardware Rockchip
O primeiro passo após receberes o teu dispositivo baseado em Rockchip é instalar um SO para que o hardware possa arrancar num ambiente funcional. Neste guia, indicaremos os guias de introdução dos dois dispositivos que testámos, que são a Radxa Rock 5B e a Radxa Zero 3W.
Exportar para RKNN: Como converter o teu modelo YOLO26
Exporta um modelo Ultralytics YOLO26 para o formato RKNN e executa a inferência com o modelo exportado.
Certifica-te de que utilizas um PC Linux baseado em X86 para exportar o modelo para RKNN, pois a exportação em dispositivos baseados em Rockchip (ARM64) não é suportada.
Instalação
Para instalar os pacotes necessários, execute:
!!! Dica "Instalação"
# Install the required package for YOLO26
pip install ultralyticsPara instruções detalhadas e práticas recomendadas relacionadas ao processo de instalação, consulte nosso guia de instalação da Ultralytics. Ao instalar os pacotes necessários para o YOLO26, se você encontrar alguma dificuldade, consulte nosso guia de problemas comuns para obter soluções e dicas.
Utilização
A exportação é atualmente suportada apenas para modelos de deteção. Mais suporte para outros modelos virá no futuro.
from ultralytics import YOLO
# Load the YOLO26 model
model = YOLO("yolo26n.pt")
# Export the model to RKNN format
# 'name' can be one of rk3588, rk3576, rk3566, rk3568, rk3562, rk2118, rv1126b (FP16). INT8-only targets rv1103, rv1106, rv1103b, rv1106b are not yet supported.
model.export(format="rknn", name="rk3588") # creates '/yolo26n_rknn_model'Argumentos de Exportação
| Argumento | Tipo | Predefinição | Descrição |
|---|---|---|---|
format | str | 'rknn' | Formato de destino para o modelo exportado, definindo a compatibilidade com vários ambientes de implantação. |
imgsz | int ou tuple | 640 | Desired image size for the model input. Can be an integer for square images or a tuple (height, width) for specific dimensions. |
batch | int | 1 | Especifica o tamanho da inferência em lote do modelo de exportação ou o número máximo de imagens que o modelo exportado processará simultaneamente no modo predict. |
name | str | 'rk3588' | Especifica o alvo Rockchip. Suporta FP16: rk3588, rk3576, rk3566, rk3568, rk3562, rk2118, rv1126b. Alvos apenas INT8 (rv1103, rv1106, rv1103b, rv1106b) ainda não são suportados. |
device | str | None | Especifica o dispositivo para exportação: GPU (device=0), CPU (device=cpu). |
Certifica-te de que utilizas uma máquina Linux x86 ao exportar para RKNN.
Para mais detalhes sobre o processo de exportação, visite a página de documentação da Ultralytics sobre exportação.
Implementar modelos YOLO26 RKNN exportados
Depois de exportares com sucesso os teus modelos Ultralytics YOLO26 para o formato RKNN, o próximo passo é implementá-los em dispositivos baseados em Rockchip.
Instalação
Para instalar os pacotes necessários, execute:
!!! Dica "Instalação"
# Install the required package for YOLO26
pip install ultralyticsUtilização
from ultralytics import YOLO
# Load the exported RKNN model
rknn_model = YOLO("./yolo26n_rknn_model")
# Run inference
results = rknn_model("https://ultralytics.com/images/bus.jpg")Se encontrares uma mensagem de log indicando que a versão do runtime RKNN não corresponde à versão do RKNN Toolkit e a inferência falhar, por favor, substitui o /usr/lib/librknnrt.so pelo ficheiro oficial librknnrt.so.
Aplicações do Mundo Real
Dispositivos movidos a Rockchip com modelos YOLO26 RKNN podem ser usados em várias aplicações:
- Vigilância Inteligente: Implementa sistemas eficientes de deteção de objetos para monitorização de segurança com baixo consumo de energia.
- Automação Industrial: Implementa controlo de qualidade e deteção de defeitos diretamente em dispositivos embarcados.
- Analítica de Retalho: Segue o comportamento do cliente e gere o inventário em tempo real sem dependência da cloud.
- Agricultura Inteligente: Monitoriza a saúde das culturas e deteta pragas usando visão computacional na agricultura.
- Robótica Autónoma: Ativa a navegação baseada em visão e deteção de obstáculos em plataformas com recursos limitados.
Benchmarks
Os benchmarks do YOLO26 abaixo foram executados pela equipa da Ultralytics na Radxa Rock 5B, baseada no Rockchip RK3588, com o formato de modelo rknn, medindo velocidade e precisão.
| Modelo | Formato | Status | Tamanho (MB) | mAP50-95(B) | Tempo de inferência (ms/im) |
|---|---|---|---|---|---|
| YOLO26n | rknn | ✅ | 7.1 | 0.479 | 65.7 |
| YOLO26s | rknn | ✅ | 20.9 | 0.571 | 99.2 |
| YOLO26m | rknn | ✅ | 42.5 | 0.610 | 235.3 |
| YOLO26l | rknn | ✅ | 52.1 | 0.630 | 280.5 |
| YOLO26x | rknn | ✅ | 112.2 | 0.666 | 669.1 |
Benchmarks realizados com ultralytics 8.4.23
A validação para os benchmarks acima foi realizada usando o dataset COCO128. O tempo de inferência não inclui o pré/pós-processamento.
Resumo
Neste guia, aprendeste como exportar modelos Ultralytics YOLO26 para o formato RKNN para melhorar a sua implementação em plataformas Rockchip. Também foste apresentado ao RKNN Toolkit e às vantagens específicas de usar modelos RKNN para aplicações de edge AI.
A combinação de Ultralytics YOLO26 e a tecnologia NPU da Rockchip fornece uma solução eficiente para executar tarefas avançadas de visão computacional em dispositivos embarcados. Esta abordagem permite deteção de objetos em tempo real e outras aplicações de visão por IA com consumo mínimo de energia e alto desempenho.
Para mais detalhes sobre a utilização, visita a documentação oficial do RKNN.
Além disso, se você quiser saber mais sobre outras integrações do Ultralytics YOLO26, visite nossa página de guia de integração. Você encontrará muitos recursos úteis e insights lá.
FAQ
Como exporto o meu modelo Ultralytics YOLO para o formato RKNN?
Podes facilmente exportar o teu modelo Ultralytics YOLO para o formato RKNN usando o método export() no pacote Python da Ultralytics ou através da interface de linha de comandos (CLI). Certifica-te de que estás a usar um PC Linux baseado em x86 para o processo de exportação, uma vez que dispositivos ARM64 como Rockchip não são suportados para esta operação. Podes especificar a plataforma Rockchip alvo usando o argumento name, tal como rk3588, rk3566, ou outros. Este processo gera um modelo RKNN otimizado pronto para implementação no teu dispositivo Rockchip, tirando proveito da sua Unidade de Processamento Neural (NPU) para uma inferência acelerada.
from ultralytics import YOLO
# Load your YOLO model
model = YOLO("yolo26n.pt")
# Export to RKNN format for a specific Rockchip platform
model.export(format="rknn", name="rk3588")Quais são os benefícios de usar modelos RKNN em dispositivos Rockchip?
Os modelos RKNN são especificamente concebidos para aproveitar as capacidades de aceleração de hardware das Unidades de Processamento Neural (NPUs) da Rockchip. Esta otimização resulta em velocidades de inferência significativamente mais rápidas e menor latência em comparação com a execução de formatos de modelos genéricos como ONNX ou TensorFlow Lite no mesmo hardware. O uso de modelos RKNN permite uma utilização mais eficiente dos recursos do dispositivo, levando a um menor consumo de energia e a um melhor desempenho geral, especialmente crítico para aplicações em tempo real em dispositivos de edge. Ao converteres os teus modelos Ultralytics YOLO para RKNN, podes alcançar um desempenho ideal em dispositivos equipados com SoCs Rockchip, como o RK3588, RK3566, entre outros.
Posso implementar modelos RKNN em dispositivos de outros fabricantes como a NVIDIA ou a Google?
Os modelos RKNN são especificamente otimizados para plataformas Rockchip e as suas NPUs integradas. Embora possas tecnicamente executar um modelo RKNN noutras plataformas usando emulação de software, não beneficiarás da aceleração de hardware fornecida pelos dispositivos Rockchip. Para um desempenho ideal noutras plataformas, recomenda-se que exportes os teus modelos Ultralytics YOLO para formatos especificamente concebidos para essas plataformas, como o TensorRT para GPUs NVIDIA ou TensorFlow Lite para a Edge TPU da Google. A Ultralytics suporta a exportação para uma vasta gama de formatos, garantindo compatibilidade com vários aceleradores de hardware.
Que plataformas Rockchip são suportadas para a implementação de modelos RKNN?
A exportação do Ultralytics YOLO para o formato RKNN suporta atualmente plataformas Rockchip com inferência FP16: RK3588, RK3576, RK3566, RK3568, RK3562, RK2118 e RV1126B. Alvos apenas INT8 (RV1103, RV1106, RV1103B, RV1106B) ainda não são suportados porque as suas NPUs requerem quantização, que está no roteiro de desenvolvimento. Estas plataformas são comumente encontradas em dispositivos de fabricantes como Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas e Banana Pi, permitindo-te implementar os teus modelos RKNN otimizados numa gama de dispositivos movidos a Rockchip, desde computadores de placa única a sistemas industriais.
Como é que o desempenho dos modelos RKNN se compara a outros formatos em dispositivos Rockchip?
Os modelos RKNN superam geralmente outros formatos como ONNX ou TensorFlow Lite em dispositivos Rockchip devido à sua otimização para as NPUs da Rockchip. Por exemplo, os benchmarks na Radxa Rock 5B (RK3588) mostram que o YOLO26n no formato RKNN atinge um tempo de inferência de 99,5 ms/imagem, significativamente mais rápido do que outros formatos. Esta vantagem de desempenho é consistente em vários tamanhos de modelos YOLO26, como demonstrado na secção de benchmarks. Ao tirar partido do hardware NPU dedicado, os modelos RKNN minimizam a latência e maximizam o débito (throughput), tornando-os ideais para aplicações em tempo real em dispositivos de edge baseados em Rockchip.