Exportação Ultralytics YOLO para NCNN#

Implantar modelos de computer vision em dispositivos com poder computacional limitado, como sistemas móveis ou embarcados, exige uma seleção cuidadosa de formato. O uso de um formato otimizado garante que até mesmo dispositivos com recursos restritos consigam lidar com tarefas avançadas de visão computacional de forma eficiente.

Exportar para o formato NCNN permite otimizar os seus modelos do Ultralytics YOLO26 para aplicações leves baseadas em dispositivos. Este guia aborda como converter os seus modelos para o formato NCNN para obter melhor desempenho em dispositivos móveis e embarcados.

Por que exportar para NCNN?#

O framework NCNN, desenvolvido pela Tencent, é um framework de computação de inferência de neural network de alto desempenho otimizado especificamente para plataformas móveis, incluindo telefones celulares, dispositivos embarcados e dispositivos de IoT. O NCNN é compatível com uma ampla gama de plataformas, incluindo Linux, Android, iOS e macOS.

O NCNN é conhecido pela sua velocidade de processamento rápida em CPUs móveis e permite a implantação rápida de modelos de deep learning em plataformas móveis, tornando-o uma excelente escolha para criar aplicações alimentadas por IA.

Principais recursos dos modelos NCNN#

Os modelos NCNN oferecem vários recursos principais que viabilizam machine learning no dispositivo, ajudando os desenvolvedores a implantar modelos em dispositivos móveis, embarcados e de borda:

• Eficiente e de Alto Desempenho: Os modelos NCNN são leves e otimizados para dispositivos móveis e embarcados com recursos limitados, como o Raspberry Pi, mantendo alta accuracy em tarefas de visão computacional.

• Quantização: O NCNN suporta quantização, uma técnica que reduz a precision dos pesos e ativações do modelo para melhorar o desempenho e diminuir o uso de memória.

• Compatibilidade: Os modelos NCNN são compatíveis com frameworks populares de deep learning, incluindo TensorFlow, Caffe e ONNX, permitindo que os desenvolvedores aproveitem modelos e fluxos de trabalho existentes.

• Facilidade de uso: O NCNN fornece ferramentas amigáveis para converter modelos entre formatos, garantindo uma interoperabilidade suave entre diferentes ambientes de desenvolvimento.

• Aceleração de GPU Vulkan: O NCNN suporta Vulkan para inferência acelerada por GPU em vários fornecedores, incluindo AMD, Intel e outras GPUs que não sejam da NVIDIA, permitindo uma implantação de alto desempenho em uma gama mais ampla de hardware.

Opções de implantação com NCNN#

Os modelos NCNN são compatíveis com uma variedade de plataformas de implantação:

• Implantação móvel: Otimizado para Android e iOS, permitindo a integração perfeita em aplicações móveis para uma inferência eficiente no dispositivo.

• Sistemas Embarcados e Dispositivos de IoT: Ideais para dispositivos com recursos restritos como Raspberry Pi e NVIDIA Jetson. Se a inferência padrão em um Raspberry Pi com o Ultralytics Guide for insuficiente, o NCNN pode proporcionar melhorias significativas de desempenho.

• Implantação em desktop e servidor: Suporta implantação em Linux, Windows e macOS para fluxos de trabalho de desenvolvimento, treinamento e avaliação.

Aceleração de GPU Vulkan#

O NCNN suporta aceleração de GPU através do Vulkan, permitindo inferência de alto desempenho em uma ampla gama de GPUs, incluindo AMD, Intel e outras placas gráficas que não sejam da NVIDIA. Isso é particularmente útil para:

• Suporte a GPU de múltiplos fornecedores: Ao contrário do CUDA, que é limitado a GPUs da NVIDIA, o Vulkan funciona em vários fornecedores de GPU.
• Sistemas com Múltiplas GPUs: Selecione um dispositivo Vulkan específico em sistemas com várias GPUs usando device="vulkan:0", device="vulkan:1", etc.
• Implantações de borda e desktop: Aproveite a aceleração de GPU em dispositivos onde o CUDA não está disponível.

Para usar a aceleração Vulkan, especifique o dispositivo Vulkan ao executar a inferência:

from ultralytics import YOLO

# Load the exported NCNN model
ncnn_model = YOLO("./yolo26n_ncnn_model")

# Run inference with Vulkan GPU acceleration (first Vulkan device)
results = ncnn_model("https://ultralytics.com/images/bus.jpg", device="vulkan:0")

# Use second Vulkan device in multi-GPU systems
results = ncnn_model("https://ultralytics.com/images/bus.jpg", device="vulkan:1")

Tarefas Suportadas#

A exportação para NCNN suporta todas as sete tarefas do Ultralytics. A segmentação semântica e a estimativa de profundidade estão disponíveis apenas com YOLO26, a única família que possui essas cabeças.

Exportar para NCNN: Convertendo seu modelo YOLO26#

Você pode expandir a compatibilidade do modelo e a flexibilidade de implantação convertendo modelos YOLO26 para o formato NCNN.

Instalação#

Para instalar os pacotes necessários, execute:

# Install the required package for YOLO26
pip install ultralytics

Para obter instruções detalhadas e as melhores práticas, consulte o Ultralytics Installation guide. Se encontrares alguma dificuldade, consulta o nosso Common Issues guide em busca de soluções.

Uso#

Todos os modelos Ultralytics YOLO26 são projetados para suportar exportação nativamente, facilitando a integração deles no teu fluxo de trabalho de implantação preferido. Podes ver a lista completa de formatos de exportação suportados e opções de configuração para escolher a melhor configuração para a tua aplicação.

O formato NCNN suporta os modos Export, Predict e Validate. Exporte o seu modelo e, em seguida, carregue o modelo exportado para executar a inferência ou validar a sua precisão.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to NCNN format
model.export(format="ncnn")  # creates '/yolo26n_ncnn_model'

from ultralytics import YOLO

# Load the exported NCNN model
model = YOLO("./yolo26n_ncnn_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported NCNN model
model = YOLO("./yolo26n_ncnn_model")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Argumentos de Exportação#

Para mais detalhes sobre o processo de exportação, visita a página de documentação do Ultralytics sobre exportação.

Implantando modelos YOLO26 NCNN exportados#

Depois de exportar os seus modelos Ultralytics YOLO26 para o formato NCNN, você pode implantá-los usando o método YOLO("yolo26n_ncnn_model/"), conforme mostrado no exemplo de uso acima. Para instruções de implantação específicas de cada plataforma, consulte os seguintes recursos:

• Android: Construa e integre modelos NCNN para object detection em aplicações Android.

• macOS: Implante modelos NCNN em sistemas macOS.

• Linux: Implante modelos NCNN em dispositivos Linux, incluindo Raspberry Pi e sistemas embarcados semelhantes.

• Windows x64: Implante modelos NCNN no Windows x64 usando o Visual Studio.

Resumo#

Este guia cobriu a exportação de modelos Ultralytics YOLO26 para o formato NCNN para eficiência e velocidade aprimoradas em dispositivos com recursos limitados.

Para obter detalhes adicionais, consulte a official NCNN documentation. Para outras opções de exportação, visite a nossa integration guide page.

FAQ#