Otimizando Inferências YOLO26 com o DeepSparse Engine da Neural Magic
Ao implantar modelos de detecção de objetos como o Ultralytics YOLO26 em diversos hardwares, podem surgir desafios únicos, como a otimização. É aqui que a integração do YOLO26 com o DeepSparse Engine da Neural Magic entra em ação. Ele transforma a forma como os modelos YOLO26 são executados e permite um desempenho de nível de GPU diretamente em CPUs.
Este guia mostra como implantar o YOLO26 usando o DeepSparse da Neural Magic, como executar inferências e também como avaliar o desempenho para garantir que esteja otimizado.
Fim da vida útil do SparseML
Neural Magic foi adquirida pela Red Hat em janeiro de 2025, e está descontinuando as versões da comunidade de seus deepsparse, sparseml, sparsezoo, e sparsify bibliotecas. Para informações adicionais, consulte o aviso publicado no Readme no sparseml Repositório GitHub.
DeepSparse da Neural Magic
O DeepSparse da Neural Magic é um ambiente de tempo de execução de inferência projetado para otimizar a execução de redes neurais em CPUs. Ele aplica técnicas avançadas como esparsidade, pruning e quantização para reduzir drasticamente as demandas computacionais, mantendo a precisão. O DeepSparse oferece uma solução ágil para a execução eficiente e escalável de redes neurais em vários dispositivos.
Benefícios da Integração do DeepSparse da Neural Magic com o YOLO26
Antes de aprofundar na implantação do YOLO26 usando o DeepSparse, vamos entender os benefícios de usar o DeepSparse. Algumas vantagens principais incluem:
- Velocidade de Inferência Aprimorada: Atinge até 525 FPS (no YOLO11n), acelerando significativamente as capacidades de inferência do YOLO em comparação com métodos tradicionais.
- Eficiência Otimizada do Modelo: Utiliza poda e quantização para otimizar a eficiência do YOLO26, reduzindo o tamanho do modelo e os requisitos computacionais, enquanto mantém a precisão.
Alto Desempenho em CPUs Padrão: Oferece desempenho semelhante ao de uma GPU em CPUs, proporcionando uma opção mais acessível e econômica para diversas aplicações.
Integração e Implantação Simplificadas: Oferece ferramentas amigáveis para fácil integração do YOLO26 em aplicações, incluindo recursos de anotação de imagem e vídeo.
Suporte para Vários Tipos de Modelo: Compatível com modelos YOLO26 padrão e otimizados para esparsidade, adicionando flexibilidade de implantação.
Solução Escalável e Económica: Reduz as despesas operacionais e oferece uma implementação escalável de modelos avançados de deteção de objetos.
Como funciona a tecnologia DeepSparse da Neural Magic?
A tecnologia DeepSparse da Neural Magic é inspirada na eficiência do cérebro humano na computação de redes neurais. Ela adota dois princípios-chave do cérebro, como segue:
Sparsity (Dispersão): O processo de sparsification (dispersão) envolve a remoção de informações redundantes de redes de aprendizado profundo, levando a modelos menores e mais rápidos sem comprometer a precisão. Essa técnica reduz significativamente o tamanho da rede e as necessidades computacionais.
Localidade de Referência: DeepSparse usa um método de execução exclusivo, dividindo a rede em Colunas Tensor. Essas colunas são executadas em profundidade, cabendo inteiramente no cache da CPU. Essa abordagem imita a eficiência do cérebro, minimizando o movimento de dados e maximizando o uso do cache da CPU.
Criando uma Versão Esparsa do YOLO26 Treinada em um Conjunto de Dados Personalizado
SparseZoo, um repositório de modelos de código aberto da Neural Magic, oferece uma coleção de checkpoints de modelos YOLO26 pré-esparsificados. Com SparseML, perfeitamente integrado com Ultralytics, os usuários podem ajustar facilmente esses checkpoints esparsos em seus conjuntos de dados específicos usando uma interface de linha de comando simples.
Consulte a documentação do SparseML YOLO26 da Neural Magic para mais detalhes.
Uso: Implantando YOLO26 usando DeepSparse
A implantação do YOLO26 com o DeepSparse da Neural Magic envolve alguns passos simples. Antes de mergulhar nas instruções de uso, certifique-se de verificar a gama de modelos YOLO26 oferecidos pela Ultralytics. Isso o ajudará a escolher o modelo mais apropriado para os requisitos do seu projeto. Veja como você pode começar.
Passo 1: Instalação
Para instalar os pacotes necessários, execute:
Instalação
# Install the required packages
pip install deepsparse[yolov8]
Passo 2: Exportando YOLO26 para o Formato ONNX
O DeepSparse Engine requer modelos YOLO26 no formato ONNX. Exportar seu modelo para este formato é essencial para a compatibilidade com o DeepSparse. Use o seguinte comando para exportar modelos YOLO26:
Exportação de Modelo
# Export YOLO26 model to ONNX format
yolo task=detect mode=export model=yolo26n.pt format=onnx opset=13
Este comando irá salvar o yolo26n.onnx modelo para o seu disco.
Passo 3: Implantação e execução de inferências
Com seu modelo YOLO26 no formato ONNX, você pode implantar e executar inferências usando o DeepSparse. Isso pode ser feito facilmente com sua API Python intuitiva:
Implantação e Execução de Inferências
from deepsparse import Pipeline
# Specify the path to your YOLO26 ONNX model
model_path = "path/to/yolo26n.onnx"
# Set up the DeepSparse Pipeline
yolo_pipeline = Pipeline.create(task="yolov8", model_path=model_path)
# Run the model on your images
images = ["path/to/image.jpg"]
pipeline_outputs = yolo_pipeline(images=images)
Passo 4: Avaliação de Desempenho
É importante verificar se o seu modelo YOLO26 está performando de forma otimizada no DeepSparse. Você pode avaliar o desempenho do seu modelo para analisar o throughput e a latência:
Benchmarking
# Benchmark performance
deepsparse.benchmark model_path="path/to/yolo26n.onnx" --scenario=sync --input_shapes="[1,3,640,640]"
Passo 5: Recursos Adicionais
O DeepSparse oferece recursos adicionais para a integração prática do YOLO26 em aplicações, como anotação de imagens e avaliação de conjuntos de dados.
Funcionalidades Adicionais
# For image annotation
deepsparse.yolov8.annotate --source "path/to/image.jpg" --model_filepath "path/to/yolo26n.onnx"
# For evaluating model performance on a dataset
deepsparse.yolov8.eval --model_path "path/to/yolo26n.onnx"
Executar o comando annotate processa a imagem especificada, detectando objetos e salvando a imagem anotada com caixas delimitadoras e classificações. A imagem anotada será armazenada em uma pasta annotation-results. Isso ajuda a fornecer uma representação visual dos recursos de detecção do modelo.
Após executar o comando de avaliação, você receberá métricas de saída detalhadas, como precisão, recall e mAP (mean Average Precision). Isso fornece uma visão abrangente do desempenho do seu modelo no conjunto de dados e é particularmente útil para ajustar e otimizar seus modelos YOLO26 para casos de uso específicos, garantindo alta precisão e eficiência.
Resumo
Este guia explorou a integração do YOLO26 da Ultralytics com o DeepSparse Engine da Neural Magic. Ele destacou como essa integração aprimora o desempenho do YOLO26 em plataformas CPU, oferecendo eficiência de nível de GPU e técnicas avançadas de esparsidade de redes neurais.
Para informações mais detalhadas e uso avançado, visite a documentação do DeepSparse da Neural Magic. Você também pode explorar o guia de integração do YOLO26 e assistir a uma sessão de demonstração no YouTube.
Além disso, para uma compreensão mais ampla de várias integrações do YOLO26, visite a página do guia de integração da Ultralytics, onde você pode descobrir uma variedade de outras possibilidades de integração interessantes.
FAQ
O que é o DeepSparse Engine da Neural Magic e como ele otimiza o desempenho do YOLO26?
O DeepSparse Engine da Neural Magic é um runtime de inferência projetado para otimizar a execução de redes neurais em CPUs através de técnicas avançadas como esparsidade, poda e quantização. Ao integrar o DeepSparse com o YOLO26, você pode alcançar um desempenho semelhante ao de GPU em CPUs padrão, melhorando significativamente a velocidade de inferência, a eficiência do modelo e o desempenho geral, mantendo a precisão. Para mais detalhes, consulte a seção DeepSparse da Neural Magic.
Como posso instalar os pacotes necessários para implantar o YOLO26 usando o DeepSparse da Neural Magic?
A instalação dos pacotes necessários para implantar o YOLO26 com o DeepSparse da Neural Magic é simples. Você pode instalá-los facilmente usando a CLI. Aqui está o comando que você precisa executar:
pip install deepsparse[yolov8]
Uma vez instalado, siga os passos fornecidos na seção de Instalação para configurar seu ambiente e começar a usar o DeepSparse com o YOLO26.
Como faço para converter modelos YOLO26 para o formato ONNX para uso com o DeepSparse?
Para converter modelos YOLO26 para o formato ONNX, que é necessário para compatibilidade com o DeepSparse, você pode usar o seguinte comando CLI:
yolo task=detect mode=export model=yolo26n.pt format=onnx opset=13
Este comando exportará seu modelo YOLO26 (yolo26n.pt) para um formato (yolo26n.onnx) que pode ser utilizado pelo DeepSparse Engine. Mais informações sobre a exportação de modelos podem ser encontradas no Seção de Exportação de Modelo.
Como faço para avaliar o desempenho do YOLO26 no DeepSparse Engine?
A avaliação do desempenho do YOLO26 no DeepSparse ajuda a analisar o throughput e a latência para garantir que seu modelo esteja otimizado. Você pode usar o seguinte comando CLI para executar uma avaliação:
deepsparse.benchmark model_path="path/to/yolo26n.onnx" --scenario=sync --input_shapes="[1,3,640,640]"
Este comando fornecerá métricas de desempenho vitais. Para mais detalhes, consulte a seção de Avaliação de Desempenho.
Por que devo usar o DeepSparse da Neural Magic com o YOLO26 para tarefas de detecção de objetos?
A integração do DeepSparse da Neural Magic com o YOLO26 oferece vários benefícios:
- Velocidade de Inferência Aprimorada: Atinge até 525 FPS (no YOLO11n), demonstrando as capacidades de otimização do DeepSparse.
- Eficiência Otimizada do Modelo: Utiliza técnicas de esparsidade, pruning e quantização para reduzir o tamanho do modelo e as necessidades computacionais, mantendo a precisão.
- Alto Desempenho em CPUs Padrão: Oferece desempenho semelhante ao de GPUs em hardware de CPU econômico.
- Integração Simplificada: Ferramentas fáceis de usar para fácil implantação e integração.
- Flexibilidade: Suporta modelos YOLO26 padrão e otimizados para esparsidade.
- Económico: Reduz as despesas operacionais através da utilização eficiente de recursos.
Para um aprofundamento nessas vantagens, visite a seção Benefícios da Integração do DeepSparse da Neural Magic com o YOLO26.
