Intel OpenVINO Exportar

Neste guia, abordamos a exportação de modelos YOLOv8 para o formato OpenVINO que pode fornecer até 3x a velocidade da CPU, bem como acelerar a inferência YOLO no hardware Intel GPU e NPU.

OpenVINO, abreviatura de Open Visual Inference & Neural Network Optimization toolkit, é um conjunto de ferramentas abrangente para otimizar e implementar modelos de inferência de IA. Embora o nome contenha Visual, OpenVINO também suporta várias tarefas adicionais, incluindo linguagem, áudio, séries temporais, etc.

Observa: Como exportar e otimizar um modelo Ultralytics YOLOv8 para inferência com OpenVINO.

Exemplos de utilização

Exporta um modelo YOLOv8n para o formato OpenVINO e executa a inferência com o modelo exportado.

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Export the model
model.export(format='openvino')  # creates 'yolov8n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO('yolov8n_openvino_model/')

# Run inference
results = ov_model('https://ultralytics.com/images/bus.jpg')

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Argumentos

Benefícios de OpenVINO

1. Desempenho: OpenVINO fornece inferência de alto desempenho utilizando o poder das CPUs Intel, GPUs integradas e discretas e FPGAs.
2. Suporte para execução heterogénea: OpenVINO fornece uma API para escrever uma vez e implementar em qualquer hardware Intel suportado (CPU, GPU, FPGA, VPU, etc.).
3. Optimizador de modelos: OpenVINO fornece um Optimizador de modelos que importa, converte e optimiza modelos de estruturas populares de aprendizagem profunda, como PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle, e Caffe.
4. Facilidade de utilização: O conjunto de ferramentas é fornecido com mais de 80 cadernos de tutoriais (incluindo YOLOv8 optimization) que ensinam diferentes aspectos do conjunto de ferramentas.

OpenVINO Estrutura de exportação

Quando exportas um modelo para o formato OpenVINO , o resultado é um diretório que contém o seguinte:

1. Ficheiro XML: Descreve a topologia da rede.
2. Ficheiro BIN: Contém os dados binários do weights and biases .
3. Ficheiro de mapeamento: Mantém o mapeamento dos tensores de saída do modelo original para OpenVINO tensor nomes.

Podes utilizar estes ficheiros para executar a inferência com o motor de inferência OpenVINO .

Usando OpenVINO Exportar na implantação

Quando tiveres os ficheiros OpenVINO , podes utilizar o tempo de execução OpenVINO para executar o modelo. O tempo de execução fornece uma API unificada para inferência em todo o hardware Intel suportado. Também fornece recursos avançados, como balanceamento de carga no hardware Intel e execução assíncrona. Para obter mais informações sobre a execução da inferência, consulte o Guia de tempo de execução da inferência com OpenVINO .

Lembra-te de que precisarás dos ficheiros XML e BIN, bem como de quaisquer definições específicas da aplicação, como o tamanho da entrada, o fator de escala para normalização, etc., para configurar e utilizar corretamente o modelo com o Tempo de execução.

Na tua aplicação de implantação, normalmente fazes os seguintes passos:

1. Inicializa OpenVINO criando core = Core().
2. Carrega o modelo com o comando core.read_model() método.
3. Compila o modelo com o comando core.compile_model() função.
4. Prepara a entrada (imagem, texto, áudio, etc.).
5. Executa a inferência utilizando compiled_model(input_data).

Para obter etapas mais detalhadas e trechos de código, consulta a documentaçãoOpenVINO ou o tutorial da API.

OpenVINO YOLOv8 Referências

YOLOv8 Os testes de referência abaixo foram executados pela equipa Ultralytics em 4 formatos de modelos diferentes, medindo a velocidade e a precisão: PyTorch, TorchScript, ONNX e OpenVINO. Os testes de referência foram efectuados em GPUs Intel Flex e Arc, e em CPUs Intel Xeon com precisão FP32 (com o half=False argumento).

GPU Intel Flex

A série Intel® Data Center GPU Flex é uma solução versátil e robusta projetada para a nuvem visual inteligente. Esta GPU suporta uma ampla gama de cargas de trabalho, incluindo streaming de mídia, jogos em nuvem, inferência visual de IA e cargas de trabalho de infraestrutura de desktop virtual. Destaca-se pela sua arquitetura aberta e suporte integrado para a codificação AV1, fornecendo uma pilha de software baseada em padrões para aplicações de alto desempenho e arquitetura cruzada. A GPU da série Flex é otimizada para densidade e qualidade, oferecendo alta confiabilidade, disponibilidade e escalabilidade.

Os testes de referência abaixo são executados na GPU Flex 170 do Intel® Data Center com precisão FP32.

Esta tabela representa os resultados do benchmark para cinco modelos diferentes (YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) em quatro formatos diferentes (PyTorch, TorchScript, ONNX, OpenVINO), dando-nos o estado, o tamanho, a métrica mAP50-95(B) e o tempo de inferência para cada combinação.

GPU Intel Arc

A Intel® Arc™ representa a incursão da Intel no mercado das GPU dedicadas. A série Arc™, concebida para competir com os principais fabricantes de GPU, como a AMD e a Nvidia, destina-se aos mercados de computadores portáteis e de secretária. A série inclui versões móveis para dispositivos compactos, como computadores portáteis, e versões maiores e mais potentes para computadores de secretária.

A série Arc™ está dividida em três categorias: Arc™ 3, Arc™ 5 e Arc™ 7, com cada número a indicar o nível de desempenho. Cada categoria inclui vários modelos, e o "M" no nome do modelo da GPU significa uma variante móvel e integrada.

As primeiras análises elogiaram a série Arc™, em particular a GPU A770M integrada, pelo seu impressionante desempenho gráfico. A disponibilidade da série Arc™ varia consoante a região, e espera-se que sejam lançados modelos adicionais em breve. As GPUs Intel® Arc™ oferecem soluções de alto desempenho para uma série de necessidades de computação, desde jogos até criação de conteúdo.

Os testes de referência abaixo são executados na GPU Intel® Arc 770 com precisão FP32.

CPU Intel Xeon

A CPU Intel® Xeon® é um processador de alto desempenho, de nível de servidor, projetado para cargas de trabalho complexas e exigentes. Desde a computação em nuvem e virtualização de ponta até aplicativos de inteligência artificial e aprendizado de máquina, as CPUs Xeon® fornecem a potência, a confiabilidade e a flexibilidade necessárias para os centros de dados atuais.

Notavelmente, as CPUs Xeon® oferecem alta densidade de computação e escalabilidade, tornando-as ideais tanto para pequenas empresas quanto para grandes corporações. Ao escolher as CPUs Intel® Xeon®, as organizações podem lidar com confiança com as suas tarefas de computação mais exigentes e promover a inovação, mantendo a rentabilidade e a eficiência operacional.

Os testes de referência abaixo são executados na CPU escalável Intel® Xeon® de 4ª geração com precisão FP32.

CPU Intel Core

A série Intel® Core® é uma gama de processadores de alto desempenho da Intel. A linha inclui o Core i3 (nível de entrada), Core i5 (gama média), Core i7 (topo de gama) e Core i9 (desempenho extremo). Cada série atende a diferentes necessidades e orçamentos de computação, desde tarefas diárias até cargas de trabalho profissionais exigentes. A cada nova geração, são introduzidas melhorias no desempenho, na eficiência energética e nas funcionalidades.

Os testes de referência abaixo são executados na CPU Intel® Core® i7-13700H de 13ª geração com precisão FP32.

Reproduzir os nossos resultados

Para reproduzir os benchmarks Ultralytics acima em todos os formatos de exportação, executa este código:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
results= model.benchmarks(data='coco8.yaml')

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

Conclusão

Os resultados da avaliação comparativa demonstram claramente as vantagens de exportar o modelo YOLOv8 para o formato OpenVINO . Em diferentes modelos e plataformas de hardware, o formato OpenVINO supera consistentemente outros formatos em termos de velocidade de inferência, mantendo uma precisão comparável.

Para a série Intel® Data Center GPU Flex, o formato OpenVINO foi capaz de fornecer velocidades de inferência quase 10 vezes mais rápidas do que o formato original PyTorch . Na CPU Xeon, o formato OpenVINO foi duas vezes mais rápido que o formato PyTorch . A precisão dos modelos permaneceu quase idêntica entre os diferentes formatos.

Os benchmarks sublinham a eficácia do OpenVINO como uma ferramenta para implementar modelos de aprendizagem profunda. Ao converter modelos para o formato OpenVINO , os programadores podem obter melhorias de desempenho significativas, facilitando a implementação destes modelos em aplicações do mundo real.

Para obter informações e instruções mais detalhadas sobre a utilização do OpenVINO, consulta a documentação oficial do OpenVINO .

Comentários