Intel OpenVINO Exportação

Neste guia, abordamos a exportação de modelos do YOLOv8 para o formato OpenVINO que pode fornecer até 3x CPU bem como a aceleração da inferência YOLO em Intel GPU e no hardware NPU.

OpenVINO, abreviatura de Open Visual Inference & Neural Network Optimization toolkit, é um conjunto de ferramentas abrangente para otimizar e implementar modelos de inferência de IA. Embora o nome contenha Visual, o OpenVINO também suporta várias tarefas adicionais, incluindo linguagem, áudio, séries temporais, etc.

Ver: Como exportar e otimizar um modelo Ultralytics YOLOv8 para inferência com OpenVINO.

Exemplos de utilização

Exportar um modelo YOLOv8n para o formato OpenVINO e executar a inferência com o modelo exportado.

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolov8n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Argumentos

Benefícios de OpenVINO

1. Desempenho: OpenVINO oferece inferência de alto desempenho utilizando o poder das CPUs Intel , GPUs integradas e discretas e FPGAs.
2. Suporte para execução heterogénea: OpenVINO fornece uma API para escrever uma vez e implementar em qualquer hardware Intel suportado (CPU, GPU, FPGA, VPU, etc.).
3. Optimizador de modelos: OpenVINO fornece um Optimizador de modelos que importa, converte e optimiza modelos de estruturas populares de aprendizagem profunda, como PyTorch, TensorFlowTensorFlow Lite, Keras, ONNX, PaddlePaddle, e Caffe.
4. Facilidade de utilização: O conjunto de ferramentas é fornecido com mais de 80 cadernos de tutoriais (incluindo YOLOv8 optimization) que ensinam diferentes aspectos do conjunto de ferramentas.

OpenVINO Estrutura de exportação

Quando se exporta um modelo para o formato OpenVINO , obtém-se um diretório que contém o seguinte:

1. Ficheiro XML: Descreve a topologia da rede.
2. Ficheiro BIN: Contém os dados binários do sítio weights and biases .
3. Ficheiro de mapeamento: Contém o mapeamento dos tensores de saída do modelo original para OpenVINO tensor nomes.

Pode utilizar estes ficheiros para executar a inferência com o motor de inferência OpenVINO .

Usando OpenVINO Exportar na implantação

Depois de ter os ficheiros OpenVINO , pode utilizar o tempo de execução OpenVINO para executar o modelo. O Runtime fornece uma API unificada para inferência em todo o hardware Intel suportado. Ele também fornece recursos avançados, como balanceamento de carga em Intel hardware e execução assíncrona. Para obter mais informações sobre a execução da inferência, consulte o Guia de tempo de execução da inferência com OpenVINO .

Lembre-se de que precisará dos ficheiros XML e BIN, bem como de quaisquer definições específicas da aplicação, como o tamanho da entrada, o fator de escala para normalização, etc., para configurar e utilizar corretamente o modelo com o tempo de execução.

Na sua aplicação de implantação, normalmente, efectuaria os seguintes passos:

1. Inicialize OpenVINO criando core = Core().
2. Carregar o modelo utilizando o core.read_model() método.
3. Compilar o modelo utilizando o core.compile_model() função.
4. Preparar a entrada (imagem, texto, áudio, etc.).
5. Executar a inferência utilizando compiled_model(input_data).

Para obter etapas mais detalhadas e trechos de código, consulte a documentaçãoOpenVINO ou o tutorial da API.

OpenVINO YOLOv8 Referências

YOLOv8 Os testes de referência abaixo foram executados pela equipa Ultralytics em 4 formatos de modelos diferentes, medindo a velocidade e a precisão: PyTorch, TorchScript, ONNX e OpenVINO. Os testes de referência foram efectuados em Intel Flex e Arc GPUs, e em Intel Xeon CPUs em FP32 precisão (com o half=False argumento).

Intel Flexível GPU

O Intel® Data Center GPU Flex Series é uma solução versátil e robusta concebida para a nuvem visual inteligente. Este GPU suporta uma vasta gama de cargas de trabalho, incluindo streaming de multimédia, jogos na nuvem, inferência visual de IA e cargas de trabalho de Infraestrutura de ambiente de trabalho virtual. Destaca-se pela sua arquitetura aberta e suporte integrado para a codificação AV1, fornecendo uma pilha de software baseada em normas para aplicações de elevado desempenho e arquitetura cruzada. A série Flex GPU é otimizada para densidade e qualidade, oferecendo alta confiabilidade, disponibilidade e escalabilidade.

Os benchmarks abaixo são executados no Intel® Data Center GPU Flex 170 com precisão FP32.

Esta tabela representa os resultados do benchmark para cinco modelos diferentes (YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) em quatro formatos diferentes (PyTorch, TorchScript, ONNX, OpenVINO), dando-nos o estado, o tamanho, a métrica mAP50-95(B) e o tempo de inferência para cada combinação.

Intel Arco GPU

A Intel® Arc™ representa a incursão da Intel no mercado dos computadores dedicados GPU . A série Arc™, concebida para competir com os principais fabricantes de GPU como a AMD e NVIDIA, destina-se aos mercados de computadores portáteis e de secretária. A série inclui versões móveis para dispositivos compactos, como os computadores portáteis, e versões maiores e mais potentes para computadores de secretária.

A série Arc™ está dividida em três categorias: Arc™ 3, Arc™ 5 e Arc™ 7, com cada número a indicar o nível de desempenho. Cada categoria inclui vários modelos, e o "M" no nome do modelo GPU significa uma variante móvel e integrada.

As primeiras análises elogiaram a série Arc™, em particular o A770M GPU integrado, pelo seu impressionante desempenho gráfico. A disponibilidade da série Arc™ varia consoante a região e espera-se que sejam lançados modelos adicionais em breve. As GPUs Intel® Arc™ oferecem soluções de alto desempenho para uma variedade de necessidades de computação, desde jogos até criação de conteúdo.

Os testes de referência abaixo são executados no Intel® Arc 770 GPU com precisão FP32.

Intel Xeon CPU

O Intel® Xeon® CPU é um processador de alto desempenho, de nível de servidor, projetado para cargas de trabalho complexas e exigentes. Desde a computação em nuvem e virtualização de ponta até aplicativos de inteligência artificial e aprendizado de máquina, as CPUs Xeon® fornecem a potência, a confiabilidade e a flexibilidade necessárias para os centros de dados atuais.

Notavelmente, as CPUs Xeon® oferecem alta densidade de computação e escalabilidade, tornando-as ideais tanto para pequenas empresas quanto para grandes corporações. Ao escolher as CPUs Intel® Xeon®, as organizações podem lidar com confiança com as suas tarefas de computação mais exigentes e promover a inovação, mantendo ao mesmo tempo a rentabilidade e a eficiência operacional.

Os testes de referência abaixo são executados no Intel® Xeon® Scalable de 4ª geração CPU com precisão FP32.

Intel Núcleo CPU

A série Intel® Core® é uma gama de processadores de alto desempenho da Intel. A linha inclui Core i3 (nível de entrada), Core i5 (gama média), Core i7 (topo de gama) e Core i9 (desempenho extremo). Cada série responde a diferentes necessidades e orçamentos informáticos, desde tarefas quotidianas a exigentes cargas de trabalho profissionais. A cada nova geração, são introduzidas melhorias no desempenho, na eficiência energética e nas funcionalidades.

Os testes de referência abaixo são executados no Intel® Core® i7-13700H de 13ª geração CPU com precisão FP32.

Intel Ultra 7 155H Meteor Lake CPU

O Intel® Ultra™ 7 155H representa uma nova referência em computação de alto desempenho, concebido para satisfazer os utilizadores mais exigentes, desde os jogadores aos criadores de conteúdos. O Ultra™ 7 155H não é apenas um CPU; integra um poderoso GPU e uma NPU (Unidade de Processamento Neural) avançada num único chip, oferecendo uma solução abrangente para diversas necessidades de computação.

Esta arquitetura híbrida permite que o Ultra™ 7 155H se destaque tanto em tarefas tradicionais CPU como em cargas de trabalho aceleradas GPU, enquanto a NPU melhora os processos orientados para a IA, permitindo operações de aprendizagem automática mais rápidas e eficientes. Isto torna o Ultra™ 7 155H uma escolha versátil para aplicações que requerem gráficos de elevado desempenho, cálculos complexos e inferência de IA.

A série Ultra™ 7 inclui vários modelos, cada um oferecendo diferentes níveis de desempenho, com a designação "H" a indicar uma variante de alta potência adequada para computadores portáteis e dispositivos compactos. Os primeiros testes de referência destacaram o desempenho excecional do Ultra™ 7 155H, particularmente em ambientes multitarefa, onde a potência combinada do CPU, GPU, e NPU conduz a uma eficiência e velocidade notáveis.

Como parte do compromisso da Intel com a tecnologia de ponta, o Ultra™ 7 155H foi concebido para satisfazer as necessidades da computação do futuro, estando previsto o lançamento de mais modelos. A disponibilidade do Ultra™ 7 155H varia consoante a região e continua a receber elogios pela sua integração de três poderosas unidades de processamento num único chip, estabelecendo novos padrões de desempenho informático.

Os testes de referência abaixo são executados no Intel® Ultra™ 7 155H com precisão FP32 e INT8.

Referências

Intel® Arc™ integrado GPULago Meteoro Intel® CPUNPU Intel® AI Boost integrada

Modelo	Formato	Precisão	Estado	Tamanho (MB)	métricas/mAP50-95(B)	Tempo de inferência (ms/im)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	35.95
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6117	8.32
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5791	9.88
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.72
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7136	13.37
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7086	9.96
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	202.05
YOLOv8m	OpenVINO	FP32	✅	99.1	0.7331	28.07
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7259	21.11
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	393.37
YOLOv8l	OpenVINO	FP32	✅	167.0	0.0	52.73
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7861	28.11
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	610.71
YOLOv8x	OpenVINO	FP32	✅	260.6	0.748	73.51
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8085	51.71

Modelo	Formato	Precisão	Estado	Tamanho (MB)	métricas/mAP50-95(B)	Tempo de inferência (ms/im)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	34.69
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6092	39.06
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5968	18.37
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.9
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7136	82.6
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7083	29.51
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	202.43
YOLOv8m	OpenVINO	FP32	✅	99.1	0.728	181.27
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7285	51.25
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	385.87
YOLOv8l	OpenVINO	FP32	✅	167.0	0.7551	347.75
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7675	91.66
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	603.63
YOLOv8x	OpenVINO	FP32	✅	260.6	0.7479	516.39
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8119	142.42

Modelo	Formato	Precisão	Estado	Tamanho (MB)	métricas/mAP50-95(B)	Tempo de inferência (ms/im)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	36.98
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6103	16.68
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5941	14.6
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.76
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7144	32.89
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7062	26.13
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	201.44
YOLOv8m	OpenVINO	FP32	✅	99.1	0.7284	54.4
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7268	30.76
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	385.46
YOLOv8l	OpenVINO	FP32	✅	167.0	0.7539	80.1
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7508	52.25
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	609.4
YOLOv8x	OpenVINO	FP32	✅	260.6	0.7637	104.79
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8077	64.96

Reproduzir os nossos resultados

Para reproduzir as referências Ultralytics acima em todos os formatos de exportação, execute este código:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
results = model.benchmarks(data="coco8.yaml")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

Conclusão

Os resultados da avaliação comparativa demonstram claramente as vantagens de exportar o modelo YOLOv8 para o formato OpenVINO . Em diferentes modelos e plataformas de hardware, o formato OpenVINO supera consistentemente outros formatos em termos de velocidade de inferência, mantendo uma precisão comparável.

Para o Intel® Data Center GPU Flex Series, o formato OpenVINO foi capaz de fornecer velocidades de inferência quase 10 vezes mais rápidas do que o formato PyTorch original. No Xeon CPU, o formato OpenVINO foi duas vezes mais rápido do que o formato PyTorch . A precisão dos modelos permaneceu quase idêntica entre os diferentes formatos.

Os benchmarks sublinham a eficácia do OpenVINO como uma ferramenta para implementar modelos de aprendizagem profunda. Ao converter modelos para o formato OpenVINO , os programadores podem obter melhorias significativas no desempenho, facilitando a implementação destes modelos em aplicações do mundo real.

Para obter informações e instruções mais pormenorizadas sobre a utilização de OpenVINO, consulte a documentação oficial de OpenVINO .

FAQ

Como é que exporto modelos YOLOv8 para o formato OpenVINO ?

A exportação de modelos YOLOv8 para o formato OpenVINO pode aumentar significativamente a velocidade CPU e permitir acelerações GPU e NPU no hardware Intel . Para exportar, é possível usar Python ou CLI , conforme mostrado abaixo:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolov8n_openvino_model/'

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

Para mais informações, consultar a documentação sobre formatos de exportação.

Quais são as vantagens de utilizar OpenVINO com os modelos YOLOv8 ?

A utilização do conjunto de ferramentas Intel's OpenVINO com modelos YOLOv8 oferece várias vantagens:

1. Desempenho: Obtenha até 3x mais velocidade na inferência CPU e aproveite as GPUs e NPUs Intel para aceleração.
2. Optimizador de modelos: Converta, optimize e execute modelos de estruturas populares como PyTorch, TensorFlow, e ONNX.
3. Facilidade de utilização: Estão disponíveis mais de 80 blocos de notas de tutoriais para ajudar os utilizadores a começar, incluindo os de YOLOv8.
4. Execução heterogénea: Implemente modelos em vários hardwares Intel com uma API unificada.

Para comparações de desempenho pormenorizadas, visite a nossa secção de referências.

Como é que posso efetuar inferência utilizando um modelo YOLOv8 exportado para OpenVINO?

Depois de exportar um modelo YOLOv8 para o formato OpenVINO , pode efetuar a inferência utilizando Python ou CLI:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Para mais informações, consulte a nossa documentação sobre o modo de previsão.

Por que razão devo escolher Ultralytics YOLOv8 em vez de outros modelos para OpenVINO exportação?

Ultralytics YOLOv8 está optimizado para a deteção de objectos em tempo real com elevada precisão e velocidade. Especificamente, quando combinado com OpenVINO, YOLOv8 fornece:

• Até 3x mais rápido em CPUs Intel
• Implementação perfeita em Intel GPUs e NPUs
• Exatidão consistente e comparável em vários formatos de exportação

Para uma análise aprofundada do desempenho, consulte os nossos benchmarksYOLOv8 detalhados em diferentes hardwares.

Posso efetuar uma avaliação comparativa dos modelos YOLOv8 em diferentes formatos, como PyTorch, ONNX e OpenVINO?

Sim, é possível fazer benchmark dos modelos YOLOv8 em vários formatos, incluindo PyTorch, TorchScript, ONNX e OpenVINO. Utilize o seguinte fragmento de código para executar testes de referência no conjunto de dados escolhido:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmarks(data="coco8.yaml")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

Para obter resultados detalhados dos testes de referência, consulte a nossa secção de testes de referência e a documentação sobre formatos de exportação.

📅C riado há 1 ano ✏️ Atualizado há 2 meses

Comentários