Otimizar OpenVINO Inferência para Ultralytics YOLO Modelos: Um guia completo

Introdução

Ao implantar modelos de aprendizagem profunda, particularmente aqueles para deteção de objetos, como os modelos Ultralytics YOLO , é crucial obter o desempenho ideal. Este guia investiga o uso do kit de ferramentas OpenVINO da Intel para otimizar a inferência, com foco na latência e na taxa de transferência. Quer estejas a trabalhar em aplicações para consumidores ou em implementações de grande escala, compreender e aplicar estas estratégias de otimização irá garantir que os teus modelos funcionam de forma eficiente em vários dispositivos.

Otimização da latência

A otimização da latência é vital para as aplicações que requerem uma resposta imediata de um único modelo com uma única entrada, o que é típico em cenários de consumo. O objetivo é minimizar o atraso entre a entrada e o resultado da inferência. No entanto, alcançar uma baixa latência envolve uma consideração cuidadosa, especialmente ao executar inferências simultâneas ou gerenciar vários modelos.

Estratégias-chave para a otimização da latência:

• Faz uma única inferência por dispositivo: A maneira mais simples de obter baixa latência é limitar a uma inferência por vez por dispositivo. A concorrência adicional geralmente leva ao aumento da latência.
• Aproveitamento de sub-dispositivos: Dispositivos como CPUs com vários soquetes ou GPUs com vários blocos podem executar várias solicitações com um aumento mínimo de latência, utilizando seus subdispositivos internos.
• OpenVINO Dicas de desempenho: Utilizando OpenVINO's ov::hint::PerformanceMode::LATENCY para o ov::hint::performance_mode durante a compilação do modelo simplifica a afinação do desempenho, oferecendo uma abordagem independente do dispositivo e preparada para o futuro.

Gerir a latência da primeira inferência:

• Armazenamento em cache do modelo: Para reduzir a carga do modelo e os tempos de compilação que afetam a latência, usa o armazenamento em cache do modelo sempre que possível. Para cenários em que o armazenamento em cache não é viável, as CPUs geralmente oferecem os tempos de carga de modelo mais rápidos.
• Mapeamento de modelos vs. leitura: Para reduzir os tempos de carregamento, OpenVINO substituiu a leitura do modelo pelo mapeamento. No entanto, se o modelo estiver numa unidade amovível ou de rede, considera utilizar ov::enable_mmap(false) para voltares à leitura.
• Seleção automática do dispositivo: Este modo inicia a inferência na CPU, mudando para um acelerador assim que estiver pronto, reduzindo perfeitamente a latência da primeira inferência.

Otimização do rendimento

A otimização do débito é crucial para cenários que servem vários pedidos de inferência em simultâneo, maximizando a utilização dos recursos sem sacrificar significativamente o desempenho dos pedidos individuais.

Abordagens à otimização do rendimento:

1. OpenVINO Dicas de desempenho: Um método de alto nível, preparado para o futuro, para melhorar o rendimento entre dispositivos usando dicas de desempenho.

import openvino.properties as props
import openvino.properties.hint as hints

config = {hints.performance_mode: hints.PerformanceMode.THROUGHPUT}
compiled_model = core.compile_model(model, "GPU", config)

1. Loteamento explícito e fluxos: Uma abordagem mais granular envolvendo lotes explícitos e o uso de fluxos para ajuste avançado de desempenho.

Concebe aplicações orientadas para o rendimento:

Para maximizar o rendimento, as aplicações devem:

• Processa as entradas em paralelo, tirando o máximo partido das capacidades do dispositivo.
• Decompõe o fluxo de dados em pedidos de inferência simultâneos, programados para execução paralela.
• Utiliza a API Assíncrona com retornos de chamada para manter a eficiência e evitar a inanição do dispositivo.

Execução em vários dispositivos:

OpenVINOsimplifica o escalonamento da taxa de transferência, equilibrando automaticamente as solicitações de inferência entre dispositivos sem exigir o gerenciamento de dispositivos no nível do aplicativo.

Conclusão

A otimização dos modelos Ultralytics YOLO para latência e taxa de transferência com OpenVINO pode melhorar significativamente o desempenho do aplicativo. Ao aplicar cuidadosamente as estratégias descritas neste guia, os desenvolvedores podem garantir que seus modelos sejam executados de forma eficiente, atendendo às demandas de vários cenários de implantação. Lembra que a escolha entre otimizar a latência ou a taxa de transferência depende das necessidades específicas do aplicativo e das características do ambiente de implantação.

Para obter informações técnicas mais detalhadas e as atualizações mais recentes, consulta a documentaçãoOpenVINO e o repositórioUltralytics YOLO . Estes recursos fornecem guias detalhados, tutoriais e suporte da comunidade para te ajudar a tirar o máximo partido dos teus modelos de aprendizagem profunda.

Garantir que os teus modelos atingem o desempenho ideal não se trata apenas de ajustar as configurações; trata-se de compreender as necessidades da tua aplicação e tomar decisões informadas. Quer estejas a otimizar as respostas em tempo real ou a maximizar o rendimento do processamento em grande escala, a combinação dos modelos Ultralytics YOLO e OpenVINO oferece um poderoso conjunto de ferramentas para os programadores implementarem soluções de IA de elevado desempenho.

Comentários