Otimização da inferência do YOLO com OpenVINO#

Introdução#

Ao implementar modelos de aprendizagem profunda, especialmente os de deteção de objetos, como os modelos Ultralytics YOLO, é fundamental alcançar o melhor desempenho possível. Este guia explora como tirar partido do kit de ferramentas OpenVINO da Intel para otimizar a inferência, com foco na latência e no throughput. Quer estejas a trabalhar em aplicações para consumidores ou em implementações em larga escala, compreender e aplicar estas estratégias de otimização vai garantir que os teus modelos funcionam eficientemente em vários dispositivos.

Otimização da latência#

A otimização da latência é essencial para aplicações que exigem uma resposta imediata de um único modelo para uma única entrada, algo comum em cenários de consumo. O objetivo é minimizar o atraso entre a entrada e o resultado da inferência. No entanto, alcançar uma latência baixa exige uma análise cuidadosa, especialmente ao executar inferências simultâneas ou gerir vários modelos.

Principais estratégias para otimizar a latência#

• Uma inferência por dispositivo: a forma mais simples de alcançar uma latência baixa é limitar cada dispositivo a uma inferência de cada vez. Muitas vezes, a concorrência adicional aumenta a latência.
• Tirar partido dos subdispositivos: dispositivos como CPUs com vários sockets ou GPUs com vários tiles podem executar vários pedidos com um aumento mínimo da latência, tirando partido dos seus subdispositivos internos.
• Dicas de desempenho do OpenVINO: usar ov::LATENCY do OpenVINO para a propriedade ov::performance_mode durante a compilação do modelo simplifica o ajuste de desempenho e oferece uma abordagem independente do dispositivo e preparada para o futuro.

Gerir a latência da primeira inferência#

• Armazenamento em cache do modelo: para reduzir o impacto dos tempos de carregamento e compilação do modelo na latência, usa o armazenamento em cache do modelo sempre que possível. Nos casos em que o armazenamento em cache não é viável, as CPUs geralmente oferecem os tempos de carregamento de modelo mais rápidos.
• Mapeamento do modelo vs. leitura: para reduzir os tempos de carregamento, o OpenVINO substituiu a leitura do modelo pelo mapeamento. No entanto, se o modelo estiver numa unidade removível ou de rede, considera usar ov::enable_mmap(false) para voltar à leitura.
• Seleção automática do dispositivo: este modo inicia a inferência na CPU e passa para um acelerador assim que este estiver pronto, reduzindo sem interrupções a latência da primeira inferência.

Otimização do throughput#

A otimização do throughput é essencial em cenários que processam muitos pedidos de inferência em simultâneo, maximizando a utilização de recursos sem prejudicar significativamente o desempenho de cada pedido.

Abordagens para otimizar o throughput#

1. Dicas de desempenho do OpenVINO: um método de alto nível, preparado para o futuro, que melhora o throughput em vários dispositivos com dicas de desempenho.

   import openvino as ov
   import openvino.properties.hint as hints
   
   core = ov.Core()
   model = core.read_model("yolo26n_openvino_model/yolo26n.xml")
   config = {hints.performance_mode: hints.PerformanceMode.THROUGHPUT}
   compiled_model = core.compile_model(model, "GPU", config)

2. Agrupamento explícito e fluxos: uma abordagem mais granular, que envolve o agrupamento explícito e o uso de fluxos para um ajuste avançado do desempenho.

Conceber aplicações orientadas para o throughput#

Para maximizar o throughput, as aplicações devem:

• Processar as entradas em paralelo, aproveitando ao máximo os recursos do dispositivo.
• Dividir o fluxo de dados em pedidos de inferência simultâneos, agendados para execução paralela.
• Usar a API assíncrona com callbacks para manter a eficiência e evitar que o dispositivo fique sem trabalho.

Execução em vários dispositivos#

O modo de vários dispositivos do OpenVINO simplifica o aumento do throughput ao distribuir automaticamente os pedidos de inferência entre dispositivos, sem exigir a gestão dos dispositivos ao nível da aplicação.

Ganhos de desempenho no mundo real#

A implementação de otimizações do OpenVINO com modelos Ultralytics YOLO pode proporcionar melhorias significativas de desempenho. Como demonstram os benchmarks, os utilizadores podem obter inferências até 3 vezes mais rápidas em CPUs Intel, com acelerações ainda maiores possíveis em todo o portefólio de hardware da Intel, incluindo GPUs integradas, GPUs dedicadas e NPUs.

Por exemplo, ao executar modelos YOLO26 em CPUs Intel Xeon, as versões otimizadas com OpenVINO superam consistentemente as versões PyTorch em tempo de inferência por imagem, sem comprometer a precisão.

Implementação prática#

Para exportar e otimizar o teu modelo Ultralytics YOLO para OpenVINO, podes usar a funcionalidade de exportação:

from ultralytics import YOLO

# Carregar um modelo
model = YOLO("yolo26n.pt")

# Exporta o modelo para o formato OpenVINO
model.export(format="openvino", quantize=16)  # Exporta com precisão FP16

Após a exportação, podes executar a inferência com o modelo otimizado:

# Carrega o modelo OpenVINO
ov_model = YOLO("yolo26n_openvino_model/")

# Executa a inferência (o Ultralytics compila modelos OpenVINO com a dica de desempenho LATENCY)
results = ov_model("https://ultralytics.com/images/bus.jpg", verbose=True)

Conclusão#

Otimizar modelos Ultralytics YOLO para latência e throughput com OpenVINO pode melhorar significativamente o desempenho da tua aplicação. Ao aplicar cuidadosamente as estratégias descritas neste guia, os programadores podem garantir que os modelos funcionam eficientemente e satisfazem as exigências de vários cenários de implementação. Lembra-te: a escolha entre otimizar para latência ou throughput depende das necessidades específicas da tua aplicação e das características do ambiente de implementação.

Para obteres informações técnicas mais detalhadas e as atualizações mais recentes, consulta a documentação do OpenVINO e o repositório Ultralytics YOLO. Estes recursos oferecem guias aprofundados, tutoriais e apoio da comunidade para te ajudar a tirar o máximo partido dos teus modelos de aprendizagem profunda.

Garantir que os teus modelos alcançam o melhor desempenho possível não se resume a ajustar configurações; é preciso compreender as necessidades da tua aplicação e tomar decisões informadas. Quer estejas a otimizar para respostas em tempo real ou a maximizar o throughput do processamento em larga escala, a combinação dos modelos Ultralytics YOLO com OpenVINO oferece aos programadores um conjunto poderoso de ferramentas para implementar soluções de IA de alto desempenho.

Perguntas frequentes#