Triton Inference Server com Ultralytics YOLO26#

A configuração do Ultralytics YOLO26 com o NVIDIA Triton Inference Server envolve alguns passos essenciais:

1. Exporta YOLO26 para o formato ONNX:

   from ultralytics import YOLO
   
   # Carregar um modelo
   model = YOLO("yolo26n.pt")  # carrega um modelo oficial
   
   # Exporta o modelo para o formato ONNX
   onnx_file = model.export(format="onnx", dynamic=True)

2. Configura o repositório de modelos do Triton:

   from pathlib import Path
   
   # Define os caminhos
   model_name = "yolo"
   triton_repo_path = Path("tmp") / "triton_repo"
   triton_model_path = triton_repo_path / model_name
   
   # Cria os diretórios
   (triton_model_path / "1").mkdir(parents=True, exist_ok=True)
   Path(onnx_file).rename(triton_model_path / "1" / "model.onnx")
   (triton_model_path / "config.pbtxt").touch()

3. Executa o Triton Server:

   import contextlib
   import subprocess
   import time
   
   from tritonclient.http import InferenceServerClient
   
   # Define image https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver
   tag = "nvcr.io/nvidia/tritonserver:26.02-py3"
   
   runtime = "docker"  # set to "podman" to use Podman
   subprocess.call(f"{runtime} pull {tag}", shell=True)
   
   # CDI GPU request works identically on Docker and Podman
   gpu_flags = "--device nvidia.com/gpu=all"
   
   container_name = "triton_server"
   subprocess.call(
       f"{runtime} run -d --rm --name {container_name} {gpu_flags} -v {triton_repo_path.absolute()}:/models:z -p 8000:8000 {tag} tritonserver --model-repository=/models",
       shell=True,
   )
   
   triton_client = InferenceServerClient(url="127.0.0.1:8000", verbose=False, ssl=False)
   
   for _ in range(10):
       with contextlib.suppress(Exception):
           assert triton_client.is_model_ready(model_name)
           break
       time.sleep(1)

Esta configuração pode ajudar-te a implantar modelos Ultralytics YOLO26 em escala no Triton Inference Server de forma eficiente, para obter inferência de modelos de IA de alto desempenho.

A integração do Ultralytics YOLO26 com o NVIDIA Triton Inference Server oferece várias vantagens:

• Inferência de IA escalável: o Triton permite disponibilizar vários modelos a partir de uma única instância do servidor e oferece suporte ao carregamento e descarregamento dinâmico de modelos, tornando-o altamente escalável para diversas cargas de trabalho de IA.
• Alto desempenho: otimizado para GPUs NVIDIA, o Triton Inference Server garante operações de inferência de alta velocidade, ideais para aplicações em tempo real, como a detecção de objetos.
• Conjuntos de modelos e controle de versões: o modo de conjunto do Triton permite combinar vários modelos para melhorar os resultados, e o controle de versões de modelos oferece suporte a testes A/B e atualizações graduais.
• Agrupamento automático: o Triton agrupa automaticamente várias solicitações de inferência, melhorando significativamente a taxa de transferência e reduzindo a latência.
• Implantação simplificada: permite otimizar gradualmente os fluxos de trabalho de IA sem exigir uma reformulação completa do sistema, facilitando a expansão eficiente.

Para obter instruções detalhadas sobre como configurar e executar o Ultralytics YOLO26 com o Triton, consulta Configurar o Triton Inference Server e Executar a inferência.

Usar o formato ONNX (Open Neural Network Exchange) no teu modelo Ultralytics YOLO26 antes de implantá-lo no NVIDIA Triton Inference Server oferece várias vantagens importantes:

• Interoperabilidade: o formato ONNX permite transferir modelos entre diferentes frameworks de aprendizagem profunda (como PyTorch e TensorFlow), garantindo maior compatibilidade.
• Otimização: muitos ambientes de implantação, incluindo o Triton, são otimizados para ONNX, o que permite uma inferência mais rápida e melhor desempenho.
• Facilidade de implantação: o ONNX tem amplo suporte em vários frameworks e plataformas, simplificando o processo de implantação em diferentes sistemas operacionais e configurações de hardware.
• Independência de frameworks: depois de convertido para ONNX, o teu modelo deixa de estar vinculado ao framework original, tornando-se mais portátil.
• Padronização: o ONNX fornece uma representação padronizada que ajuda a superar problemas de compatibilidade entre diferentes frameworks de IA.

Para exportar o teu modelo, usa:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
onnx_file = model.export(format="onnx", dynamic=True)

Podes seguir as etapas do guia de integração do ONNX para concluir o processo.

Sim, podes executar inferências com o modelo Ultralytics YOLO26 no NVIDIA Triton Inference Server. Depois de configurar o modelo no Triton Model Repository e iniciar o servidor, podes carregar e executar inferências no modelo da seguinte forma:

from ultralytics import YOLO

# Carrega o modelo do Triton Server
model = YOLO("http://127.0.0.1:8000/yolo", task="detect")

# Executa a inferência no servidor
results = model("path/to/image.jpg")

Esta abordagem permite aproveitar as otimizações do Triton e, ao mesmo tempo, usar a interface familiar do Ultralytics YOLO.

O Ultralytics YOLO26 oferece várias vantagens exclusivas em comparação com os modelos TensorFlow e PyTorch para implementação:

• Desempenho em tempo real: otimizado para tarefas de deteção de objetos em tempo real, o Ultralytics YOLO26 oferece precisão e velocidade de última geração, sendo ideal para aplicações que exigem análise de vídeo ao vivo.
• Facilidade de utilização: o Ultralytics YOLO26 integra-se perfeitamente com o Triton Inference Server e suporta diversos formatos de exportação (ONNX, TensorRT), oferecendo flexibilidade para vários cenários de implementação.
• Funcionalidades avançadas: a disponibilização através do Triton acrescenta carregamento dinâmico de modelos, controlo de versões de modelos e inferência em conjunto, recursos essenciais para implementações de IA escaláveis e fiáveis.
• API simplificada: a API da Ultralytics oferece uma interface consistente para diferentes destinos de implementação, reduzindo o tempo de aprendizagem e desenvolvimento.
• Otimização para dispositivos de borda: os modelos Ultralytics YOLO26 são concebidos a pensar na implementação em dispositivos de borda e oferecem um excelente desempenho mesmo em dispositivos com recursos limitados.

Para mais informações, compara as opções de implementação no guia de exportação de modelos.