Triton Inference Server com Ultralytics YOLO26#

Configurar o Ultralytics YOLO26 com o NVIDIA Triton Inference Server envolve algumas etapas principais:

1. Exportar o YOLO26 para o formato ONNX:

   from ultralytics import YOLO
   
   # Load a model
   model = YOLO("yolo26n.pt")  # load an official model
   
   # Export the model to ONNX format
   onnx_file = model.export(format="onnx", dynamic=True)

2. Configurar o repositório de modelos do Triton:

   from pathlib import Path
   
   # Define paths
   model_name = "yolo"
   triton_repo_path = Path("tmp") / "triton_repo"
   triton_model_path = triton_repo_path / model_name
   
   # Create directories
   (triton_model_path / "1").mkdir(parents=True, exist_ok=True)
   Path(onnx_file).rename(triton_model_path / "1" / "model.onnx")
   (triton_model_path / "config.pbtxt").touch()

3. Executar o servidor Triton:

   import contextlib
   import subprocess
   import time
   
   from tritonclient.http import InferenceServerClient
   
   # Define image https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver
   tag = "nvcr.io/nvidia/tritonserver:26.02-py3"
   
   runtime = "docker"  # set to "podman" to use Podman
   subprocess.call(f"{runtime} pull {tag}", shell=True)
   
   # CDI GPU request works identically on Docker and Podman
   gpu_flags = "--device nvidia.com/gpu=all"
   
   container_name = "triton_server"
   subprocess.call(
       f"{runtime} run -d --rm --name {container_name} {gpu_flags} -v {triton_repo_path.absolute()}:/models:z -p 8000:8000 {tag} tritonserver --model-repository=/models",
       shell=True,
   )
   
   triton_client = InferenceServerClient(url="127.0.0.1:8000", verbose=False, ssl=False)
   
   for _ in range(10):
       with contextlib.suppress(Exception):
           assert triton_client.is_model_ready(model_name)
           break
       time.sleep(1)

Esta configuração pode ajudar-te a implantar eficientemente modelos Ultralytics YOLO26 em escala no Triton Inference Server para inferência de modelos de IA de alto desempenho.

A integração do Ultralytics YOLO26 com o NVIDIA Triton Inference Server oferece várias vantagens:

• Inferência de IA escalável: O Triton permite servir vários modelos a partir de uma única instância de servidor, suportando carregamento e descarregamento dinâmico de modelos, tornando-o altamente escalável para diversas cargas de trabalho de IA.
• Alto Desempenho: Otimizado para GPUs NVIDIA, o Triton Inference Server garante operações de inferência de alta velocidade, perfeitas para aplicações em tempo real, como detecção de objetos.
• Ensemble e versionamento de modelos: O modo ensemble do Triton permite combinar vários modelos para melhorar os resultados, e seu versionamento de modelos suporta testes A/B e atualizações contínuas.
• Agrupamento automático (batching): O Triton agrupa automaticamente várias solicitações de inferência, melhorando significativamente o rendimento e reduzindo a latência.
• Implementação simplificada: Otimização gradual dos fluxos de trabalho de IA sem a necessidade de revisões completas do sistema, facilitando a escalabilidade eficiente.

Para instruções detalhadas sobre como configurar e executar o Ultralytics YOLO26 com o Triton, consulta Configurando o Triton Inference Server e Executando a Inferência.

Usar o formato ONNX (Open Neural Network Exchange) para o teu modelo Ultralytics YOLO26 antes de implantá-lo no NVIDIA Triton Inference Server oferece vários benefícios principais:

• Interoperabilidade: O formato ONNX suporta a transferência entre diferentes frameworks de deep learning (como PyTorch, TensorFlow), garantindo uma compatibilidade mais ampla.
• Otimização: Muitos ambientes de implementação, incluindo o Triton, otimizam para o ONNX, permitindo uma inferência mais rápida e um melhor desempenho.
• Facilidade de implementação: O ONNX é amplamente suportado em frameworks e plataformas, simplificando o processo de implementação em vários sistemas operacionais e configurações de hardware.
• Independência de framework: Uma vez convertido para ONNX, seu modelo não fica mais vinculado ao seu framework original, tornando-o mais portátil.
• Padronização: O ONNX fornece uma representação padronizada que ajuda a superar problemas de compatibilidade entre diferentes frameworks de IA.

Para exportar seu modelo, use:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
onnx_file = model.export(format="onnx", dynamic=True)

Podes seguir os passos no guia de integração do ONNX para concluir o processo.

Sim, podes executar a inferência usando o modelo Ultralytics YOLO26 no NVIDIA Triton Inference Server. Uma vez que o teu modelo esteja configurado no Repositório de Modelos do Triton e o servidor esteja em execução, podes carregar e executar a inferência no teu modelo da seguinte forma:

from ultralytics import YOLO

# Load the Triton Server model
model = YOLO("http://127.0.0.1:8000/yolo", task="detect")

# Run inference on the server
results = model("path/to/image.jpg")

Essa abordagem permite que você aproveite as otimizações do Triton enquanto usa a interface familiar do Ultralytics YOLO.

O Ultralytics YOLO26 oferece várias vantagens únicas em comparação com os modelos do TensorFlow e PyTorch para implantação:

• Desempenho em Tempo Real: Otimizado para tarefas de detecção de objetos em tempo real, o Ultralytics YOLO26 fornece precisão e velocidade de última geração, tornando-o ideal para aplicações que exigem análise de vídeo ao vivo.
• Facilidade de Uso: O Ultralytics YOLO26 integra-se perfeitamente com o Triton Inference Server e suporta diversos formatos de exportação (ONNX, TensorRT), tornando-o flexível para vários cenários de implantação.
• Recursos Avançados: O Ultralytics YOLO26 inclui recursos como carregamento dinâmico de modelos, versionamento de modelos e inferência em ensemble, que são cruciais para implantações de IA escaláveis e confiáveis.
• API simplificada: A API da Ultralytics oferece uma interface consistente em diferentes destinos de implementação, reduzindo a curva de aprendizado e o tempo de desenvolvimento.
• Otimização para Edge: Os modelos Ultralytics YOLO26 são projetados com a implantação em edge em mente, oferecendo excelente desempenho mesmo em dispositivos com recursos limitados.

Para mais detalhes, compara as opções de implantação no guia de exportação de modelos.