Triton Inference Server con Ultralytics YOLO26#

Configurar Ultralytics YOLO26 con NVIDIA Triton Inference Server implica varios pasos clave:

1. Exportar YOLO26 al formato ONNX:

   from ultralytics import YOLO
   
   # Load a model
   model = YOLO("yolo26n.pt")  # load an official model
   
   # Export the model to ONNX format
   onnx_file = model.export(format="onnx", dynamic=True)

2. Configurar el repositorio de modelos de Triton:

   from pathlib import Path
   
   # Define paths
   model_name = "yolo"
   triton_repo_path = Path("tmp") / "triton_repo"
   triton_model_path = triton_repo_path / model_name
   
   # Create directories
   (triton_model_path / "1").mkdir(parents=True, exist_ok=True)
   Path(onnx_file).rename(triton_model_path / "1" / "model.onnx")
   (triton_model_path / "config.pbtxt").touch()

3. Ejecutar Triton Server:

   import contextlib
   import subprocess
   import time
   
   from tritonclient.http import InferenceServerClient
   
   # Define image https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver
   tag = "nvcr.io/nvidia/tritonserver:26.02-py3"
   
   runtime = "docker"  # set to "podman" to use Podman
   subprocess.call(f"{runtime} pull {tag}", shell=True)
   
   # CDI GPU request works identically on Docker and Podman
   gpu_flags = "--device nvidia.com/gpu=all"
   
   container_name = "triton_server"
   subprocess.call(
       f"{runtime} run -d --rm --name {container_name} {gpu_flags} -v {triton_repo_path.absolute()}:/models:z -p 8000:8000 {tag} tritonserver --model-repository=/models",
       shell=True,
   )
   
   triton_client = InferenceServerClient(url="127.0.0.1:8000", verbose=False, ssl=False)
   
   for _ in range(10):
       with contextlib.suppress(Exception):
           assert triton_client.is_model_ready(model_name)
           break
       time.sleep(1)

Esta configuración puede ayudarte a desplegar de forma eficiente modelos de Ultralytics YOLO26 a escala en Triton Inference Server para realizar inferencias de modelos de IA de alto rendimiento.

Integrar Ultralytics YOLO26 con NVIDIA Triton Inference Server ofrece varias ventajas:

• Inferencia de IA escalable: Triton permite servir varios modelos desde una única instancia del servidor y admite la carga y descarga dinámica de modelos, por lo que resulta muy escalable para diversas cargas de trabajo de IA.
• Alto rendimiento: Optimizado para GPU NVIDIA, Triton Inference Server garantiza operaciones de inferencia de alta velocidad, perfectas para aplicaciones en tiempo real como la detección de objetos.
• Inferencia en conjunto y control de versiones de modelos: El modo de conjunto de Triton permite combinar varios modelos para mejorar los resultados, y el control de versiones de modelos admite pruebas A/B y actualizaciones progresivas.
• Procesamiento por lotes automático: Triton agrupa automáticamente varias solicitudes de inferencia, lo que mejora significativamente el rendimiento y reduce la latencia.
• Despliegue simplificado: Permite optimizar gradualmente los flujos de trabajo de IA sin necesidad de renovar completamente los sistemas, lo que facilita un escalado eficiente.

Para obtener instrucciones detalladas sobre cómo configurar y ejecutar Ultralytics YOLO26 con Triton, consulta Configuración de Triton Inference Server y Ejecución de la inferencia.

Usar el formato ONNX (Intercambio abierto de redes neuronales) para tu modelo de Ultralytics YOLO26 antes de desplegarlo en NVIDIA Triton Inference Server ofrece varias ventajas clave:

• Interoperabilidad: El formato ONNX permite transferir modelos entre distintos frameworks de deep learning (como PyTorch y TensorFlow), lo que garantiza una compatibilidad más amplia.
• Optimización: Muchos entornos de despliegue, incluido Triton, están optimizados para ONNX, lo que permite realizar inferencias más rápidas y obtener un mejor rendimiento.
• Facilidad de despliegue: ONNX es ampliamente compatible con frameworks y plataformas, lo que simplifica el proceso de despliegue en diversos sistemas operativos y configuraciones de hardware.
• Independencia del framework: Una vez convertido a ONNX, tu modelo deja de estar vinculado a su framework original, lo que lo hace más portable.
• Estandarización: ONNX proporciona una representación estandarizada que ayuda a superar los problemas de compatibilidad entre distintos frameworks de IA.

Para exportar tu modelo, usa:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
onnx_file = model.export(format="onnx", dynamic=True)

Puedes seguir los pasos de la guía de integración de ONNX para completar el proceso.

Sí, puedes ejecutar inferencias con el modelo Ultralytics YOLO26 en NVIDIA Triton Inference Server. Cuando hayas configurado tu modelo en el repositorio de modelos de Triton y el servidor esté en ejecución, puedes cargar el modelo y ejecutar inferencias de la siguiente manera:

from ultralytics import YOLO

# Load the Triton Server model
model = YOLO("http://127.0.0.1:8000/yolo", task="detect")

# Run inference on the server
results = model("path/to/image.jpg")

Este método te permite aprovechar las optimizaciones de Triton mientras utilizas la conocida interfaz de Ultralytics YOLO.

Ultralytics YOLO26 ofrece varias ventajas únicas frente a los modelos de TensorFlow y PyTorch para el despliegue:

• Rendimiento en tiempo real: Optimizado para tareas de detección de objetos en tiempo real, Ultralytics YOLO26 ofrece precisión y velocidad de última generación, por lo que es ideal para aplicaciones que requieren análisis de vídeo en directo.
• Facilidad de uso: Ultralytics YOLO26 se integra perfectamente con Triton Inference Server y admite diversos formatos de exportación (ONNX, TensorRT), lo que proporciona flexibilidad para distintos escenarios de despliegue.
• Funciones avanzadas: El servicio a través de Triton añade la carga dinámica de modelos, el control de versiones de modelos y la inferencia en conjunto, que son cruciales para implementaciones de IA escalables y fiables.
• API simplificada: La API de Ultralytics proporciona una interfaz coherente en distintos destinos de despliegue, lo que reduce la curva de aprendizaje y el tiempo de desarrollo.
• Optimización en el edge: Los modelos de Ultralytics YOLO26 están diseñados pensando en el despliegue en el edge y ofrecen un rendimiento excelente incluso en dispositivos con recursos limitados.

Para obtener más información, compara las opciones de despliegue en la guía de exportación de modelos.