Triton Inference Server con Ultralytics YOLO26#

La configurazione di Ultralytics YOLO26 con NVIDIA Triton Inference Server prevede alcuni passaggi chiave:

1. Esporta YOLO26 in formato ONNX:

   from ultralytics import YOLO
   
   # Load a model
   model = YOLO("yolo26n.pt")  # load an official model
   
   # Export the model to ONNX format
   onnx_file = model.export(format="onnx", dynamic=True)

2. Configura il repository dei modelli Triton:

   from pathlib import Path
   
   # Define paths
   model_name = "yolo"
   triton_repo_path = Path("tmp") / "triton_repo"
   triton_model_path = triton_repo_path / model_name
   
   # Create directories
   (triton_model_path / "1").mkdir(parents=True, exist_ok=True)
   Path(onnx_file).rename(triton_model_path / "1" / "model.onnx")
   (triton_model_path / "config.pbtxt").touch()

3. Esegui il server Triton:

   import contextlib
   import subprocess
   import time
   
   from tritonclient.http import InferenceServerClient
   
   # Define image https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver
   tag = "nvcr.io/nvidia/tritonserver:26.02-py3"
   
   runtime = "docker"  # set to "podman" to use Podman
   subprocess.call(f"{runtime} pull {tag}", shell=True)
   
   # CDI GPU request works identically on Docker and Podman
   gpu_flags = "--device nvidia.com/gpu=all"
   
   container_name = "triton_server"
   subprocess.call(
       f"{runtime} run -d --rm --name {container_name} {gpu_flags} -v {triton_repo_path.absolute()}:/models:z -p 8000:8000 {tag} tritonserver --model-repository=/models",
       shell=True,
   )
   
   triton_client = InferenceServerClient(url="127.0.0.1:8000", verbose=False, ssl=False)
   
   for _ in range(10):
       with contextlib.suppress(Exception):
           assert triton_client.is_model_ready(model_name)
           break
       time.sleep(1)

Questa configurazione può aiutarti a distribuire in modo efficiente i modelli Ultralytics YOLO26 su larga scala su Triton Inference Server per l'inferenza di modelli di IA ad alte prestazioni.

L'integrazione di Ultralytics YOLO26 con NVIDIA Triton Inference Server offre diversi vantaggi:

• Inferenza IA scalabile: Triton consente di servire più modelli da una singola istanza di server, supportando il caricamento e lo scaricamento dinamico dei modelli, rendendolo altamente scalabile per diversi carichi di lavoro IA.
• Alte prestazioni: Ottimizzato per le GPU NVIDIA, Triton Inference Server garantisce operazioni di inferenza ad alta velocità, perfette per applicazioni in tempo reale come il rilevamento di oggetti.
• Ensemble e versionamento dei modelli: La modalità ensemble di Triton consente di combinare più modelli per migliorare i risultati, e il suo versionamento dei modelli supporta A/B testing e aggiornamenti graduali.
• Batching automatico: Triton raggruppa automaticamente più richieste di inferenza, migliorando significativamente il throughput e riducendo la latenza.
• Distribuzione semplificata: Ottimizzazione graduale dei flussi di lavoro IA senza richiedere revisioni complete del sistema, facilitando una scalabilità efficiente.

Per istruzioni dettagliate su come configurare ed eseguire Ultralytics YOLO26 con Triton, consulta Configurazione di Triton Inference Server ed Esecuzione dell'inferenza.

L'utilizzo del formato ONNX (Open Neural Network Exchange) per il tuo modello Ultralytics YOLO26 prima di distribuirlo su NVIDIA Triton Inference Server offre diversi vantaggi chiave:

• Interoperabilità: Il formato ONNX supporta il trasferimento tra diversi framework di deep learning (come PyTorch, TensorFlow), garantendo una maggiore compatibilità.
• Ottimizzazione: Molti ambienti di distribuzione, incluso Triton, ottimizzano per ONNX, consentendo un'inferenza più veloce e prestazioni migliori.
• Facilità di distribuzione: ONNX è ampiamente supportato tra framework e piattaforme, semplificando il processo di distribuzione in vari sistemi operativi e configurazioni hardware.
• Indipendenza dal framework: Una volta convertito in ONNX, il tuo modello non è più legato al suo framework originale, rendendolo più portabile.
• Standardizzazione: ONNX fornisce una rappresentazione standardizzata che aiuta a superare i problemi di compatibilità tra diversi framework IA.

Per esportare il tuo modello, usa:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
onnx_file = model.export(format="onnx", dynamic=True)

Puoi seguire i passaggi della guida all'integrazione di ONNX per completare il processo.

Sì, puoi eseguire l'inferenza utilizzando il modello Ultralytics YOLO26 su NVIDIA Triton Inference Server. Una volta configurato il modello nel repository dei modelli Triton e avviato il server, puoi caricare ed eseguire l'inferenza sul tuo modello come segue:

from ultralytics import YOLO

# Load the Triton Server model
model = YOLO("http://127.0.0.1:8000/yolo", task="detect")

# Run inference on the server
results = model("path/to/image.jpg")

Questo approccio ti consente di sfruttare le ottimizzazioni di Triton pur utilizzando la familiare interfaccia Ultralytics YOLO.

Ultralytics YOLO26 offre diversi vantaggi unici rispetto ai modelli TensorFlow e PyTorch per il deployment:

• Prestazioni in tempo reale: Ottimizzato per attività di rilevamento di oggetti in tempo reale, Ultralytics YOLO26 offre accuratezza e velocità allo stato dell'arte, rendendolo ideale per applicazioni che richiedono analisi video in diretta.
• Facilità d'uso: Ultralytics YOLO26 si integra perfettamente con Triton Inference Server e supporta diversi formati di esportazione (ONNX, TensorRT), rendendolo flessibile per vari scenari di deployment.
• Funzionalità avanzate: Ultralytics YOLO26 include funzionalità come il caricamento dinamico dei modelli, ilversionamento dei modelli e l'inferenza d'insieme, che sono cruciali per deployment di IA scalabili e affidabili.
• API semplificata: L'API Ultralytics fornisce un'interfaccia coerente tra diversi target di distribuzione, riducendo la curva di apprendimento e il tempo di sviluppo.
• Ottimizzazione Edge: I modelli Ultralytics YOLO26 sono progettati pensando al deployment edge, offrendo prestazioni eccellenti anche su dispositivi con risorse limitate.

Per maggiori dettagli, confronta le opzioni di deployment nella guida all'esportazione dei modelli.