Triton Inference Server con Ultralytics YOLO26#

La configurazione di Ultralytics YOLO26 con NVIDIA Triton Inference Server prevede alcuni passaggi fondamentali:

1. Esporta YOLO26 in formato ONNX:

   from ultralytics import YOLO
   
   # Carica un modello
   model = YOLO("yolo26n.pt")  # carica un modello ufficiale
   
   # Esporta il modello in formato ONNX
   onnx_file = model.export(format="onnx", dynamic=True)

2. Configura il repository dei modelli Triton:

   from pathlib import Path
   
   # Definisci i percorsi
   model_name = "yolo"
   triton_repo_path = Path("tmp") / "triton_repo"
   triton_model_path = triton_repo_path / model_name
   
   # Crea le directory
   (triton_model_path / "1").mkdir(parents=True, exist_ok=True)
   Path(onnx_file).rename(triton_model_path / "1" / "model.onnx")
   (triton_model_path / "config.pbtxt").touch()

3. Avvia Triton Server:

   import contextlib
   import subprocess
   import time
   
   from tritonclient.http import InferenceServerClient
   
   # Define image https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver
   tag = "nvcr.io/nvidia/tritonserver:26.02-py3"
   
   runtime = "docker"  # set to "podman" to use Podman
   subprocess.call(f"{runtime} pull {tag}", shell=True)
   
   # CDI GPU request works identically on Docker and Podman
   gpu_flags = "--device nvidia.com/gpu=all"
   
   container_name = "triton_server"
   subprocess.call(
       f"{runtime} run -d --rm --name {container_name} {gpu_flags} -v {triton_repo_path.absolute()}:/models:z -p 8000:8000 {tag} tritonserver --model-repository=/models",
       shell=True,
   )
   
   triton_client = InferenceServerClient(url="127.0.0.1:8000", verbose=False, ssl=False)
   
   for _ in range(10):
       with contextlib.suppress(Exception):
           assert triton_client.is_model_ready(model_name)
           break
       time.sleep(1)

Questa configurazione può aiutarti a distribuire in modo efficiente i modelli Ultralytics YOLO26 su larga scala con Triton Inference Server, per un'inferenza dei modelli AI ad alte prestazioni.

L'integrazione di Ultralytics YOLO26 con NVIDIA Triton Inference Server offre diversi vantaggi:

• Inferenza AI scalabile: Triton consente di servire più modelli da una singola istanza server e supporta il caricamento e lo scaricamento dinamico dei modelli, garantendo un'elevata scalabilità per carichi di lavoro AI diversi.
• Prestazioni elevate: ottimizzato per le GPU NVIDIA, Triton Inference Server garantisce operazioni di inferenza ad alta velocità, ideali per applicazioni in tempo reale come il rilevamento di oggetti.
• Ensemble e gestione delle versioni dei modelli: la modalità ensemble di Triton consente di combinare più modelli per migliorare i risultati, mentre la gestione delle versioni dei modelli supporta test A/B e aggiornamenti progressivi.
• Batch automatici: Triton raggruppa automaticamente più richieste di inferenza, migliorando significativamente il throughput e riducendo la latenza.
• Deployment semplificato: ottimizzazione graduale dei flussi di lavoro AI senza dover ristrutturare completamente il sistema, per scalare più facilmente ed efficientemente.

Per istruzioni dettagliate su come configurare ed eseguire Ultralytics YOLO26 con Triton, consulta Configurazione di Triton Inference Server ed Esecuzione dell'inferenza.

Usare il formato ONNX (Scambio di reti neurali aperte) per il tuo modello Ultralytics YOLO26 prima di distribuirlo su NVIDIA Triton Inference Server offre diversi vantaggi fondamentali:

• Interoperabilità: il formato ONNX supporta il trasferimento tra diversi framework di deep learning (come PyTorch e TensorFlow), garantendo una compatibilità più ampia.
• Ottimizzazione: molti ambienti di deployment, tra cui Triton, sono ottimizzati per ONNX e consentono così un'inferenza più rapida e prestazioni migliori.
• Facilità di deployment: ONNX è ampiamente supportato tra framework e piattaforme, semplificando il processo di deployment su diversi sistemi operativi e configurazioni hardware.
• Indipendenza dai framework: una volta convertito in ONNX, il modello non è più vincolato al framework originale ed è quindi più portabile.
• Standardizzazione: ONNX fornisce una rappresentazione standardizzata che aiuta a superare i problemi di compatibilità tra diversi framework di AI.

Per esportare il tuo modello, usa:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
onnx_file = model.export(format="onnx", dynamic=True)

Puoi seguire i passaggi della guida all’integrazione di ONNX per completare la procedura.

Sì, puoi eseguire inferenze con il modello Ultralytics YOLO26 su NVIDIA Triton Inference Server. Dopo aver configurato il modello nel Triton Model Repository e avviato il server, puoi caricare il modello ed eseguire inferenze come segue:

from ultralytics import YOLO

# Carica il modello Triton Server
model = YOLO("http://127.0.0.1:8000/yolo", task="detect")

# Esegui l'inferenza sul server
results = model("path/to/image.jpg")

Questo approccio ti consente di sfruttare le ottimizzazioni di Triton usando al contempo la familiare interfaccia Ultralytics YOLO.

Ultralytics YOLO26 offre diversi vantaggi esclusivi rispetto ai modelli TensorFlow e PyTorch per la distribuzione:

• Prestazioni in tempo reale: ottimizzato per le attività di rilevamento di oggetti in tempo reale, Ultralytics YOLO26 offre accuratezza e velocità all’avanguardia, caratteristiche che lo rendono ideale per le applicazioni che richiedono analisi video in tempo reale.
• Facilità d’uso: Ultralytics YOLO26 si integra senza problemi con Triton Inference Server e supporta diversi formati di esportazione (ONNX, TensorRT), offrendo flessibilità per vari scenari di distribuzione.
• Funzionalità avanzate: il serving tramite Triton aggiunge il caricamento dinamico dei modelli, il controllo delle versioni dei modelli e l’inferenza con ensemble, funzionalità fondamentali per distribuzioni AI scalabili e affidabili.
• API semplificata: l’API Ultralytics offre un’interfaccia coerente su diverse piattaforme di distribuzione, riducendo la curva di apprendimento e i tempi di sviluppo.
• Ottimizzazione per l’edge: i modelli Ultralytics YOLO26 sono progettati pensando alla distribuzione edge e offrono prestazioni eccellenti anche sui dispositivi con risorse limitate.

Per maggiori dettagli, confronta le opzioni di distribuzione nella guida all’esportazione dei modelli.