Triton Inference Server con Ultralytics YOLO26#

La configurazione di Ultralytics YOLO26 con NVIDIA Triton Inference Server prevede alcuni passaggi fondamentali:

1. Esporta YOLO26 nel formato ONNX:

   from ultralytics import YOLO
   
   # Load a model
   model = YOLO("yolo26n.pt")  # load an official model
   
   # Export the model to ONNX format
   onnx_file = model.export(format="onnx", dynamic=True)

2. Configura il repository dei modelli Triton:

   from pathlib import Path
   
   # Define paths
   model_name = "yolo"
   triton_repo_path = Path("tmp") / "triton_repo"
   triton_model_path = triton_repo_path / model_name
   
   # Create directories
   (triton_model_path / "1").mkdir(parents=True, exist_ok=True)
   Path(onnx_file).rename(triton_model_path / "1" / "model.onnx")
   (triton_model_path / "config.pbtxt").touch()

3. Esegui Triton Server:

   import contextlib
   import subprocess
   import time
   
   from tritonclient.http import InferenceServerClient
   
   # Define image https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver
   tag = "nvcr.io/nvidia/tritonserver:26.02-py3"
   
   runtime = "docker"  # set to "podman" to use Podman
   subprocess.call(f"{runtime} pull {tag}", shell=True)
   
   # CDI GPU request works identically on Docker and Podman
   gpu_flags = "--device nvidia.com/gpu=all"
   
   container_name = "triton_server"
   subprocess.call(
       f"{runtime} run -d --rm --name {container_name} {gpu_flags} -v {triton_repo_path.absolute()}:/models:z -p 8000:8000 {tag} tritonserver --model-repository=/models",
       shell=True,
   )
   
   triton_client = InferenceServerClient(url="127.0.0.1:8000", verbose=False, ssl=False)
   
   for _ in range(10):
       with contextlib.suppress(Exception):
           assert triton_client.is_model_ready(model_name)
           break
       time.sleep(1)

Questa configurazione può aiutarti a distribuire in modo efficiente i modelli Ultralytics YOLO26 su larga scala con Triton Inference Server, per un'inferenza di modelli di AI ad alte prestazioni.

L'integrazione di Ultralytics YOLO26 con NVIDIA Triton Inference Server offre diversi vantaggi:

• Inferenza di AI scalabile: Triton consente di servire più modelli da una singola istanza del server, supportando il caricamento e la rimozione dinamici dei modelli e risultando quindi altamente scalabile per carichi di lavoro di AI diversi.
• Elevate prestazioni: ottimizzato per le GPU NVIDIA, Triton Inference Server garantisce operazioni di inferenza ad alta velocità, perfette per applicazioni in tempo reale come il rilevamento degli oggetti.
• Ensemble e gestione delle versioni dei modelli: la modalità ensemble di Triton consente di combinare più modelli per migliorare i risultati, mentre la gestione delle versioni supporta i test A/B e gli aggiornamenti progressivi.
• Batching automatico: Triton raggruppa automaticamente più richieste di inferenza, migliorando significativamente il throughput e riducendo la latenza.
• Distribuzione semplificata: ottimizzazione graduale dei flussi di lavoro di AI senza richiedere revisioni complete del sistema, per facilitare una scalabilità efficiente.

Per istruzioni dettagliate sulla configurazione e l'esecuzione di Ultralytics YOLO26 con Triton, consulta Configurazione di Triton Inference Server e Esecuzione dell'inferenza.

Usare il formato ONNX per il tuo modello Ultralytics YOLO26 prima di distribuirlo su NVIDIA Triton Inference Server offre diversi vantaggi fondamentali:

• Interoperabilità: il formato ONNX supporta il trasferimento tra diversi framework di deep learning, come PyTorch e TensorFlow, garantendo una compatibilità più ampia.
• Ottimizzazione: molti ambienti di distribuzione, incluso Triton, sono ottimizzati per ONNX, consentendo un'inferenza più rapida e prestazioni migliori.
• Facilità di distribuzione: ONNX è ampiamente supportato tra framework e piattaforme, semplificando il processo di distribuzione su diversi sistemi operativi e configurazioni hardware.
• Indipendenza dal framework: una volta convertito in ONNX, il modello non è più vincolato al framework originale, risultando più portabile.
• Standardizzazione: ONNX fornisce una rappresentazione standardizzata che aiuta a superare i problemi di compatibilità tra diversi framework di AI.

Per esportare il tuo modello, usa:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
onnx_file = model.export(format="onnx", dynamic=True)

Puoi seguire i passaggi nella guida all'integrazione di ONNX per completare il processo.

Sì, puoi eseguire l'inferenza usando il modello Ultralytics YOLO26 su NVIDIA Triton Inference Server. Dopo aver configurato il modello nel repository dei modelli Triton e avviato il server, puoi caricare ed eseguire l'inferenza sul modello come segue:

from ultralytics import YOLO

# Load the Triton Server model
model = YOLO("http://127.0.0.1:8000/yolo", task="detect")

# Run inference on the server
results = model("path/to/image.jpg")

Questo approccio ti consente di sfruttare le ottimizzazioni di Triton usando al contempo la familiare interfaccia Ultralytics YOLO.

Ultralytics YOLO26 offre diversi vantaggi esclusivi rispetto ai modelli TensorFlow e PyTorch per la distribuzione:

• Prestazioni in tempo reale: ottimizzato per le attività di rilevamento degli oggetti in tempo reale, Ultralytics YOLO26 offre accuratezza e velocità all'avanguardia, risultando ideale per le applicazioni che richiedono analisi video in tempo reale.
• Facilità d'uso: Ultralytics YOLO26 si integra perfettamente con Triton Inference Server e supporta diversi formati di esportazione (ONNX, TensorRT), offrendo flessibilità per vari scenari di distribuzione.
• Funzioni Avanzate: l'erogazione tramite Triton aggiunge il caricamento dinamico dei modelli, il controllo delle versioni dei modelli e l'inferenza tramite ensemble, che sono fondamentali per distribuzioni di IA scalabili e affidabili.
• API semplificata: l'API Ultralytics offre un'interfaccia coerente tra diversi target di distribuzione, riducendo la curva di apprendimento e i tempi di sviluppo.
• Ottimizzazione per l'edge: i modelli Ultralytics YOLO26 sono progettati tenendo conto della distribuzione all'edge e offrono prestazioni eccellenti anche su dispositivi con risorse limitate.

Per ulteriori dettagli, confronta le opzioni di distribuzione nella guida all'esportazione dei modelli.