Triton Inference Server mit Ultralytics YOLO26#

Das Einrichten von Ultralytics YOLO26 mit dem NVIDIA Triton Inference Server umfasst einige wichtige Schritte:

1. YOLO26 in das ONNX-Format exportieren:

   from ultralytics import YOLO
   
   # Load a model
   model = YOLO("yolo26n.pt")  # load an official model
   
   # Export the model to ONNX format
   onnx_file = model.export(format="onnx", dynamic=True)

2. Triton-Modellrepository einrichten:

   from pathlib import Path
   
   # Define paths
   model_name = "yolo"
   triton_repo_path = Path("tmp") / "triton_repo"
   triton_model_path = triton_repo_path / model_name
   
   # Create directories
   (triton_model_path / "1").mkdir(parents=True, exist_ok=True)
   Path(onnx_file).rename(triton_model_path / "1" / "model.onnx")
   (triton_model_path / "config.pbtxt").touch()

3. Triton-Server ausführen:

   import contextlib
   import subprocess
   import time
   
   from tritonclient.http import InferenceServerClient
   
   # Define image https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver
   tag = "nvcr.io/nvidia/tritonserver:26.02-py3"
   
   runtime = "docker"  # set to "podman" to use Podman
   subprocess.call(f"{runtime} pull {tag}", shell=True)
   
   # CDI GPU request works identically on Docker and Podman
   gpu_flags = "--device nvidia.com/gpu=all"
   
   container_name = "triton_server"
   subprocess.call(
       f"{runtime} run -d --rm --name {container_name} {gpu_flags} -v {triton_repo_path.absolute()}:/models:z -p 8000:8000 {tag} tritonserver --model-repository=/models",
       shell=True,
   )
   
   triton_client = InferenceServerClient(url="127.0.0.1:8000", verbose=False, ssl=False)
   
   for _ in range(10):
       with contextlib.suppress(Exception):
           assert triton_client.is_model_ready(model_name)
           break
       time.sleep(1)

Diese Einrichtung kann dir dabei helfen, Ultralytics YOLO26-Modelle effizient im großen Maßstab auf dem Triton Inference Server bereitzustellen und eine leistungsstarke Inferenz von KI-Modellen zu ermöglichen.

Die Integration von Ultralytics YOLO26 in den NVIDIA Triton Inference Server bietet mehrere Vorteile:

• Skalierbare KI-Inferenz: Triton ermöglicht die Bereitstellung mehrerer Modelle über eine einzige Serverinstanz und unterstützt das dynamische Laden und Entladen von Modellen. Dadurch eignet sich Triton besonders gut für vielfältige KI-Workloads mit hohen Skalierungsanforderungen.
• Hohe Leistung: Der für NVIDIA GPUs optimierte Triton Inference Server gewährleistet schnelle Inferenzvorgänge und eignet sich ideal für Echtzeitanwendungen wie die Objekterkennung.
• Ensemble und Modellversionierung: Der Ensemble-Modus von Triton ermöglicht die Kombination mehrerer Modelle zur Verbesserung der Ergebnisse, während die Modellversionierung A/B-Tests und schrittweise Aktualisierungen unterstützt.
• Automatisches Batching: Triton gruppiert automatisch mehrere Inferenzanfragen und verbessert dadurch den Durchsatz deutlich, während die Latenz reduziert wird.
• Vereinfachte Bereitstellung: KI-Workflows können schrittweise optimiert werden, ohne dass eine vollständige Überarbeitung des Systems erforderlich ist. Dadurch lässt sich die Lösung leichter effizient skalieren.

Detaillierte Anweisungen zum Einrichten und Ausführen von Ultralytics YOLO26 mit Triton findest du unter Triton Inference Server einrichten und Inferenz ausführen.

Die Verwendung des ONNX-Formats (Austausch neuronaler Netze (ONNX)) für dein Ultralytics YOLO26-Modell vor der Bereitstellung auf dem NVIDIA Triton Inference Server bietet mehrere wichtige Vorteile:

• Interoperabilität: Das ONNX-Format ermöglicht die Übertragung zwischen verschiedenen Deep-Learning-Frameworks (z. B. PyTorch und TensorFlow) und gewährleistet dadurch eine umfassendere Kompatibilität.
• Optimierung: Viele Bereitstellungsumgebungen, darunter Triton, sind für ONNX optimiert, was schnellere Inferenz und eine höhere Leistung ermöglicht.
• Einfache Bereitstellung: ONNX wird von zahlreichen Frameworks und Plattformen unterstützt und vereinfacht dadurch die Bereitstellung unter verschiedenen Betriebssystemen und in unterschiedlichen Hardwarekonfigurationen.
• Unabhängigkeit vom Framework: Nach der Konvertierung in ONNX ist dein Modell nicht mehr an sein ursprüngliches Framework gebunden und dadurch portabler.
• Standardisierung: ONNX bietet eine standardisierte Darstellung, die dabei hilft, Kompatibilitätsprobleme zwischen verschiedenen KI-Frameworks zu überwinden.

Verwende zum Exportieren deines Modells:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
onnx_file = model.export(format="onnx", dynamic=True)

Du kannst die Schritte in der ONNX-Integrationsanleitung befolgen, um den Vorgang abzuschließen.

Ja, du kannst das Modell Ultralytics YOLO26 auf dem NVIDIA Triton Inference Server für Inferenz verwenden. Sobald dein Modell im Triton-Modellrepository eingerichtet ist und der Server läuft, kannst du es wie folgt laden und für Inferenz verwenden:

from ultralytics import YOLO

# Load the Triton Server model
model = YOLO("http://127.0.0.1:8000/yolo", task="detect")

# Run inference on the server
results = model("path/to/image.jpg")

Mit diesem Ansatz kannst du die Optimierungen von Triton nutzen und gleichzeitig die vertraute Ultralytics-YOLO-Schnittstelle verwenden.

Ultralytics YOLO26 bietet bei der Bereitstellung mehrere einzigartige Vorteile gegenüber TensorFlow- und PyTorch-Modellen:

• Echtzeitleistung: Ultralytics YOLO26 ist für Aufgaben der Objekterkennung in Echtzeit optimiert und bietet eine hochmoderne Genauigkeit sowie hohe Geschwindigkeit. Damit eignet sich das Modell ideal für Anwendungen, die eine Live-Videoanalyse erfordern.
• Einfache Verwendung: Ultralytics YOLO26 lässt sich nahtlos in den Triton Inference Server integrieren und unterstützt verschiedene Exportformate (ONNX, TensorRT), wodurch das Modell für unterschiedliche Bereitstellungsszenarien flexibel einsetzbar ist.
• Erweiterte Funktionen: Das Bereitstellen über Triton fügt dynamisches Laden von Modellen, Modellversionierung und Ensemble-Inferenz hinzu, die für skalierbare und zuverlässige KI-Bereitstellungen unerlässlich sind.
• Vereinfachte API: Die Ultralytics API bietet über verschiedene Bereitstellungsziele hinweg eine einheitliche Schnittstelle und verkürzt dadurch die Einarbeitungs- und Entwicklungszeit.
• Optimierung für Edge-Geräte: Ultralytics YOLO26-Modelle sind auf die Bereitstellung auf Edge-Geräten ausgelegt und bieten selbst auf Geräten mit begrenzten Ressourcen eine hervorragende Leistung.

Weitere Informationen findest du im Leitfaden zum Modelleport, in dem die Bereitstellungsoptionen verglichen werden.