Triton Inference Server mit Ultralytics YOLO26#

Die Einrichtung von Ultralytics YOLO26 mit dem NVIDIA Triton Inference Server umfasst einige wichtige Schritte:

1. YOLO26 ins ONNX-Format exportieren:

   from ultralytics import YOLO
   
   # Ein Modell laden
   model = YOLO("yolo26n.pt")  # Ein offizielles Modell laden
   
   # Exportiere das Modell in das ONNX-Format
   onnx_file = model.export(format="onnx", dynamic=True)

2. Triton-Modellrepository einrichten:

   from pathlib import Path
   
   # Pfade festlegen
   model_name = "yolo"
   triton_repo_path = Path("tmp") / "triton_repo"
   triton_model_path = triton_repo_path / model_name
   
   # Verzeichnisse erstellen
   (triton_model_path / "1").mkdir(parents=True, exist_ok=True)
   Path(onnx_file).rename(triton_model_path / "1" / "model.onnx")
   (triton_model_path / "config.pbtxt").touch()

3. Triton-Server starten:

   import contextlib
   import subprocess
   import time
   
   from tritonclient.http import InferenceServerClient
   
   # Define image https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver
   tag = "nvcr.io/nvidia/tritonserver:26.02-py3"
   
   runtime = "docker"  # set to "podman" to use Podman
   subprocess.call(f"{runtime} pull {tag}", shell=True)
   
   # CDI GPU request works identically on Docker and Podman
   gpu_flags = "--device nvidia.com/gpu=all"
   
   container_name = "triton_server"
   subprocess.call(
       f"{runtime} run -d --rm --name {container_name} {gpu_flags} -v {triton_repo_path.absolute()}:/models:z -p 8000:8000 {tag} tritonserver --model-repository=/models",
       shell=True,
   )
   
   triton_client = InferenceServerClient(url="127.0.0.1:8000", verbose=False, ssl=False)
   
   for _ in range(10):
       with contextlib.suppress(Exception):
           assert triton_client.is_model_ready(model_name)
           break
       time.sleep(1)

Mit dieser Einrichtung kannst du Ultralytics YOLO26-Modelle effizient und in großem Umfang auf dem Triton Inference Server bereitstellen, um eine leistungsstarke KI-Modellinferenz zu erzielen.

Die Integration von Ultralytics YOLO26 mit dem NVIDIA Triton Inference Server bietet mehrere Vorteile:

• Skalierbare KI-Inferenz: Triton ermöglicht die Bereitstellung mehrerer Modelle über eine einzelne Serverinstanz und unterstützt das dynamische Laden und Entladen von Modellen. Dadurch lässt sich der Server für verschiedene KI-Workloads flexibel skalieren.
• Hohe Leistung: Der für NVIDIA-GPUs optimierte Triton Inference Server gewährleistet schnelle Inferenz und eignet sich ideal für Echtzeitanwendungen wie die Objekterkennung.
• Ensemble und Modellversionierung: Der Ensemble-Modus von Triton ermöglicht die Kombination mehrerer Modelle zur Verbesserung der Ergebnisse. Die Modellversionierung unterstützt A/B-Tests und schrittweise Aktualisierungen.
• Automatisches Batching: Triton gruppiert automatisch mehrere Inferenzanfragen und verbessert so den Durchsatz erheblich und reduziert die Latenz.
• Vereinfachte Bereitstellung: KI-Workflows lassen sich schrittweise optimieren, ohne dass das gesamte System umgebaut werden muss. So wird eine effiziente Skalierung erleichtert.

Ausführliche Anweisungen zum Einrichten und Ausführen von Ultralytics YOLO26 mit Triton findest du unter Triton Inference Server einrichten und Inferenz ausführen.

Das ONNX-Format (Austauschformat für neuronale Netze) bietet für dein Ultralytics YOLO26-Modell vor der Bereitstellung auf dem NVIDIA Triton Inference Server mehrere wichtige Vorteile:

• Interoperabilität: Das ONNX-Format ermöglicht die Übertragung zwischen verschiedenen Deep-Learning-Frameworks (wie PyTorch und TensorFlow) und gewährleistet so eine breitere Kompatibilität.
• Optimierung: Viele Bereitstellungsumgebungen, darunter Triton, sind für ONNX optimiert und ermöglichen dadurch schnellere Inferenz und bessere Leistung.
• Einfache Bereitstellung: ONNX wird von zahlreichen Frameworks und Plattformen unterstützt und vereinfacht dadurch die Bereitstellung unter verschiedenen Betriebssystemen und Hardwarekonfigurationen.
• Unabhängigkeit vom Framework: Nach der Konvertierung ins ONNX-Format ist dein Modell nicht mehr an sein ursprüngliches Framework gebunden und lässt sich dadurch leichter portieren.
• Standardisierung: ONNX bietet eine standardisierte Darstellung, mit der sich Kompatibilitätsprobleme zwischen verschiedenen KI-Frameworks überwinden lassen.

Verwende zum Exportieren deines Modells:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
onnx_file = model.export(format="onnx", dynamic=True)

Folge den Schritten in der Integrationsanleitung für ONNX, um den Vorgang abzuschließen.

Ja, du kannst mit dem Modell Ultralytics YOLO26 auf dem NVIDIA Triton Inference Server Inferenz ausführen. Sobald dein Modell im Triton Model Repository eingerichtet ist und der Server läuft, kannst du das Modell wie folgt laden und Inferenz ausführen:

from ultralytics import YOLO

# Das Triton-Servermodell laden
model = YOLO("http://127.0.0.1:8000/yolo", task="detect")

# Inferenz auf dem Server ausführen
results = model("path/to/image.jpg")

Mit diesem Ansatz kannst du die Optimierungen von Triton nutzen und gleichzeitig die vertraute Ultralytics-YOLO-Schnittstelle verwenden.

Ultralytics YOLO26 bietet bei der Bereitstellung einige besondere Vorteile gegenüber TensorFlow- und PyTorch-Modellen:

• Echtzeit-Leistung: Ultralytics YOLO26 ist für Objekterkennung in Echtzeit optimiert und bietet modernste Genauigkeit sowie hohe Geschwindigkeit. Damit eignet es sich ideal für Anwendungen, die eine Live-Videoanalyse erfordern.
• Einfache Bedienung: Ultralytics YOLO26 lässt sich nahtlos in den Triton Inference Server integrieren und unterstützt verschiedene Exportformate (ONNX, TensorRT), wodurch es sich flexibel für unterschiedliche Bereitstellungsszenarien einsetzen lässt.
• Erweiterte Funktionen: Die Bereitstellung über Triton ermöglicht dynamisches Laden von Modellen, Modellversionierung und Ensemble-Inferenz – wichtige Funktionen für skalierbare und zuverlässige KI-Bereitstellungen.
• Vereinfachte API: Die Ultralytics-API bietet eine einheitliche Schnittstelle für verschiedene Bereitstellungsziele und verkürzt so die Einarbeitungszeit und Entwicklungsdauer.
• Optimierung für Edge-Geräte: Die Modelle Ultralytics YOLO26 sind für den Einsatz auf Edge-Geräten ausgelegt und bieten auch auf Geräten mit begrenzten Ressourcen eine hervorragende Leistung.

Weitere Informationen findest du im Leitfaden zum Modellexport, in dem die Bereitstellungsoptionen verglichen werden.