Triton Inference Server mit Ultralytics YOLO26#

Das Einrichten von Ultralytics YOLO26 mit dem NVIDIA Triton Inference Server umfasst einige wesentliche Schritte:

1. Exportiere YOLO26 in das ONNX-Format:

   from ultralytics import YOLO
   
   # Load a model
   model = YOLO("yolo26n.pt")  # load an official model
   
   # Export the model to ONNX format
   onnx_file = model.export(format="onnx", dynamic=True)

2. Richte das Triton-Modell-Repository ein:

   from pathlib import Path
   
   # Define paths
   model_name = "yolo"
   triton_repo_path = Path("tmp") / "triton_repo"
   triton_model_path = triton_repo_path / model_name
   
   # Create directories
   (triton_model_path / "1").mkdir(parents=True, exist_ok=True)
   Path(onnx_file).rename(triton_model_path / "1" / "model.onnx")
   (triton_model_path / "config.pbtxt").touch()

3. Starte den Triton-Server:

   import contextlib
   import subprocess
   import time
   
   from tritonclient.http import InferenceServerClient
   
   # Define image https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver
   tag = "nvcr.io/nvidia/tritonserver:26.02-py3"
   
   runtime = "docker"  # set to "podman" to use Podman
   subprocess.call(f"{runtime} pull {tag}", shell=True)
   
   # CDI GPU request works identically on Docker and Podman
   gpu_flags = "--device nvidia.com/gpu=all"
   
   container_name = "triton_server"
   subprocess.call(
       f"{runtime} run -d --rm --name {container_name} {gpu_flags} -v {triton_repo_path.absolute()}:/models:z -p 8000:8000 {tag} tritonserver --model-repository=/models",
       shell=True,
   )
   
   triton_client = InferenceServerClient(url="127.0.0.1:8000", verbose=False, ssl=False)
   
   for _ in range(10):
       with contextlib.suppress(Exception):
           assert triton_client.is_model_ready(model_name)
           break
       time.sleep(1)

Dieses Setup hilft dir dabei, Ultralytics YOLO26-Modelle im großen Maßstab auf dem Triton Inference Server für eine leistungsstarke KI-Modell-Inferenz effizient bereitzustellen.

Die Integration von Ultralytics YOLO26 mit dem NVIDIA Triton Inference Server bietet mehrere Vorteile:

• Skalierbare KI-Inferenz: Triton ermöglicht die Bereitstellung mehrerer Modelle von einer einzigen Serverinstanz aus und unterstützt das dynamische Laden und Entladen von Modellen, was es für verschiedene KI-Workloads hochgradig skalierbar macht.
• Hohe Leistung: Der für NVIDIA-GPUs optimierte Triton Inference Server gewährleistet Hochgeschwindigkeits-Inferenzoperationen, perfekt für Echtzeitanwendungen wie die Objekterkennung.
• Ensemble- und Modell-Versionierung: Der Ensemble-Modus von Triton ermöglicht die Kombination mehrerer Modelle zur Verbesserung der Ergebnisse, und die Modell-Versionierung unterstützt A/B-Tests und Rolling Updates.
• Automatisches Batching: Triton gruppiert automatisch mehrere Inferenzanfragen, was den Durchsatz erheblich verbessert und die Latenz verringert.
• Vereinfachte Bereitstellung: Schrittweise Optimierung von KI-Workflows ohne die Notwendigkeit vollständiger Systemüberholungen, was eine effiziente Skalierung erleichtert.

Detaillierte Anweisungen zum Einrichten und Ausführen von Ultralytics YOLO26 mit Triton findest du unter Triton Inference Server einrichten und Inferenz ausführen.

Die Verwendung des ONNX-Formats (Open Neural Network Exchange) für dein Ultralytics YOLO26-Modell vor der Bereitstellung auf dem NVIDIA Triton Inference Server bietet mehrere wesentliche Vorteile:

• Interoperabilität: Das ONNX-Format unterstützt den Transfer zwischen verschiedenen Deep-Learning-Frameworks (wie PyTorch, TensorFlow) und gewährleistet so eine breitere Kompatibilität.
• Optimierung: Viele Bereitstellungsumgebungen, einschließlich Triton, sind auf ONNX optimiert, was eine schnellere Inferenz und eine bessere Leistung ermöglicht.
• Einfache Bereitstellung: ONNX wird von vielen Frameworks und Plattformen unterstützt, was den Bereitstellungsprozess in verschiedenen Betriebssystemen und Hardwarekonfigurationen vereinfacht.
• Framework-Unabhängigkeit: Sobald dein Modell in ONNX konvertiert wurde, ist es nicht mehr an sein ursprüngliches Framework gebunden, was es portabler macht.
• Standardisierung: ONNX bietet eine standardisierte Repräsentation, die hilft, Kompatibilitätsprobleme zwischen verschiedenen KI-Frameworks zu überwinden.

Um dein Modell zu exportieren, verwende:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
onnx_file = model.export(format="onnx", dynamic=True)

Du kannst den Schritten im ONNX-Integrationsleitfaden folgen, um den Vorgang abzuschließen.

Ja, du kannst Inferenz mit dem Ultralytics YOLO26-Modell auf dem NVIDIA Triton Inference Server ausführen. Sobald dein Modell im Triton-Modellrepository eingerichtet ist und der Server läuft, kannst du dein Modell wie folgt laden und Inferenz darauf ausführen:

from ultralytics import YOLO

# Load the Triton Server model
model = YOLO("http://127.0.0.1:8000/yolo", task="detect")

# Run inference on the server
results = model("path/to/image.jpg")

Dieser Ansatz ermöglicht es dir, die Optimierungen von Triton zu nutzen und gleichzeitig die vertraute Ultralytics YOLO-Schnittstelle beizubehalten.

Ultralytics YOLO26 bietet im Vergleich zu TensorFlow- und PyTorch-Modellen für die Bereitstellung mehrere einzigartige Vorteile:

• Echtzeitleistung: Ultralytics YOLO26 ist für Echtzeit-Objekterkennungsaufgaben optimiert und bietet modernste Genauigkeit und Geschwindigkeit, wodurch es ideal für Anwendungen ist, die Live-Videoanalysen erfordern.
• Benutzerfreundlichkeit: Ultralytics YOLO26 lässt sich nahtlos in den Triton Inference Server integrieren und unterstützt verschiedene Exportformate (ONNX, TensorRT), wodurch es für verschiedene Bereitstellungsszenarien flexibel ist.
• Erweiterte Funktionen: Ultralytics YOLO26 enthält Funktionen wie dynamisches Laden von Modellen, Modellversionierung und Ensemble-Inferenz, die für skalierbare und zuverlässige KI-Bereitstellungen von entscheidender Bedeutung sind.
• Vereinfachte API: Die Ultralytics-API bietet eine konsistente Schnittstelle für verschiedene Bereitstellungsziele, was die Lernkurve verkürzt und die Entwicklungszeit reduziert.
• Edge-Optimierung: Ultralytics YOLO26-Modelle sind auf Edge-Bereitstellung ausgelegt und bieten auch auf ressourcenbeschränkten Geräten eine hervorragende Leistung.

Weitere Details findest du im Vergleich der Bereitstellungsoptionen im Modell-Exportleitfaden.