Ultralytics YOLO26 ile Triton Inference Server#

Ultralytics YOLO26 modelini NVIDIA Triton Inference Server ile kurmak birkaç temel adımdan oluşur:

1. YOLO26'yı ONNX biçiminde dışa aktar:

   from ultralytics import YOLO
   
   # Bir model yükle
   model = YOLO("yolo26n.pt")  # Resmî bir modeli yükle
   
   # Modeli ONNX biçimine aktar
   onnx_file = model.export(format="onnx", dynamic=True)

2. Triton Model Deposunu kur:

   from pathlib import Path
   
   # Yolları tanımla
   model_name = "yolo"
   triton_repo_path = Path("tmp") / "triton_repo"
   triton_model_path = triton_repo_path / model_name
   
   # Dizinleri oluştur
   (triton_model_path / "1").mkdir(parents=True, exist_ok=True)
   Path(onnx_file).rename(triton_model_path / "1" / "model.onnx")
   (triton_model_path / "config.pbtxt").touch()

3. Triton Server'ı çalıştır:

   import contextlib
   import subprocess
   import time
   
   from tritonclient.http import InferenceServerClient
   
   # Define image https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver
   tag = "nvcr.io/nvidia/tritonserver:26.02-py3"
   
   runtime = "docker"  # set to "podman" to use Podman
   subprocess.call(f"{runtime} pull {tag}", shell=True)
   
   # CDI GPU request works identically on Docker and Podman
   gpu_flags = "--device nvidia.com/gpu=all"
   
   container_name = "triton_server"
   subprocess.call(
       f"{runtime} run -d --rm --name {container_name} {gpu_flags} -v {triton_repo_path.absolute()}:/models:z -p 8000:8000 {tag} tritonserver --model-repository=/models",
       shell=True,
   )
   
   triton_client = InferenceServerClient(url="127.0.0.1:8000", verbose=False, ssl=False)
   
   for _ in range(10):
       with contextlib.suppress(Exception):
           assert triton_client.is_model_ready(model_name)
           break
       time.sleep(1)

Bu kurulum, yüksek performanslı yapay zekâ modeli çıkarımı için Ultralytics YOLO26 modellerini Triton Inference Server'da ölçekli bir şekilde verimli olarak dağıtmana yardımcı olabilir.

Ultralytics YOLO26 modelini NVIDIA Triton Inference Server ile entegre etmek çeşitli avantajlar sağlar:

• Ölçeklenebilir yapay zekâ çıkarımı: Triton, tek bir sunucu örneğinden birden fazla modelin sunulmasına olanak tanır. Modellerin dinamik olarak yüklenip kaldırılmasını desteklediğinden farklı yapay zekâ iş yükleri için yüksek ölçeklenebilirlik sağlar.
• Yüksek performans: NVIDIA GPU'ları için optimize edilen Triton Inference Server, nesne algılama gibi gerçek zamanlı uygulamalar için ideal, yüksek hızlı çıkarım işlemleri sağlar.
• Topluluk ve model sürümleme: Triton'ın topluluk modu, sonuçları iyileştirmek için birden fazla modeli birleştirmeyi sağlar; model sürümleme özelliği ise A/B testlerini ve aşamalı güncellemeleri destekler.
• Otomatik gruplama: Triton, birden fazla çıkarım isteğini otomatik olarak gruplandırarak iş hacmini önemli ölçüde artırır ve gecikmeyi azaltır.
• Basitleştirilmiş dağıtım: Yapay zekâ iş akışlarını tüm sistemi baştan sona yenilemeyi gerektirmeden kademeli olarak optimize ederek verimli ölçeklendirmeyi kolaylaştırır.

Ultralytics YOLO26 modelini Triton ile kurma ve çalıştırma hakkında ayrıntılı talimatlar için Triton Inference Server'ı Kurma ve Çıkarımı Çalıştırma bölümlerine göz at.

Ultralytics YOLO26 modelini NVIDIA Triton Inference Server üzerinde dağıtmadan önce ONNX (Açık Sinir Ağı Değişimi) biçimini kullanmak çeşitli temel avantajlar sağlar:

• Birlikte çalışabilirlik: ONNX biçimi, farklı derin öğrenme çerçeveleri (PyTorch, TensorFlow gibi) arasında aktarımı destekleyerek daha geniş uyumluluk sağlar.
• Optimizasyon: Triton dâhil olmak üzere birçok dağıtım ortamı ONNX için optimizasyon yaparak daha hızlı çıkarım ve daha iyi performans sağlar.
• Kolay dağıtım: ONNX, çeşitli işletim sistemlerinde ve donanım yapılandırmalarında dağıtım sürecini basitleştirerek çerçeveler ve platformlar genelinde yaygın biçimde desteklenir.
• Çerçeveden bağımsızlık: ONNX'e dönüştürüldükten sonra modelin orijinal çerçevesine bağlı kalmaz ve daha taşınabilir hâle gelir.
• Standartlaştırma: ONNX, farklı AI çerçeveleri arasındaki uyumluluk sorunlarının aşılmasına yardımcı olan standartlaştırılmış bir gösterim sunar.

Modelini dışa aktarmak için şunu kullan:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
onnx_file = model.export(format="onnx", dynamic=True)

İşlemi tamamlamak için ONNX entegrasyon kılavuzundaki adımları izleyebilirsin.

Evet, Ultralytics YOLO26 modeliyle NVIDIA Triton Inference Server üzerinde çıkarım yapabilirsin. Modelini Triton Model Repository'ye ekleyip sunucuyu çalıştırdıktan sonra modelini aşağıdaki gibi yükleyebilir ve çıkarım yapabilirsin:

from ultralytics import YOLO

# Triton Server modelini yükle
model = YOLO("http://127.0.0.1:8000/yolo", task="detect")

# Sunucuda çıkarımı çalıştır
results = model("path/to/image.jpg")

Bu yaklaşım, tanıdık Ultralytics YOLO arayüzünü kullanırken Triton'un optimizasyonlarından yararlanmanı sağlar.

Ultralytics YOLO26, dağıtım için TensorFlow ve PyTorch modellerine kıyasla çeşitli benzersiz avantajlar sunar:

• Gerçek Zamanlı Performans: Gerçek zamanlı nesne algılama görevleri için optimize edilen Ultralytics YOLO26, en gelişmiş doğruluk ve hızı sunarak canlı video analitiği gerektiren uygulamalar için idealdir.
• Kullanım Kolaylığı: Ultralytics YOLO26, Triton Inference Server ile sorunsuz biçimde entegre olur ve çeşitli dışa aktarma biçimlerini (ONNX, TensorRT) destekleyerek farklı dağıtım senaryolarında esneklik sağlar.
• Gelişmiş Özellikler: Triton üzerinden sunum; ölçeklenebilir ve güvenilir AI dağıtımları için kritik olan dinamik model yükleme, model sürümleme ve toplu çıkarım özelliklerini ekler.
• Basitleştirilmiş API: Ultralytics API, farklı dağıtım hedeflerinde tutarlı bir arayüz sunarak öğrenme süresini ve geliştirme süresini kısaltır.
• Uçta Optimizasyon: Ultralytics YOLO26 modelleri uçta dağıtım düşünülerek tasarlanmıştır ve kaynakları kısıtlı cihazlarda bile mükemmel performans sunar.

Daha fazla bilgi için dağıtım seçeneklerini model dışa aktarma kılavuzunda karşılaştır.