Ultralytics YOLO26 ile Triton Inference Server#

Ultralytics YOLO26'yı NVIDIA Triton Inference Server ile kurmak birkaç temel adım içerir:

1. YOLO26'yı ONNX biçimine aktar:

   from ultralytics import YOLO
   
   # Load a model
   model = YOLO("yolo26n.pt")  # load an official model
   
   # Export the model to ONNX format
   onnx_file = model.export(format="onnx", dynamic=True)

2. Triton Model Repository'yi kur:

   from pathlib import Path
   
   # Define paths
   model_name = "yolo"
   triton_repo_path = Path("tmp") / "triton_repo"
   triton_model_path = triton_repo_path / model_name
   
   # Create directories
   (triton_model_path / "1").mkdir(parents=True, exist_ok=True)
   Path(onnx_file).rename(triton_model_path / "1" / "model.onnx")
   (triton_model_path / "config.pbtxt").touch()

3. Triton Server'ı çalıştır:

   import contextlib
   import subprocess
   import time
   
   from tritonclient.http import InferenceServerClient
   
   # Define image https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver
   tag = "nvcr.io/nvidia/tritonserver:26.02-py3"
   
   runtime = "docker"  # set to "podman" to use Podman
   subprocess.call(f"{runtime} pull {tag}", shell=True)
   
   # CDI GPU request works identically on Docker and Podman
   gpu_flags = "--device nvidia.com/gpu=all"
   
   container_name = "triton_server"
   subprocess.call(
       f"{runtime} run -d --rm --name {container_name} {gpu_flags} -v {triton_repo_path.absolute()}:/models:z -p 8000:8000 {tag} tritonserver --model-repository=/models",
       shell=True,
   )
   
   triton_client = InferenceServerClient(url="127.0.0.1:8000", verbose=False, ssl=False)
   
   for _ in range(10):
       with contextlib.suppress(Exception):
           assert triton_client.is_model_ready(model_name)
           break
       time.sleep(1)

Bu kurulum, yüksek performanslı yapay zekâ modeli çıkarımı için Ultralytics YOLO26 modellerini Triton Inference Server üzerinde büyük ölçekte verimli şekilde dağıtmana yardımcı olabilir.

Ultralytics YOLO26'yı NVIDIA Triton Inference Server ile entegre etmek çeşitli avantajlar sunar:

• Ölçeklenebilir yapay zekâ çıkarımı: Triton, tek bir sunucu örneğinden birden çok model sunmana ve modelleri dinamik olarak yükleyip kaldırmana olanak tanır; bu da onu çeşitli yapay zekâ iş yükleri için son derece ölçeklenebilir hâle getirir.
• Yüksek performans: NVIDIA GPU'ları için optimize edilen Triton Inference Server, yüksek hızlı çıkarım işlemleri sunar ve nesne tespiti gibi gerçek zamanlı uygulamalar için idealdir.
• Ensemble ve model sürümleme: Triton'un ensemble modu, sonuçları iyileştirmek için birden çok modeli birleştirmene olanak tanır; model sürümleme özelliği ise A/B testlerini ve aşamalı güncellemeleri destekler.
• Otomatik batch oluşturma: Triton, birden çok çıkarım isteğini otomatik olarak birlikte gruplandırarak throughput'u önemli ölçüde artırır ve gecikmeyi azaltır.
• Basitleştirilmiş dağıtım: Yapay zekâ iş akışlarını tamamen yeniden yapılandırmaya gerek kalmadan kademeli olarak optimize etmeyi sağlayarak verimli ölçeklendirmeyi kolaylaştırır.

Ultralytics YOLO26'yı Triton ile kurup çalıştırma hakkında ayrıntılı talimatlar için Triton Inference Server'ı kurma ve Çıkarımı çalıştırma bölümlerine bak.

Ultralytics YOLO26 modelin için NVIDIA Triton Inference Server üzerinde dağıtımdan önce ONNX (Açık Sinir Ağı Değişimi) biçimini kullanmak çeşitli önemli avantajlar sunar:

• Birlikte çalışabilirlik: ONNX biçimi, farklı derin öğrenme framework'leri (PyTorch ve TensorFlow gibi) arasında aktarımı destekleyerek daha geniş uyumluluk sağlar.
• Optimizasyon: Triton dâhil birçok dağıtım ortamı ONNX için optimize edilmiştir; bu da daha hızlı çıkarım ve daha iyi performans sağlar.
• Dağıtım kolaylığı: ONNX, framework'ler ve platformlar genelinde geniş ölçüde desteklenir; bu da çeşitli işletim sistemleri ve donanım yapılandırmalarında dağıtım sürecini basitleştirir.
• Framework bağımsızlığı: ONNX'e dönüştürüldükten sonra modelin artık özgün framework'üne bağlı kalmaz ve daha taşınabilir hâle gelir.
• Standartlaştırma: ONNX, farklı yapay zekâ framework'leri arasındaki uyumluluk sorunlarının aşılmasına yardımcı olan standartlaştırılmış bir gösterim sunar.

Modelini aktarmak için şunu kullan:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
onnx_file = model.export(format="onnx", dynamic=True)

İşlemi tamamlamak için ONNX entegrasyon kılavuzundaki adımları izleyebilirsin.

Evet, NVIDIA Triton Inference Server üzerinde Ultralytics YOLO26 modelini kullanarak çıkarım çalıştırabilirsin. Modelin Triton Model Repository'ye kurulduktan ve sunucu çalışmaya başladıktan sonra modelini aşağıdaki şekilde yükleyip çıkarım çalıştırabilirsin:

from ultralytics import YOLO

# Load the Triton Server model
model = YOLO("http://127.0.0.1:8000/yolo", task="detect")

# Run inference on the server
results = model("path/to/image.jpg")

Bu yaklaşım, tanıdık Ultralytics YOLO arayüzünü kullanırken Triton'un optimizasyonlarından yararlanmanı sağlar.

Ultralytics YOLO26, dağıtım açısından TensorFlow ve PyTorch modellerine kıyasla çeşitli benzersiz avantajlar sunar:

• Gerçek zamanlı performans: Gerçek zamanlı nesne tespiti görevleri için optimize edilen Ultralytics YOLO26, en son teknoloji doğruluk ve hız sunarak canlı video analizi gerektiren uygulamalar için ideal hâle gelir.
• Kullanım kolaylığı: Ultralytics YOLO26, Triton Inference Server ile sorunsuz şekilde entegre olur ve çeşitli dışa aktarma biçimlerini (ONNX, TensorRT) destekleyerek farklı dağıtım senaryolarında esneklik sağlar.
• Gelişmiş Özellikler: Triton aracılığıyla sunum yapmak; ölçeklenebilir ve güvenilir yapay zeka dağıtımları için çok önemli olan dinamik model yükleme, model sürümleme ve topluluk çıkarımı ekler.
• Basitleştirilmiş API: Ultralytics API'si farklı dağıtım hedefleri arasında tutarlı bir arayüz sunarak öğrenme eğrisini ve geliştirme süresini azaltır.
• Uç optimizasyonu: Ultralytics YOLO26 modelleri uç cihazlarda dağıtım göz önünde bulundurularak tasarlanmıştır ve kaynakları sınırlı cihazlarda bile mükemmel performans sunar.

Daha fazla ayrıntı için model dışa aktarma kılavuzunda dağıtım seçeneklerini karşılaştır.