YOLO26 Modelleri için TensorRT Dışa Aktarma#

Bilgisayarlı görü modellerini yüksek performanslı ortamlarda dağıtmak, hız ve verimliliği en üst düzeye çıkaran bir format gerektirebilir. Bu, özellikle modelini NVIDIA GPU'larında dağıtırken geçerlidir.

TensorRT dışa aktarma formatını kullanarak Ultralytics YOLO26 modellerini NVIDIA donanımında hızlı ve verimli çıkarım için geliştirebilirsin. Bu kılavuz, dönüştürme işlemi için takip etmesi kolay adımlar sunar ve derin öğrenme projelerinde NVIDIA'nın gelişmiş teknolojisinden en iyi şekilde yararlanmana yardımcı olur.

TensorRT#

NVIDIA tarafından geliştirilen TensorRT, yüksek hızlı derin öğrenme çıkarımı için tasarlanmış gelişmiş bir yazılım geliştirme kitidir (SDK). Nesne tespiti gibi gerçek zamanlı uygulamalar için oldukça uygundur.

Bu araç seti, derin öğrenme modellerini NVIDIA GPU'ları için optimize eder ve daha hızlı, daha verimli işlemler sağlar. TensorRT modelleri; katman birleştirme, hassasiyet kalibrasyonu (INT8 ve FP16), dinamik tensör bellek yönetimi ve çekirdek otomatik ayarlama gibi teknikleri içeren TensorRT optimizasyonundan geçer. Derin öğrenme modellerini TensorRT formatına dönüştürmek, geliştiricilerin NVIDIA GPU'larının potansiyelinden tam olarak yararlanmasını sağlar.

TensorRT; TensorFlow, PyTorch ve ONNX dahil olmak üzere çeşitli model formatlarıyla uyumluluğuyla bilinir ve geliştiricilere farklı çerçevelerdeki modelleri entegre etmek ve optimize etmek için esnek bir çözüm sunar. Bu çok yönlülük, farklı donanım ve yazılım ortamlarında verimli model dağıtımını mümkün kılar.

TensorRT Modellerinin Temel Özellikleri#

TensorRT modelleri, yüksek hızlı derin öğrenme çıkarımındaki verimliliklerine ve etkililiklerine katkıda bulunan çeşitli temel özellikler sunar:

• Hassasiyet Kalibrasyonu: TensorRT, modellerin belirli doğruluk gereksinimleri için ince ayarlanmasına olanak tanıyan hassasiyet kalibrasyonunu destekler. Buna INT8 ve FP16 gibi azaltılmış hassasiyet formatları da dahildir; bu formatlar kabul edilebilir doğruluk düzeylerini korurken çıkarım hızını daha da artırabilir.

• Katman Birleştirme: TensorRT optimizasyon süreci, bir sinir ağının birden fazla katmanının tek bir işlemde birleştirildiği katman birleştirmeyi içerir. Bu, bellek erişimini ve hesaplamayı en aza indirerek hesaplama yükünü azaltır ve çıkarım hızını artırır.

• Dinamik Tensör Bellek Yönetimi: TensorRT, çıkarım sırasında tensör belleği kullanımını verimli bir şekilde yöneterek bellek yükünü azaltır ve bellek tahsisini optimize eder. Bunun sonucunda GPU belleği daha verimli kullanılır.

• Otomatik Çekirdek Ayarlama: TensorRT, modelin her katmanı için en iyi duruma getirilmiş GPU çekirdeğini seçmek üzere otomatik çekirdek ayarlaması uygular. Bu uyarlamalı yaklaşım, modelin GPU'nun hesaplama gücünden tam olarak yararlanmasını sağlar.

TensorRT'de Dağıtım Seçenekleri#

YOLO26 modellerini TensorRT formatına dışa aktarmak için kullanılan koda bakmadan önce TensorRT modellerinin normalde nerelerde kullanıldığını anlayalım.

TensorRT çeşitli dağıtım seçenekleri sunar ve her seçenek entegrasyon kolaylığı, performans optimizasyonu ve esnekliği farklı biçimlerde dengeler:

• TensorFlow içinde dağıtım: Bu yöntem TensorRT'yi TensorFlow'a entegre ederek optimize edilmiş modellerin tanıdık bir TensorFlow ortamında çalışmasını sağlar. TF-TRT desteklenen ve desteklenmeyen katmanların bir karışımını verimli bir şekilde işleyebildiğinden, bu tür modeller için kullanışlıdır.

• Bağımsız TensorRT Runtime API: Performans açısından kritik uygulamalar için ideal olan ayrıntılı denetim sunar. Daha karmaşıktır ancak desteklenmeyen operatörlerin özel olarak uygulanmasına olanak tanır.

• NVIDIA Triton Inference Server: Çeşitli çerçevelerdeki modelleri destekleyen bir seçenektir. Özellikle bulut veya uç çıkarımı için uygundur ve eş zamanlı model çalıştırma ile model analizi gibi özellikler sunar.

Desteklenen Görevler#

TensorRT dışa aktarımı, yedi Ultralytics görevinin tamamını destekler. Anlamsal segmentasyon ve derinlik tahmini yalnızca bu başlıkları sunan tek aile olan YOLO26 ile kullanılabilir.

YOLO26 Modellerini TensorRT'ye Dışa Aktarma#

YOLO26 modellerini TensorRT formatına dönüştürerek yürütme verimliliğini artırabilir ve performansı optimize edebilirsin.

Kurulum#

Gerekli paketi yüklemek için şunu çalıştır:

# Install the required package for YOLO26
pip install ultralytics

Yükleme süreciyle ilgili ayrıntılı talimatlar ve en iyi uygulamalar için YOLO26 Yükleme kılavuzumuza bak. YOLO26 için gerekli paketleri yüklerken herhangi bir sorunla karşılaşırsan çözümler ve ipuçları için Yaygın Sorunlar kılavuzumuza başvur.

Kullanım#

Kullanım talimatlarına geçmeden önce Ultralytics tarafından sunulan YOLO26 modellerine göz atmayı unutma. Bu, proje gereksinimlerin için en uygun modeli seçmene yardımcı olur.

TensorRT formatı Dışa Aktar, Tahmin ve Doğrula modlarını destekler. Çıkarım ve doğrulama için NVIDIA GPU gerekir. Modelini dışa aktar, ardından çıkarım yapmak veya doğruluğunu doğrulamak için dışa aktarılan modeli yükle.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT format
model.export(format="engine")  # creates 'yolo26n.engine'

from ultralytics import YOLO

# Load the exported TensorRT model
model = YOLO("yolo26n.engine")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported TensorRT model
model = YOLO("yolo26n.engine")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Dışa Aktarma Bağımsız Değişkenleri#

Dışa aktarma süreci hakkında daha fazla ayrıntı için Ultralytics'in dışa aktarma dokümantasyonu sayfasını ziyaret et.

INT8 Niceleme ile TensorRT'ye Dışa Aktarma#

TensorRT ve INT8 hassasiyeti kullanarak Ultralytics YOLO modellerini dışa aktarmak, eğitim sonrası niceleme (PTQ) işlemini gerçekleştirir. TensorRT, eğitim sonrası niceleme (PTQ) için, YOLO modeli temsili girdi verileri üzerinde çıkarım (inference) gerçekleştirirken her bir aktivasyon tensöründeki aktivasyonların dağılımını ölçen kalibrasyonu kullanır ve ardından her bir tensör için ölçek değerlerini tahmin etmek üzere bu dağılımı kullanır. Niceleme adayı olan her aktivasyon tensörünün, kalibrasyon süreciyle çıkarılan ilişkili bir ölçeği vardır. quantize=8 ile niceleme bilincine sahip eğitim (quantization-aware training) üzerinden ince ayar (fine-tune) yapılmış bir kontrol noktası (checkpoint) halihazırda kendi INT8 aralıklarını taşır, bu nedenle bu kontrol noktasının dışa aktarımı bu aralıkları kullanır ve kalibrasyonu atlar.

Örtük olarak niceleştirilmiş ağları işlerken TensorRT, katman yürütme süresini optimize etmek için fırsatçı bir şekilde INT8 kullanır. Bir katman INT8'de daha hızlı çalışıyor ve veri girişleri ile çıkışlarında atanmış niceleme ölçeklerine sahipse, bu katmana INT8 hassasiyetinde bir çekirdek atanır; aksi takdirde TensorRT, söz konusu katman için daha hızlı yürütme süresi sağlayan seçeneğe göre çekirdek için FP32 veya FP16 hassasiyetini seçer.

INT8 Dışa Aktarımını Yapılandırma#

Bir Ultralytics YOLO modeli için dışa aktarma sırasında sağlanan bağımsız değişkenler, dışa aktarılan modelin performansını büyük ölçüde etkiler. Bununla birlikte bunların kullanılabilir cihaz kaynaklarına göre seçilmesi gerekir; varsayılan bağımsız değişkenler çoğu Ampere (veya daha yeni) NVIDIA ayrık GPU'sunda çalışmalıdır. Kullanılan kalibrasyon algoritması GPU dışa aktarımları için "MINMAX_CALIBRATION", NVIDIA Jetson üzerindeki DLA dışa aktarımları için ise "ENTROPY_CALIBRATION_2" olur. Kullanılabilir seçenekler hakkında daha fazla ayrıntıyı TensorRT Developer Guide'da okuyabilirsin. Ultralytics testleri, GPU dışa aktarımları için "MINMAX_CALIBRATION" seçeneğinin en iyi tercih olduğunu ortaya koymuştur ve algoritma dışa aktarma cihazına göre otomatik olarak seçilir.

• workspace : Model ağırlıkları dönüştürülürken cihaz belleği tahsisinin boyutunu (GiB cinsinden) denetler.

  • workspace değerini kalibrasyon gereksinimlerine ve kaynakların kullanılabilirliğine göre ayarla. Daha büyük bir workspace kalibrasyon süresini artırabilse de TensorRT'nin daha geniş bir optimizasyon taktikleri aralığını incelemesine olanak tanır ve model performansını ve doğruluğunu potansiyel olarak artırır. Buna karşılık daha küçük bir workspace kalibrasyon süresini azaltabilir ancak optimizasyon stratejilerini sınırlayarak niceleştirilmiş modelin kalitesini etkileyebilir.

  • Varsayılan değer workspace=None'dır; bu, TensorRT'nin belleği otomatik olarak tahsis etmesini sağlar. Manuel yapılandırmada, kalibrasyon çökerse (uyarı vermeden çıkarsa) bu değerin artırılması gerekebilir.

  • workspace değeri cihazda kullanılabilir bellekten büyükse TensorRT dışa aktarma sırasında UNSUPPORTED_STATE bildirir; bu da workspace değerinin düşürülmesi veya None olarak ayarlanması gerektiği anlamına gelir.

  • workspace maksimum değere ayarlanmışsa ve kalibrasyon başarısız olur veya çökerse otomatik tahsis için None kullanmayı ya da bellek gereksinimlerini azaltmak üzere imgsz ve batch değerlerini düşürmeyi düşün.

  • INT8 kalibrasyonunun her cihaza özgü olduğunu unutma; kalibrasyon için "üst düzey" bir GPU ödünç almak, çıkarım başka bir cihazda çalıştırıldığında düşük performansa yol açabilir.

• batch : Çıkarım için kullanılacak maksimum batch boyutudur. Çıkarım sırasında daha küçük batch'ler kullanılabilir, ancak çıkarım belirtilen değerden daha büyük batch'leri kabul etmez.

NVIDIA tarafından yapılan deneyler, INT8 niceleme kalibrasyonu ile modelinize ait verileri temsil eden en az 500 kalibrasyon görüntüsü kullanmanızı önermelerine yol açmıştır. Bu bir kılavuz ilkedir ve kesin bir gereklilik değildir, veri kümeniz için iyi bir performans elde etmek amacıyla neyin gerekli olduğu konusunda deney yapmanız gerekecektir. Kalibrasyon verileri TensorRT ile INT8 kalibrasyonu için gerekli olduğundan, TensorRT için quantize=8 konumunda quantize=8 (eğitim sonrası niceleme) ile eğitilmemiş bir kontrol noktası (checkpoint) dışa aktarılırken data argümanını kullandığınızdan emin olun ve kalibrasyon yapmak için doğrulama görüntülerinden yararlanacak olan data="my_dataset.yaml" argümanını kullanın. quantize=8 ile eğitilmiş bir kontrol noktası (checkpoint) kalibrasyonu atlar, bu nedenle bu kontrol noktası için data argümanını atlayın. INT8 niceleme ile TensorRT'ye dışa aktarımda data için hiçbir değer iletilmediğinde, bir hata fırlatmak yerine model görevine dayalı "küçük" örnek veri kümelerinden biri varsayılan olarak kullanılacaktır.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    quantize=8,
    data="coco.yaml",  # (4)!
)

# Load the exported TensorRT INT8 model
model = YOLO("yolo26n.engine", task="detect")

# Run inference
result = model.predict("https://ultralytics.com/images/bus.jpg")

YOLO'yu TensorRT INT8 ile Kullanmanın Avantajları#

• Azaltılmış model boyutu: FP32'den INT8'e niceleme, model boyutunu diskte veya bellekte 4 kat azaltabilir. Bu da daha hızlı indirme süreleri, daha düşük depolama gereksinimleri ve model dağıtılırken daha küçük bellek ayak izi sağlar.

• Daha düşük güç tüketimi: INT8 ile dışa aktarılan YOLO modellerindeki azaltılmış hassasiyetli işlemler, özellikle pille çalışan cihazlarda FP32 modellere kıyasla daha az güç tüketebilir.

• Geliştirilmiş çıkarım hızları: TensorRT modeli hedef donanım için optimize eder ve bu da GPU'larda, gömülü cihazlarda ve hızlandırıcılarda potansiyel olarak daha yüksek çıkarım hızları sağlar.

YOLO'yu TensorRT INT8 ile Kullanmanın Dezavantajları#

• Değerlendirme metriklerinde düşüş: Daha düşük hassasiyet kullanmak, mAP, Precision, Recall veya model performansını değerlendirmek için kullanılan diğer metriklerin bir miktar daha kötü olabileceği anlamına gelir. Sigmoid katmanları skor kalibrasyonunu korumak için daha yüksek hassasiyette tutulur; ancak INT8 yine de güven değerlerini değiştirebilir. Bu nedenle çalışma eşiğini INT8 modelinin kendi F1 eğrisinden seç. INT8 ile dışa aktarırken çeşitli cihazlardan alınan küçük örneklerde mAP50 ve mAP50-95 farklarını karşılaştırmak için Performans sonuçları bölümüne bak.

• Artan geliştirme süreleri: Veri kümesi ve cihaz için INT8 kalibrasyonundaki "optimal" ayarları bulmak, önemli miktarda test gerektirebilir.

• Donanım bağımlılığı: Kalibrasyon ve performans kazanımları büyük ölçüde donanıma bağlı olabilir ve model ağırlıkları daha az taşınabilir hale gelir.

Ultralytics YOLO TensorRT Dışa Aktarma Performansı#

NVIDIA A100#

Tüketici GPU'ları#

Gömülü Cihazlar#

Değerlendirme yöntemleri#

Bu modellerin nasıl dışa aktarıldığı ve test edildiği hakkında bilgi almak için aşağıdaki bölümleri genişlet.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=16)

# TensorRT INT8 with calibration `data` (i.e. COCO, ImageNet, or DOTAv1 for appropriate model task)
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=8, data="coco8.yaml"
)

import cv2

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 of the same image
        verbose=False,
        device="cuda",
    )

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet, or DOTAv1 for appropriate model task
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

Dışa Aktarılan YOLO26 TensorRT Modellerini Dağıtma#

Ultralytics YOLO26 modellerini TensorRT biçimine başarıyla dışa aktardıktan sonra artık bunları dağıtmaya hazırsın. TensorRT modellerini çeşitli ortamlarda dağıtmayla ilgili ayrıntılı talimatlar için aşağıdaki kaynaklara göz at:

• Ultralytics'i Triton Server ile Dağıtma: NVIDIA'nın Triton Inference (eski adıyla TensorRT Inference) Server'ını özellikle Ultralytics YOLO modelleriyle kullanmaya yönelik kılavuzumuz.

• NVIDIA TensorRT ile Derin Sinir Ağlarını Dağıtma: Bu makale, derin sinir ağlarını GPU tabanlı dağıtım platformlarında verimli bir şekilde dağıtmak için NVIDIA TensorRT'nin nasıl kullanılacağını açıklar.

• NVIDIA Tabanlı Bilgisayarlar için Uçtan Uca Yapay Zekâ: NVIDIA TensorRT Dağıtımı: Bu blog yazısı, NVIDIA tabanlı bilgisayarlarda yapay zekâ modellerini optimize etmek ve dağıtmak için NVIDIA TensorRT'nin kullanımını açıklar.

• NVIDIA TensorRT için GitHub Deposu: Bu, NVIDIA TensorRT için kaynak kodunu ve belgeleri içeren resmi GitHub deposudur.

Özet#

Bu kılavuzda, Ultralytics YOLO26 modellerini NVIDIA'nın TensorRT model biçimine dönüştürmeye odaklandık. Bu dönüştürme adımı, YOLO26 modellerinin verimliliğini ve hızını artırarak onları çeşitli dağıtım ortamlarında daha etkili ve uygun hâle getirmek için kritik öneme sahiptir.

Kullanım ayrıntıları hakkında daha fazla bilgi için TensorRT resmî belgelerine göz at.

Ek Ultralytics YOLO26 entegrasyonlarını merak ediyorsan entegrasyon kılavuzu sayfamız, kapsamlı ve bilgilendirici kaynaklar ile içgörüler sunar.

SSS#