YOLO26 Modelleri için TensorRT Dışa Aktarımı#

Bilgisayarlı görü modellerini yüksek performanslı ortamlara dağıtmak, hızı ve verimliliği en üst düzeye çıkaran bir biçim gerektirebilir. Modelini NVIDIA GPU'larında dağıtırken bu özellikle önemlidir.

TensorRT dışa aktarma biçimini kullanarak Ultralytics YOLO26 modellerini NVIDIA donanımında hızlı ve verimli çıkarım için geliştirebilirsin. Bu kılavuz, dönüştürme sürecini kolayca uygulayabileceğin adımlarla açıklar ve derin öğrenme projelerinde NVIDIA'nın gelişmiş teknolojisinden en iyi şekilde yararlanmana yardımcı olur.

TensorRT#

NVIDIA tarafından geliştirilen TensorRT, yüksek hızlı derin öğrenme çıkarımı için tasarlanmış gelişmiş bir yazılım geliştirme kitidir (SDK). Nesne algılama gibi gerçek zamanlı uygulamalar için oldukça uygundur.

Bu araç takımı, derin öğrenme modellerini NVIDIA GPU'ları için optimize ederek daha hızlı ve verimli işlemler sağlar. TensorRT modelleri; katman birleştirme, hassasiyet kalibrasyonu (INT8 ve FP16), dinamik tensör bellek yönetimi ve çekirdek otomatik ayarı gibi teknikleri içeren TensorRT optimizasyonundan geçer. Derin öğrenme modellerini TensorRT biçimine dönüştürmek, geliştiricilerin NVIDIA GPU'larının potansiyelinden tam olarak yararlanmasını sağlar.

TensorRT; TensorFlow, PyTorch ve ONNX gibi çeşitli model biçimleriyle uyumluluğuyla bilinir ve geliştiricilere farklı çerçevelerdeki modelleri entegre edip optimize etmek için esnek bir çözüm sunar. Bu çok yönlülük, çeşitli donanım ve yazılım ortamlarında verimli model dağıtımı sağlar.

TensorRT Modellerinin Temel Özellikleri#

TensorRT modelleri, yüksek hızlı derin öğrenme çıkarımındaki verimlilik ve etkililiklerine katkıda bulunan çeşitli temel özellikler sunar:

• Hassasiyet Kalibrasyonu: TensorRT, modellerin belirli doğruluk gereksinimlerine göre ince ayarını yapmaya olanak tanıyan hassasiyet kalibrasyonunu destekler. Buna, kabul edilebilir doğruluk düzeylerini korurken çıkarım hızını daha da artırabilen INT8 ve FP16 gibi düşük hassasiyetli biçimler de dahildir.

• Katman Birleştirme: TensorRT optimizasyon süreci, bir sinir ağının birden çok katmanının tek bir işlemde birleştirildiği katman birleştirmeyi içerir. Bu, bellek erişimini ve hesaplama miktarını en aza indirerek hesaplama yükünü azaltır ve çıkarım hızını artırır.

• Dinamik Tensör Bellek Yönetimi: TensorRT, çıkarım sırasında tensör belleği kullanımını verimli biçimde yöneterek bellek yükünü azaltır ve bellek ayırmayı optimize eder. Böylece GPU belleği daha verimli kullanılır.

• Otomatik Çekirdek Ayarı: TensorRT, modelin her katmanı için en iyi duruma getirilmiş GPU çekirdeğini seçmek üzere otomatik çekirdek ayarı uygular. Bu uyarlanabilir yaklaşım, modelin GPU'nun hesaplama gücünden tam olarak yararlanmasını sağlar.

TensorRT'de Dağıtım Seçenekleri#

YOLO26 modellerini TensorRT biçimine dışa aktarma koduna bakmadan önce, TensorRT modellerinin genellikle nerelerde kullanıldığını anlayalım.

TensorRT çeşitli dağıtım seçenekleri sunar ve her seçenek entegrasyon kolaylığı, performans optimizasyonu ve esneklik arasında farklı bir denge kurar:

• TensorFlow İçinde Dağıtım: Bu yöntem TensorRT'yi TensorFlow ile entegre ederek optimize edilmiş modellerin tanıdık bir TensorFlow ortamında çalışmasını sağlar. TF-TRT desteklenen ve desteklenmeyen katmanların bir karışımını verimli biçimde işleyebildiğinden, bu yöntem bu tür modeller için yararlıdır.

• Bağımsız TensorRT Çalışma Zamanı API'si: Ayrıntılı denetim sağlar ve performans açısından kritik uygulamalar için idealdir. Daha karmaşıktır ancak desteklenmeyen işleçler için özel uygulamalara olanak tanır.

• NVIDIA Triton Inference Server: Çeşitli çerçevelerden gelen modelleri destekleyen bir seçenektir. Özellikle bulut veya uç çıkarımı için uygundur; eş zamanlı model yürütme ve model analizi gibi özellikler sunar.

Desteklenen Görevler#

TensorRT dışa aktarımı, Ultralytics'in yedi görevinin tümünü destekler. Anlamsal bölümleme ve derinlik tahmini yalnızca bu başlıklara sahip tek aile olan YOLO26 ile kullanılabilir.

YOLO26 Modellerini TensorRT'ye Dışa Aktarma#

YOLO26 modellerini TensorRT biçimine dönüştürerek yürütme verimliliğini artırabilir ve performansı optimize edebilirsin.

Kurulum#

Gerekli paketi yüklemek için şu komutu çalıştır:

# Install the required package for YOLO26
pip install ultralytics

Kurulum sürecine ilişkin ayrıntılı talimatlar ve en iyi uygulamalar için YOLO26 Kurulum kılavuzumuza göz at. YOLO26 için gerekli paketleri yüklerken sorun yaşarsan çözüm ve ipuçları için Yaygın Sorunlar kılavuzumuza başvur.

Kullanım#

Kullanım yönergelerine geçmeden önce Ultralytics'in sunduğu YOLO26 model çeşitlerine göz at. Bu, proje gereksinimlerine en uygun modeli seçmene yardımcı olur.

TensorRT biçimi Dışa Aktar, Tahmin ve Doğrula modlarını destekler. Çıkarım ve doğrulama için NVIDIA GPU gerekir. Modelini dışa aktar, ardından çıkarım yapmak veya doğruluğunu doğrulamak için dışa aktarılan modeli yükle.

from ultralytics import YOLO

# YOLO26 modelini yükle
model = YOLO("yolo26n.pt")

# Modeli TensorRT biçimine aktar
model.export(format="engine")  # 'yolo26n.engine' oluşturur

from ultralytics import YOLO

# Dışa aktarılan TensorRT modelini yükle
model = YOLO("yolo26n.engine")

# Çıkarımı çalıştır
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Dışa aktarılan TensorRT modelini yükle
model = YOLO("yolo26n.engine")

# COCO8 veri kümesinde doğruluğu doğrula
metrics = model.val(data="coco8.yaml")

Dışa Aktarma Bağımsız Değişkenleri#

Dışa aktarma süreci hakkında daha fazla bilgi için Ultralytics dışa aktarma belgeleri sayfasını ziyaret et.

INT8 Niceleme ile TensorRT'ye Dışa Aktarma#

Ultralytics YOLO modellerini TensorRT kullanarak INT8 hassasiyetinde dışa aktarmak, eğitim sonrası niceleme (PTQ) uygular. TensorRT, PTQ için kalibrasyon kullanır; bu işlem, YOLO modeli temsili giriş verileri üzerinde çıkarım yaparken her etkinleştirme tensöründeki etkinleştirme dağılımını ölçer ve ardından bu dağılımı her tensör için ölçek değerlerini tahmin etmekte kullanır. Niceleme adayı olan her etkinleştirme tensörünün kalibrasyon süreciyle çıkarılan bir ölçeği bulunur. Niceleme farkındalıklı eğitim aracılığıyla quantize=8 ile ince ayar yapılmış bir kontrol noktası, INT8 aralıklarını zaten içerir; bu nedenle dışa aktarma sırasında bu aralıklar kullanılır ve kalibrasyon atlanır.

Örtük olarak niceleme yapılmış ağları işlerken TensorRT, katman yürütme süresini optimize etmek için INT8'i fırsatçı biçimde kullanır. Bir katman INT8'de daha hızlı çalışıyorsa ve giriş ile çıkış verilerine niceleme ölçekleri atanmışsa o katmana INT8 hassasiyetinde bir çekirdek atanır; aksi durumda TensorRT, katman için daha hızlı yürütme süresi sağlayana göre FP32 veya FP16 hassasiyetinde bir çekirdek seçer.

INT8 Dışa Aktarımını Yapılandırma#

Ultralytics YOLO modelini dışa aktarırken sağlanan bağımsız değişkenler, dışa aktarılan modelin performansını büyük ölçüde etkiler. Kullanılabilir cihaz kaynaklarına göre seçilmeleri gerekir; ancak varsayılan bağımsız değişkenler çoğu Ampere (veya daha yeni) NVIDIA ayrık GPU'sunda işe yaramalıdır. GPU dışa aktarımlarında kullanılan kalibrasyon algoritması "MINMAX_CALIBRATION", NVIDIA Jetson'daki DLA dışa aktarımlarında ise "ENTROPY_CALIBRATION_2" olur. Kullanılabilir seçenekler hakkında daha fazla ayrıntıyı TensorRT Geliştirici Kılavuzu'nda bulabilirsin. Ultralytics testleri, GPU dışa aktarımları için "MINMAX_CALIBRATION" seçeneğinin en iyi olduğunu gösterdi; algoritma dışa aktarma cihazına göre otomatik seçilir.

• workspace : Model ağırlıkları dönüştürülürken cihaz belleği ayırma boyutunu (GiB cinsinden) denetler.

  • workspace değerini kalibrasyon gereksinimlerine ve kullanılabilir kaynaklara göre ayarla. Daha büyük bir workspace kalibrasyon süresini artırabilir ancak TensorRT'nin daha geniş bir optimizasyon taktikleri yelpazesini keşfetmesini sağlayarak model performansını ve doğruluğunu artırabilir. Buna karşılık daha küçük bir workspace kalibrasyon süresini kısaltabilir ancak optimizasyon stratejilerini sınırlayarak niceleme uygulanmış modelin kalitesini etkileyebilir.

  • Varsayılan değer workspace=None şeklindedir ve TensorRT'nin belleği otomatik ayırmasını sağlar. Elle yapılandırıldığında kalibrasyon başarısız olursa (uyarı vermeden kapanırsa) bu değerin artırılması gerekebilir.

  • workspace değeri cihazda kullanılabilir bellekten büyükse TensorRT, dışa aktarma sırasında UNSUPPORTED_STATE bildirir; bu, workspace değerinin düşürülmesi veya None olarak ayarlanması gerektiği anlamına gelir.

  • workspace en yüksek değere ayarlanmışsa ve kalibrasyon başarısız oluyor ya da çöküyorsa, otomatik bellek ayırma için None kullanmayı veya bellek gereksinimlerini azaltmak için imgsz ve batch değerlerini düşürmeyi dene.

  • Unutma INT8 kalibrasyonu her cihaza özeldir; kalibrasyon için "üst düzey" bir GPU ödünç almak, çıkarım başka bir cihazda çalıştırıldığında düşük performansa yol açabilir.

• batch : Çıkarımda kullanılacak maksimum toplu iş boyutudur. dynamic=True ile çıkarım sırasında daha küçük gruplar kullanılabilir ancak çıkarım, belirtilenden daha büyük grupları kabul etmez.

NVIDIA'nın deneyleri, INT8 niceleme kalibrasyonu için modelinin verilerini temsil eden en az 500 kalibrasyon görüntüsü kullanılmasını öneriyor. Bu bir kılavuzdur, kesin bir gereklilik değildir ve veri kümen için iyi performans elde etmek üzere ne gerektiğini denemen gerekir. TensorRT ile INT8 kalibrasyonu için kalibrasyon verileri gerektiğinden, quantize=8 değerinde TensorRT'ye dışa aktarırken quantize=8 ile (eğitim sonrası niceleme) eğitilmemiş bir kontrol noktası için data bağımsız değişkenini kullandığından emin ol; kalibrasyon için doğrulama görüntülerini kullanacak olan data="my_dataset.yaml" değerini kullan. quantize=8 ile eğitilmiş bir kontrol noktası kalibrasyonu atlar; bu nedenle bu kontrol noktası için data değerini belirtme. INT8 niceleme ile TensorRT'ye dışa aktarırken data için değer verilmezse hata vermek yerine model görevine dayalı "küçük" örnek veri kümelerinden biri kullanılır.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    quantize=8,
    data="coco.yaml",  # (4)!
)

# Dışa aktarılan TensorRT INT8 modelini yükle
model = YOLO("yolo26n.engine", task="detect")

# Çıkarımı çalıştır
result = model.predict("https://ultralytics.com/images/bus.jpg")

YOLO'yu TensorRT INT8 ile kullanmanın avantajları#

• Model boyutunun küçülmesi: FP32'den INT8'e kuantizasyon, model boyutunu 4 kat azaltabilir (diskte veya bellekte); böylece indirme süreleri kısalır, depolama gereksinimleri azalır ve model dağıtılırken bellek kullanımı düşer.

• Daha düşük güç tüketimi: INT8 olarak dışa aktarılan YOLO modellerinde düşük hassasiyetli işlemler, FP32 modellere kıyasla daha az güç tüketebilir; bu fark özellikle pille çalışan cihazlarda önemlidir.

• Çıkarım hızlarının artması: TensorRT modeli hedef donanım için optimize eder; bu da GPU'larda, gömülü cihazlarda ve hızlandırıcılarda daha yüksek çıkarım hızları sağlayabilir.

YOLO'yu TensorRT INT8 ile kullanmanın dezavantajları#

• Değerlendirme metriklerinde düşüş: Daha düşük hassasiyet kullanmak, mAP, Precision, Recall veya model performansını değerlendirmek için kullanılan diğer metriklerden herhangi birinin muhtemelen bir miktar kötüleşmesi anlamına gelir. Skor kalibrasyonunu korumak için sigmoid katmanları daha yüksek hassasiyette tutulur; ancak INT8 güven değerlerini yine de değiştirebilir. Bu nedenle çalışma eşiğini INT8 modelinin kendi F1 eğrisinden seç. Çeşitli cihazlardan alınan küçük bir örnek üzerinde INT8 ile dışa aktarım yaparken mAP50 ve mAP50-95 farklarını karşılaştırmak için Performans sonuçları bölümüne bak.

• Geliştirme süresinin artması: Veri kümesi ve cihaz için INT8 kalibrasyonunda "optimal" ayarları bulmak, önemli miktarda test gerektirebilir.

• Donanım bağımlılığı: Kalibrasyon ve performans kazanımları büyük ölçüde donanıma bağlı olabilir ve model ağırlıkları farklı donanımlar arasında daha az aktarılabilir.

Ultralytics YOLO TensorRT dışa aktarım performansı#

NVIDIA A100#

Tüketici GPU'ları#

Gömülü cihazlar#

Değerlendirme yöntemleri#

Bu modellerin nasıl dışa aktarıldığı ve test edildiği hakkında bilgi almak için aşağıdaki bölümleri genişlet.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=16)

# Uygun model görevi için kalibrasyon `data` ile TensorRT INT8 (yani COCO, ImageNet veya DOTAv1)
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=8, data="coco8.yaml"
)

import cv2

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # aynı görüntüden batch=8
        verbose=False,
        device="cuda",
    )

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
results = model.val(
    data="data.yaml",  # Uygun model görevi için COCO, ImageNet veya DOTAv1
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

Dışa Aktarılan YOLO26 TensorRT Modellerini Dağıtma#

Ultralytics YOLO26 modellerini TensorRT biçimine başarıyla dışa aktardığına göre artık modelleri dağıtmaya hazırsın. TensorRT modellerini çeşitli ortamlarda dağıtma konusunda ayrıntılı talimatlar için şu kaynaklara göz at:

• Ultralytics'i Triton Server ile dağıtma: Özellikle Ultralytics YOLO modelleriyle kullanmak üzere NVIDIA Triton Inference (eski adıyla TensorRT Inference) Server'ın nasıl kullanılacağını anlatan kılavuzumuz.

• NVIDIA TensorRT ile Derin Sinir Ağlarını Dağıtma: Bu makalede, GPU tabanlı dağıtım platformlarında derin sinir ağlarını verimli şekilde dağıtmak için NVIDIA TensorRT'nin nasıl kullanılacağı açıklanıyor.

• NVIDIA Tabanlı Bilgisayarlar için Uçtan Uca Yapay Zekâ: NVIDIA TensorRT Dağıtımı: Bu blog yazısında NVIDIA tabanlı bilgisayarlarda yapay zekâ modellerini optimize etmek ve dağıtmak için NVIDIA TensorRT'nin kullanımı açıklanıyor.

• NVIDIA TensorRT için GitHub Deposu: Bu, NVIDIA TensorRT'nin kaynak kodunu ve belgelerini içeren resmî GitHub deposudur.

Özet#

Bu kılavuzda Ultralytics YOLO26 modellerini NVIDIA'nın TensorRT model biçimine dönüştürmeye odaklandık. Bu dönüştürme adımı, YOLO26 modellerinin verimliliğini ve hızını artırmak, böylece modelleri daha etkili ve çeşitli dağıtım ortamlarına daha uygun hâle getirmek için kritik öneme sahiptir.

Kullanım ayrıntıları hakkında daha fazla bilgi için TensorRT resmî belgelerine göz at.

Diğer Ultralytics YOLO26 entegrasyonlarını merak ediyorsan entegrasyon kılavuzu sayfamız, bilgilendirici kaynaklardan ve içgörülerden oluşan kapsamlı bir seçki sunuyor.

Sık Sorulan Sorular#