Ultralytics YOLO ile Model Dışa Aktarımı#

Ultralytics ile bir YOLO26 modelini ONNX biçimine aktarmak oldukça kolaydır. Modelleri dışa aktarmak için hem Python hem de CLI yöntemleri sunar.

from ultralytics import YOLO

# Bir model yükle
model = YOLO("yolo26n.pt")  # Resmî bir modeli yükle
model = YOLO("path/to/best.pt")  # özel olarak eğitilmiş bir modeli yükle

# Modeli dışa aktar
model.export(format="onnx")

Farklı girdi boyutlarını işleme gibi gelişmiş seçenekler de dahil olmak üzere süreçle ilgili daha fazla bilgi için ONNX tümleştirme kılavuzuna bak.

Modeli dışa aktarırken TensorRT kullanmak, performansta önemli iyileşmeler sağlar. TensorRT'ye aktarılan YOLO26 modelleri, GPU'da 5 kata kadar hızlanma sağlayarak gerçek zamanlı çıkarım uygulamaları için ideal hale gelebilir.

• Çok yönlülük: Modelleri belirli bir donanım yapılandırması için optimize et.
• Hız: Gelişmiş optimizasyonlarla daha hızlı çıkarım elde et.
• Uyumluluk: NVIDIA donanımıyla sorunsuz tümleştir.

TensorRT tümleştirmesi hakkında daha fazla bilgi edinmek için TensorRT tümleştirme kılavuzuna bak.

INT8 nicelemesi, özellikle uç cihazlarda modeli sıkıştırıp çıkarımı hızlandırmanın etkili bir yoludur. INT8 nicelemesini şu şekilde etkinleştirebilirsin:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")  # Bir model yükle
model.export(format="onnx", quantize=8, data="coco8.yaml")

INT8 niceleme ONNX, TensorRT, OpenVINO, CoreML, Rockchip RKNN ve AMD Xilinx gibi biçimlere uygulanabilir. En iyi niceleme sonuçları için data parametresini kullanarak temsili bir veri kümesi sağla. Kabul edilen quantize değerleri ve desteklenen biçimler için Niceleme Seçenekleri sayfasına bak.

Dinamik girdi boyutu, dışa aktarılan modelin farklı görüntü boyutlarını işlemesine olanak tanır; böylece esneklik sağlar ve farklı kullanım durumlarında işleme verimliliğini artırır. ONNX veya TensorRT gibi biçimlere dışa aktarırken dinamik girdi boyutunu etkinleştirmek, modelin farklı girdi şekillerine sorunsuzca uyum sağlamasını mümkün kılar.

Bu özelliği etkinleştirmek için dışa aktarma sırasında dynamic=True bayrağını kullan:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(format="onnx", dynamic=True)

Dinamik girdi boyutlandırma, video işleme veya farklı kaynaklardan gelen görüntüleri işleme gibi girdi boyutlarının değişebileceği uygulamalarda özellikle kullanışlıdır.

PyTorch modelleri ve dinamik dışa aktarımlar varsayılan olarak minimum dikdörtgen dolgusu kullanırken statik dışa aktarımlar tam imgsz boyutuna dolgu uygular; bu nedenle güven eşiğine yakın tespitler farklı olabilir. Statik dışa aktarımla eşleşmek için yerel çıkarımda rect=False kullan veya desteklenen durumlarda dynamic=True ile dışa aktar.

Dışa aktarma argümanlarını anlamak ve yapılandırmak, model performansını iyileştirmek için kritik öneme sahiptir:

• format: Dışa aktarılan modelin hedef biçimi (ör. onnx, torchscript, saved_model).
• imgsz: Model girdisi için istenen görüntü boyutu (ör. 640 veya (height, width)).
• quantize: 8/"int8", 16/"fp16", 32/"fp32" ya da desteklenen biçimlerde karma ağırlık/aktivasyon şemaları olan "w8a16" ve "w8a32" (LiteRT dinamik INT8) gibi niceleme hassasiyeti. Niceleme Seçenekleri bölümüne bak.
• dynamic: ONNX, OpenVINO ve TensorRT gibi dinamik şekilleri destekleyen biçimlerde değişken girdi boyutlarını kabul eder.
• nms: Harici NMS (None), yerleşik NMS (True) veya NMS içermeyen başlık (False) için ham çıktıları seçer.
• device: Dışa aktarma sırasında modeli izlemek için kullanılan cihaz; ilk CUDA GPU için cpu veya 0 gibi. FP16 TorchScript için GPU gerekir.

Belirli donanım platformlarına dağıtım için NVIDIA GPU'larda TensorRT, Apple cihazlarında CoreML veya Google Coral cihazlarında Edge TPU gibi özel dışa aktarma biçimlerini kullanmayı değerlendirebilirsin.

YOLO modelini ONNX veya TensorRT gibi biçimlere dışa aktardığında, çıktı tensörünün yapısı modelin görevine bağlıdır. Özel çıkarım uygulamaları için bu çıktıları anlamak önemlidir.

YOLO26 detection modelleri (ör. yolo26n.pt), nms=False ile dışa aktarıldığında desteklenen biçimlerde [x1, y1, x2, y2, confidence, class_id] değerleri içeren ve (batch_size, max_detections, 6) biçiminde şekillenen NMS içermeyen çıktılar üretir. Varsayılan max_det=300 ile bu genellikle (batch_size, 300, 6) olur. Uçtan uca operatörleri desteklenmediğinde, bazı kısıtlı biçimler otomatik olarak geleneksel çıktı düzenine geri döner.

Varsayılan olarak (nms=None), YOLO26 dâhil detection modelleri ham one-to-many tahminleri dışa aktarır: çıktı genellikle kanalların kutu koordinatlarını ve sınıf başına skorları temsil ettiği, (batch_size, 4 + num_classes, num_predictions) biçiminde şekillenen tek bir tensördür; num_predictions ise dışa aktarma giriş çözünürlüğüne bağlıdır (dinamik de olabilir). Hangi biçimlerin uçtan uca çıktıyı koruduğunu Uçtan Uca Detection kılavuzu açıklar.

Segmentasyon modellerinde (ör. yolo26n-seg.pt) genellikle iki çıktı alırsın: ilki, (batch_size, 4 + num_classes + mask_dim, num_predictions) biçiminde şekillenen tensördür (kutular, sınıf skorları ve maske katsayıları); ikincisi, örnek maskelerini oluşturmak için katsayılarla birlikte kullanılan maske prototiplerini içeren ve (batch_size, mask_dim, proto_h, proto_w) biçiminde şekillenen tensördür. Boyutlar dışa aktarma giriş çözünürlüğüne bağlıdır (dinamik de olabilir).

Pose modellerinde (ör. yolo26n-pose.pt) çıktı tensörü genellikle (batch_size, 4 + num_classes + keypoint_dims, num_predictions) biçimindedir; keypoint_dims pose tanımına (ör. anahtar nokta sayısına ve güven değerinin dâhil edilip edilmediğine), num_predictions ise dışa aktarma giriş çözünürlüğüne bağlıdır (dinamik de olabilir).

ONNX çıkarım örnekleri, her model türü için bu çıktıların nasıl işleneceğini gösterir.

Ultralytics şu anda YOLO modelleri için özel bir C++ çıkarım API'si sunmuyor. C++ dağıtımları için modeli ONNX, TensorRT, TorchScript veya MNN gibi bir çalışma zamanı biçimine dışa aktar, ardından dışa aktarılan yapıyı ilgili çalışma zamanının yerel C++ API'siyle yükle.

Örneğin, bir detection modelini yolo export model=yolo26n.pt format=onnx ile dışa aktar ve .onnx dosyasını ONNX Runtime C++ ile çalıştır ya da format=engine ile dışa aktar ve TensorRT motorunu bir TensorRT C++ uygulamasından çalıştır. Özel C++ son işleme kullandığında, görevine ve dışa aktarma ayarlarına uygun çıktı tensörü düzenini kullan; varsayılan YOLO26 detection dışa aktarımları, harici NMS gerektiren ham tahmin tensörleri döndürür. NMS içermeyen, (batch, max_det, 6) biçimindeki detection sonuçları için nms=False ile, desteklenen biçimlere NMS eklemek içinse nms=True ile dışa aktar.

quantize=16 (FP16) veya quantize=8 (INT8) ile dışa aktardığında, model boyutunu küçültmek ve performansı artırmak için tensörlerin çoğu daha düşük hassasiyete dönüştürülür. Ancak nms=False etkinleştirildiğinde, sınıf indeksleri dâhil son işleme doğrudan dışa aktarılan grafiğe eklenir.

output0 tensörü, dahili olarak kayan noktalı değerlerle temsil edilen sınıf indekslerini içerir. FP16, sınırlı mantis hassasiyeti nedeniyle 2048'in üzerindeki tam sayı değerlerini güvenilir biçimde temsil edemez. Olası hassasiyet kaybını veya yanlış sınıf kimliklerini önlemek için output0 bilerek FP32 olarak tutulur.

Tam FP16 çıktıları gerekiyorsa, bir GPU'da nms=None ile dışa aktar ve son işlemeyi harici olarak gerçekleştir. CPU'da yapılan FP16 ONNX dışa aktarımlarında, yalnızca dahili grafik dönüştürülür; girişler ve çıktılar her durumda FP32 olarak kalır.