Ultralytics YOLO Modelleri için Qualcomm QNN Dışa Aktarımı#

Bilgisayarlı görü modellerini Qualcomm Snapdragon cihazlarında dağıtmak, Qualcomm AI Engine Direct (QNN) çalışma zamanına göre optimize edilmiş bir model biçimi gerektirir. Ultralytics YOLO modellerini QNN biçimine dışa aktarmak, milyarlarca cep telefonu, dizüstü bilgisayar, otomotiv sistemi ve IoT cihazında bulunan Snapdragon CPU, Adreno GPU ve Hexagon NPU donanımlarında hızlandırılmış, cihaz üzerinde çıkarım çalıştırmanı sağlar. Bu kılavuzda YOLO'nun Qualcomm QNN'ye nasıl dışa aktarılacağı ve Snapdragon donanımında hızlı, düşük güç tüketimli çıkarım için nasıl dağıtılacağı açıklanır.

Qualcomm QNN nedir?#

Yaygın olarak QNN olarak adlandırılan ve Qualcomm Yapay Zekâ Çalışma Zamanı (QAIRT) SDK'sının bir parçası olarak dağıtılan Qualcomm AI Engine Direct, Snapdragon işlemcileri için Qualcomm'un düşük seviyeli çıkarım yığınıdır. Snapdragon CPU, Adreno GPU ve modern Snapdragon SoC'lerinin içindeki özel sinir ağı işlem birimi (NPU) olan Hexagon Tensor Processor (HTP) donanımını hedefleyen arka uca özgü kitaplıklarla birleşik bir API sağlar. QNN, geliştiricilere bu Snapdragon yapay zekâ hızlandırıcılarına tam yığın erişimi sunar ve eski Snapdragon Neural Processing Engine (SNPE) SDK'sının modern halefidir. Snapdragon 8 Gen 2, 8 Gen 3 ve 8 Elite mobil platformlarında, Snapdragon X dizüstü bilgisayarlarında, otomotiv ve XR ürünlerinde cihaz üzerinde yapay zekâyı destekler.

Neden Qualcomm QNN'ye Dışa Aktarım Yapılmalı?#

Snapdragon, dünyada en yaygın kullanılan mobil bilgi işlem platformudur. Ultralytics YOLO'yu Qualcomm QNN biçimine dışa aktarmak, bu cihazlardaki özel yapay zekâ donanımının kilidini açar:

• Hexagon NPU hızlandırması: YOLO'yu Hexagon Tensor Processor üzerinde çalıştırmak, CPU çıkarımına kıyasla çok daha yüksek iş hacmi ve daha düşük güç tüketimi sağlar; bu da gerçek zamanlı çıkarım ve Snapdragon üzerinde sürekli açık bilgisayarlı görü için idealdir.
• Cihaz üzerinde ve çevrimdışı: QNN çıkarımı tamamen Snapdragon cihazında çalışır; bu nedenle buluta gidip gelme olmaz, gecikme düşük kalır ve veriler cihazdan ayrılmaz.
• Nicemlenmiş verimlilik: QNN dışa aktarımı, YOLO'yu 16 bit aktivasyonlar ve INT8 ağırlıklara nicemler. Bu, Hexagon NPU'nun tercih ettiği doğruluk/performans dengesini sağlar, model boyutunu küçültür ve pille çalışan donanımda saniye başına kare sayısını en üst düzeye çıkarır.
• Tek biçim, birçok cihaz: Tek bir Qualcomm QNN dışa aktarımı, Snapdragon 8 Gen 2, 8 Gen 3 ve 8 Elite aileleri ve daha fazlasında Snapdragon CPU, Adreno GPU ve Hexagon NPU'yu hedefler.
• Üretime hazır Qualcomm yapay zekâ yığını: QNN (Qualcomm AI Engine Direct / QAIRT), Qualcomm'un güncel ve etkin şekilde sürdürülen cihaz üzerinde yapay zekâ çalışma zamanıdır ve SNPE'nin önerilen halefidir.

QNN Dışa Aktarım Biçimi#

Ultralytics, YOLO modellerini ONNX Runtime QNN Execution Provider'ı (QAIRT kitaplıklarını içeren, pip ile kurulabilen onnxruntime-qnn paketi) kullanarak yerel olarak QNN'ye derler. Dışa aktarıcı, modelini ONNX biçimine dönüştürür, kalibrasyon verileriyle 16 bit aktivasyonlar ve INT8 ağırlıklara nicemler (Hexagon NPU için önerilen denge), ardından bağlam ikilisi önbelleğe almayı etkinleştirerek bir ONNX Runtime oturumu başlatır. Böylece nicemlenmiş grafiği <model>_qnn.onnx içine gömülü bir QNN bağlam ikilisine derler. Qualcomm hesabı, buluta yükleme veya ayrı bir SDK indirme işlemi gerekmez.

Modelleri Qualcomm tarafından barındırılan Snapdragon cihazlarında derleyen ve profilleyen, bulut tabanlı Qualcomm AI Hub'ın aksine ve Qualcomm hesabı gerektirmesine rağmen, Ultralytics QNN dışa aktarımı tamamen kendi makinen üzerinde tek bir export(format="qnn", imgsz=640) çağrısıyla (imgsz=224, sınıflandırma için) çalışır. Aynı QNN/QAIRT çalışma zamanı hedefini — Snapdragon CPU, Adreno GPU ve Hexagon NPU — kaydolma, yükleme sınırları veya kuyruk bekleme süreleri olmadan elde edersin ve bu işlem doğrudan standart YOLO dışa aktarma iş akışına eklenir.

Dışa aktarılan *_qnn.onnx dosyası kendi kendine yeterlidir: QNN bağlam ikilisini ve sınıf adları, görüntü boyutu ve görev gibi ONNX meta verilerini içerir.

QNN Modellerinin Temel Özellikleri#

• Nicemleme: Model, ONNX Runtime QNN QDQ akışı ve bir kalibrasyon veri kümesi kullanılarak 16 bit aktivasyonlar ve INT8 ağırlıklara nicemlenir; bu, Hexagon NPU için önerilen doğruluk/performans dengesidir. Model nicemleme hakkında daha fazla bilgi edin.
• Tamamen Yerel Derleme: Bağlam ikilisi tamamen ana makinen üzerinde oluşturulur; Qualcomm hesabı, API belirteci veya buluta yükleme gerekmez.
• Tam Snapdragon Hızlandırması: Tek bir birleşik çalışma zamanı üzerinden çıkarımı Hexagon NPU (HTP), Adreno GPU veya CPU üzerinde çalıştır.
• Geniş Cihaz Kapsamı: Telefonlarda, bilgisayarlarda (Snapdragon üzerinde Windows), otomotiv, XR ve gömülü ürünlerde kullanılan çok çeşitli Snapdragon platformlarını hedefle.
• Önceden Derlenmiş Bağlam İkilisi: Bağlam ikilisini göndermek, cihaz üzerindeki grafik derlemesini en aza indirerek hedefteki model yükleme gecikmesini azaltır.
• Kendi Kendine Yeterli Çıktı: Dışa aktarılan ONNX dosyası, önceden derlenmiş QNN bağlam ikilisini ve kolay dağıtım için meta verileri içerir.

Ölçülen Performans#

Android Telefonu#

Donanım: 12 GB LPDDR5X belleğe ve Android 16 / API 36'ya sahip Xiaomi 17. 3 nm Snapdragon 8 Elite Gen 5 (SM8850); 8 çekirdekli Qualcomm Oryon CPU (4,6 GHz'e kadar 2 Prime çekirdeği ve 3,62 GHz'e kadar 6 Performance çekirdeği), Adreno GPU ve Hexagon NPU (HTP v81) içerir.

• Hız değerleri, bus.jpg üzerinde 3 ısınma çalıştırmasından sonra 15 çalıştırmanın ortalaması olarak hesaplanan tek görüntülü seri gecikmeleridir; Flutter eklentisinin 0.6.10 cihaz üzerindeki kıyaslama çalıştırıcısı ve standartlaştırılmış v0.6.6 varlıkları kullanılarak ölçülmüştür. Arka uç sırası, tek bir sıralı taramada görevler arasında dönüşümlü olarak değiştirilmiştir. Yerel günlükler, her CPU satırının LiteRT CPU/XNNPACK kullandığını, her GPU satırının grafiğin tamamını LiteRT OpenCL'e (LITERT_CL) devrettiğini ve her NPU satırının QNN Hexagon HTP arka ucunu kullandığını doğrulamıştır.
• Ayrıntılı kıyaslama kaydı Flutter performans belgesinde yer alır.
• Diğer Android cihazlarını LiteRT entegrasyonunda, Apple cihazlarını ise CoreML entegrasyonunda karşılaştır.

Snapdragon Üzerinde Windows Dizüstü Bilgisayarı#

Bu tarihsel taramada standart öncesi v73 QNN ikilileri kullanılmıştır; anlamsal ve OBB görevlerinde 1024px girişler kullanılmıştır. Çalıştırma, 32 GB belleğe ve Windows 11'e sahip bir Lenovo dizüstü bilgisayarda gerçekleştirilmiştir. Snapdragon X Elite (X1E78100); 12 çekirdekli Qualcomm Oryon CPU, Adreno GPU ve Hexagon NPU (HTP v73) içerir; Lenovo'nun tam modeli kaydedilmemiştir. Bu Snapdragon üzerinde Windows karşılaştırması, çoğu masaüstü geliştiricisinin başladığı yerel PyTorch FP32 CPU temel çizgisini ONNX Runtime QNN Hexagon HTP yolu ile karşılaştırır. Her hücre tam model.predict() duvar süresini gösterir; altında bildirilen ön işleme / çıkarım / son işleme süreleri yer alır. Toplam süre, bu üç aşamanın dışındaki çerçeve ek yükünü içerebilir. CPU değerleri PyTorch FP32 (torch==2.10.0+cpu), NPU değerleri ise ONNX Runtime QNN'dir (onnxruntime-qnn==2.2.0, INT8 ağırlıklar / 16 bit aktivasyonlar).

• Hız değerleri, bus.jpg üzerinde 10 ısınma çalıştırmasından sonra 100 çalıştırmanın ortalaması olarak hesaplanan tek görüntülü seri gecikmeleridir; termal olarak dinlendirilmiş bir cihazda (ultralytics==8.4.67, Python 3.12.10) tam model.predict() çağrısını çevreleyen time.perf_counter() ile ölçülmüştür.
• Hexagon NPU, 640-1024 px görevlerinde PyTorch CPU temel çizgisinden yaklaşık 2-4 kat daha hızlı çalışır (algılamada ~3.4 kat); sabit ön işleme ek yükünün küçük iş yüküne hâkim olduğu 224 px sınıflandırıcıda bu fark ~1.3 kata iner.

Desteklenen Görevler#

Qualcomm QNN dışa aktarımı, yedi Ultralytics görevinin tamamını destekler. Anlamsal segmentasyon ve derinlik tahmini yalnızca bu başlıkları içeren tek aile olan YOLO26 ile kullanılabilir.

QNN'ye Dışa Aktarım: YOLO Modelini Dönüştürme#

Bir Ultralytics YOLO modelini Qualcomm donanımında dağıtmak üzere QNN biçimine dışa aktar. Bağlam ikilisi, name bağımsız değişkeniyle seçtiğin hedef Hexagon Tensor Processor (HTP) mimarisi veya desteklenen SoC için son hâline getirilir; bu, RKNN dışa aktarımında bir yongayı hedeflemek için kullanılan bağımsız değişkenin aynısıdır.

Desteklenen HTP Hedefleri#

Hedef mimariyi veya SoC'yi name üzerinden ilet (ör. name="73" veya name="iq-8275"). Destek, HTP hedefi tarafından belirlenir; bu nedenle aşağıdaki Snapdragon satırları her SoC'nin kapsamlı listesi değil, temsili platformlardır. Dragonwing cihazları açıkça listelenmiştir.

Dragonwing IQ-615, ONNX Runtime v66 DSP'sini çevrimdışı HTP hedefi olarak sunmadığı için Ultralytics QNN bağlam ikilisi dışa aktarımını kullanamaz. Standart bir ONNX dışa aktarımı, kartın BSP'si tarafından desteklenen bir CPU veya GPU yürütme sağlayıcısıyla ayrı olarak yine de tümleştirilebilir.

from ultralytics import YOLO

model = YOLO("best.pt")
model.export(format="qnn", name="iq-8275", imgsz=640)

Kurulum#

Gerekli paketleri yüklemek için şunu çalıştır:

# Install the required package for YOLO
pip install ultralytics

ONNX Runtime QNN Execution Provider'ı sağlayan ve QAIRT kitaplıklarını içeren onnxruntime-qnn paketi, ilk dışa aktarma sırasında otomatik olarak kurulur. Kurulum süreciyle ilgili ayrıntılı talimatlar ve en iyi uygulamalar için Ultralytics Kurulum kılavuzumuza bak. YOLO için gerekli paketleri kurarken herhangi bir sorunla karşılaşırsan çözüm ve ipuçları için Yaygın Sorunlar kılavuzumuza başvur.

Kullanım#

QNN biçimi Dışa Aktarma, Tahmin ve Doğrulama modlarını destekler. Çıkarım ve doğrulama, dışa aktarma için kullanılan aynı onnxruntime-qnn paketi olan ONNX Runtime QNN Execution Provider üzerinden Qualcomm Snapdragon donanımında çalışır. Modelini dışa aktar, ardından çıkarım çalıştırmak veya doğruluğunu doğrulamak için dışa aktarılan modeli bir Snapdragon cihazına yükle.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export to Qualcomm QNN format (INT8, enforced automatically) for the default v73 HTP target
model.export(format="qnn", name="73", imgsz=640)  # use imgsz=224 for classification

from ultralytics import YOLO

# Load the exported QNN model (on a Snapdragon device with onnxruntime-qnn)
model = YOLO("yolo26n_qnn.onnx")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported QNN model (on a Snapdragon device with onnxruntime-qnn)
model = YOLO("yolo26n_qnn.onnx")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Dışa Aktarma Bağımsız Değişkenleri#

Dışa aktarma süreci hakkında daha fazla ayrıntı için Ultralytics'in dışa aktarma dokümantasyonu sayfasını ziyaret et.

Çıktı Yapısı#

Başarılı bir dışa aktarma işleminden sonra kendi kendine yeterli bir ONNX dosyası oluşturulur:

yolo26n_qnn.onnx dosyası QNN bağlam ikili dosyasını içerir ve Snapdragon cihazında QNN Execution Provider ile ONNX Runtime tarafından yüklenir. Ayrıca sınıf adları, görüntü boyutu ve görev gibi model meta verilerini ONNX içindeki metadata_props bölümünde taşır.

Dışa Aktarılan YOLO QNN Modellerini Dağıtma#

QNN modelleri desteklenen Qualcomm donanımlarında çalışır; bu da cihaz üzerinde model dağıtımını kolaylaştırır. onnxruntime-qnn yüklü uyumlu bir cihazda, dışa aktarılan modeli doğrudan Ultralytics API'siyle (yolo predict/yolo val, yukarıdaki Kullanım bölümüne bak) çalıştır — Ultralytics, HTP bağlam ikili dosyasını ONNX Runtime QNN Execution Provider üzerinden yükler.

Özel işlem hatları için bağlam ikili dosyasını ONNX ile doğrudan ONNX Runtime'a da yükleyebilirsin. onnxruntime-qnn bir eklenti Execution Provider olduğundan çalışma zamanında kaydetmen gerekir:

import onnxruntime as ort
import onnxruntime_qnn as qnn_ep

# On the Snapdragon device, register the QNN plugin EP and select its device(s)
ort.register_execution_provider_library("QNNExecutionProvider", qnn_ep.get_library_path())
devices = [d for d in ort.get_ep_devices() if d.ep_name == "QNNExecutionProvider"]

options = ort.SessionOptions()
options.add_provider_for_devices(devices, {"backend_path": qnn_ep.get_qnn_htp_path()})
session = ort.InferenceSession("yolo26n_qnn.onnx", sess_options=options)
input_info = session.get_inputs()[0]
outputs = session.run(None, {input_info.name: input_tensor})  # input_tensor: float32 NHWC

QNN bağlam ikili dosyası önceden derlendiği için oturum hızlı yüklenir ve grafik cihaz üzerinde yeniden derlenmez.

Linux ve Yocto BSP Gereksinimleri#

Hedef kart, birbiriyle uyumlu bir Qualcomm çalışma zamanı ve BSP sağlamalıdır. HTP çıkarımı için buna ONNX Runtime QNN Execution Provider, libQnnSystem.so, libQnnHtp.so, IQ-8275 için v75 HTP stub ve skeleton kitaplıkları, libcdsprpc.so gibi FastRPC kullanıcı alanı desteği, DSP ürün yazılımı ve ilgili FastRPC/kernel sürücüleri dahildir. Skeleton kitaplığı, BSP'nin DSP kitaplığı yolu üzerinden bulunabilir olmalıdır.

Bu hedef tarafı bileşenleri kart üreticisinin QAIRT/QNN özellikli BSP'sinden gelir; dışa aktarılan modele gömülü değildir. GPU yürütmesi ise libQnnGpu.so ve eşleşen Adreno kullanıcı alanı sürücü yığınını gerektirir. Ultralytics format=qnn çıktısı HTP'ye özgü bir bağlam ikili dosyasıdır; bu nedenle GPU veya CPU dağıtımına, önceden derlenmiş *_qnn.onnx dosyası yerine standart bir ONNX dışa aktarımıyla başlanmalıdır.

Önerilen İş Akışı#

1. Modelini Ultralytics Eğitim Modu ile Eğit
2. Desteklenen bir platformda model.export(format="qnn", name="iq-8275", imgsz=640) kullanarak QNN biçimine dışa aktar (sınıflandırma için imgsz=224 kullan)
3. Dışa aktarılan *_qnn.onnx dosyasını Qualcomm cihazına dağıt
4. HTP arka ucunu kullanarak ONNX Runtime ve QNN Execution Provider ile çıkarımı çalıştır

Gerçek Dünya Uygulamaları#

Qualcomm Snapdragon donanımında çalışan YOLO modelleri, çok çeşitli uç AI uygulamaları için oldukça uygundur:

• Akıllı telefonlar: NPU hızlandırmasıyla kamera ve fotoğraf uygulamalarında gerçek zamanlı nesne algılama ve sahne anlama.
• Snapdragon üzerinde Windows: Buluta aktarım yapmadan Copilot+ PC'lerde cihaz üzerinde bilgisayarlı görü.
• Otomotiv: Snapdragon Digital Chassis platformlarında sürücü izleme, yolcu algılama ve ADAS özellikleri.
• XR ve Giyilebilir Cihazlar: AR/VR başlıkları ve akıllı gözlükler için düşük güç tüketimli, düşük gecikmeli algılama.
• IoT ve Robotik: Snapdragon destekli kameralar, dronlar ve gömülü sistemlerde verimli görüntü çıkarımı.

Özet#

Bu kılavuzda Ultralytics YOLO modellerini ONNX Runtime QNN Execution Provider ile yerel olarak Qualcomm QNN biçimine nasıl dışa aktaracağını öğrendin. Dışa aktarma işlem hattı modelini ONNX'e dönüştürür, ardından ana makinen üzerinde bir QNN bağlam ikili dosyasına derler — Qualcomm hesabı veya bulut gerekmez — ve QNN/QAIRT çalışma zamanı üzerinden Snapdragon CPU, Adreno GPU ve Hexagon NPU donanımı için optimize edilmiş bir *_qnn.onnx dosyası oluşturur.

Ultralytics YOLO ile Qualcomm'un cihaz üzerindeki AI yığınının birleşimi, geniş Snapdragon ekosisteminde gelişmiş bilgisayarlı görü iş yüklerini çalıştırmak için etkili bir çözüm sunar.

Diğer cihaz üzeri ve mobil dağıtım hedefleri için ilgili ONNX, CoreML, NCNN, LiteRT, ExecuTorch, RKNN, Sony IMX500 ve TensorRT dışa aktarma kılavuzlarına bak. Dağıtımdan önce biçimleri karşılaştırmak için Benchmark modunu kullan. Biçimlerin ve seçeneklerin tam listesi için Export modu belgelerini ve entegrasyonlar kılavuzu sayfasını ziyaret et.

SSS#