Link to this sectionUltralytics YOLO Modelleri için Qualcomm QNN Dışa Aktarımı#

Bilgisayarlı görü modellerini Qualcomm Snapdragon cihazlarında çalıştırmak, Qualcomm AI Engine Direct (QNN) çalışma zamanı için optimize edilmiş bir model formatı gerektirir. Ultralytics YOLO modellerini QNN formatına dışa aktarmak; milyarlarca cep telefonu, dizüstü bilgisayar, otomotiv sistemi ve IoT cihazında bulunan Snapdragon CPU, Adreno GPU ve Hexagon NPU donanımlarında hızlandırılmış, cihaz üzerinde çıkarım yapmanı sağlar. Bu kılavuz, YOLO'yu Qualcomm QNN'e nasıl dışa aktaracağını ve Snapdragon donanımı üzerinde hızlı, düşük güç tüketen çıkarım için nasıl dağıtacağını anlatır.

Link to this sectionQualcomm QNN nedir?#

Qualcomm AI Engine Direct — yaygın olarak QNN olarak adlandırılan ve Qualcomm AI Runtime (QAIRT) SDK'nın bir parçası olarak dağıtılan — Snapdragon işlemcileri için Qualcomm'un düşük seviyeli çıkarım yığınıdır. Snapdragon CPU, Adreno GPU ve modern Snapdragon SoC'lerin içindeki özel neural network işleme birimi (NPU) olan Hexagon Tensor Processor'ı (HTP) hedefleyen, arka uça özgü kütüphanelere sahip birleşik bir API sağlar. QNN, geliştiricilere bu Snapdragon yapay zeka hızlandırıcılarına tam yığın erişimi sunar ve daha eski olan Snapdragon Neural Processing Engine (SNPE) SDK'nın modern halefidir. Snapdragon 8 Gen 2, 8 Gen 3 ve 8 Elite mobil platformlarında, Snapdragon X dizüstü bilgisayarlarında ve otomotiv ile XR ürünlerinde cihaz içi yapay zekayı güçlendirir.

Link to this sectionNeden Qualcomm QNN'e Dışa Aktarmalısın?#

Snapdragon, dünyada en yaygın kullanılan mobil hesaplama platformudur. Ultralytics YOLO'yu Qualcomm QNN formatına dışa aktarmak, bu cihazlardaki özel yapay zeka donanımını etkinleştirir:

• Hexagon NPU hızlandırması: YOLO'yu Hexagon Tensor Processor üzerinde çalıştırmak, CPU çıkarımına göre çok daha yüksek verim ve daha düşük güç tüketimi sağlar; bu, gerçek zamanlı çıkarım ve Snapdragon üzerinde sürekli açık bilgisayarlı görü uygulamaları için idealdir.
• Cihaz üzerinde ve çevrimdışı: QNN çıkarımı tamamen Snapdragon cihaz üzerinde çalışır, böylece bulut bağlantısına gerek kalmaz, gecikme süresi düşük tutulur ve veriler asla cihazdan ayrılmaz.
• Kuantize verimlilik: QNN dışa aktarımı, YOLO'yu Hexagon NPU'nun tercih ettiği doğruluk/performans dengesi olan 16-bit aktivasyonlu INT8 ağırlıklarına kuantize eder; bu da model boyutunu küçültür ve pil ile çalışan donanımlarda saniyedeki kare sayısını (FPS) en üst düzeye çıkarır.
• Tek format, birçok cihaz: Tek bir Qualcomm QNN dışa aktarımı; Snapdragon 8 Gen 2, 8 Gen 3, 8 Elite aileleri ve ötesindeki Snapdragon CPU, Adreno GPU ve Hexagon NPU donanımlarını hedefler.
• Üretime hazır Qualcomm AI yığını: QNN (Qualcomm AI Engine Direct / QAIRT), Qualcomm'un güncel, aktif olarak desteklenen cihaz içi AI çalışma zamanıdır ve SNPE için önerilen yedek parçadır.

Link to this sectionQNN Dışa Aktarma Formatı#

Ultralytics, YOLO modellerini ONNX Runtime QNN Execution Provider (QAIRT kütüphanelerini içeren pip ile kurulabilen onnxruntime-qnn paketi) kullanarak yerel olarak QNN'e derler. Dışa aktarıcı, modelini ONNX formatına dönüştürür, 16-bit aktivasyonlar ve INT8 ağırlıklarıyla (Hexagon NPU için önerilen denge) kalibrasyon verilerini kullanarak kuantize eder, ardından bağlam ikili (context-binary) önbelleğe alma etkinleştirilmiş bir ONNX Runtime oturumu başlatır. Bu işlem, kuantize edilmiş grafiği <model>_qnn.onnx içinde gömülü bir QNN bağlam ikilisine derler. Herhangi bir Qualcomm hesabı, buluta yükleme veya ayrı bir SDK indirmesi gerekmez.

Modelleri Qualcomm barındırmalı Snapdragon cihazlarında derleyip profilleyen ve bir Qualcomm hesabı gerektiren bulut tabanlı Qualcomm AI Hub'un aksine, Ultralytics QNN dışa aktarımı tek bir export(format="qnn") çağrısıyla tamamen kendi bilgisayarında çalışır. Kayıt, yükleme sınırları veya bekleme süreleri olmadan aynı QNN/QAIRT çalışma zamanı hedefine (Snapdragon CPU, Adreno GPU ve Hexagon NPU) ulaşırsın ve bu işlem standart YOLO dışa aktarma iş akışına doğrudan entegre olur.

Dışa aktarılan *_qnn.onnx dosyası kendi kendine yetebilir durumdadır: QNN bağlam ikilisini ve sınıf isimleri, görüntü boyutu, görev gibi ONNX meta verilerini içinde barındırır.

Link to this sectionQNN Modellerinin Temel Özellikleri#

• Kuantizasyon: Model, Hexagon NPU'nun önerilen doğruluk/performans dengesi olan ONNX Runtime QNN QDQ akışı ve bir kalibrasyon veri seti ile 16-bit aktivasyonlara ve INT8 ağırlıklarına kuantize edilir. Model kuantizasyonu hakkında daha fazla bilgi edin.
• Tamamen Yerel Derleme: Bağlam ikilisi tamamen kendi ana bilgisayarında oluşturulur; Qualcomm hesabı, API anahtarı veya buluta yükleme gerekmez.
• Tam Snapdragon Hızlandırması: Hexagon NPU (HTP), Adreno GPU veya CPU üzerinde tek bir birleşik çalışma zamanı aracılığıyla çıkarım yap.
• Geniş Cihaz Erişimi: Telefonlarda, PC'lerde (Windows on Snapdragon), otomotiv, XR ve gömülü ürünlerde kullanılan çok çeşitli Snapdragon platformlarını hedefle.
• Önceden Derlenmiş Bağlam İkilisi: Bağlam ikilisiyle dağıtım yapmak, cihaz üzerindeki grafik derleme işlemini en aza indirerek hedef cihazdaki model yükleme gecikmesini azaltır.
• Kendi Kendine Yeten Çıktı: Dışa aktarılan ONNX dosyası, sorunsuz bir dağıtım için önceden derlenmiş QNN bağlam ikilisini ve meta verileri içerir.

Link to this sectionÖlçülen Performans#

Qualcomm Snapdragon 8 Elite Gen 5 (SM8850) destekli bir Xiaomi 17 telefonda (Qualcomm Oryon CPU, Adreno GPU ve Hexagon NPU (HTP v81)) resmi YOLO26n modelleri için uçtan uca tek görüntü çıkarımı. Her hücre, altında aşama ayrımıyla birlikte toplam süreyi (ön işleme + çıkarım + son işleme, açıklama hariç) gösterir. CPU ve GPU, LiteRT aracılığıyla INT8 TFLite çalıştırır; NPU ise QNN bağlam ikili dosyalarını (INT8 ağırlıklar, 16 bit aktivasyonlar) çalıştırır.

• Hız değerleri tek görüntülük seri gecikmelerdir; termal olarak dinlendirilmiş bir cihazda bus.jpg üzerinde 3 ısınma çalışmasından sonra yapılan 15 çalışmanın ortalamasıdır ve Flutter plugin'in cihaz içi kıyaslama donanımı ile ölçülmüştür. Kesintisiz gerçek zamanlı kamera kare süreleri daha yüksektir (kare başına yakalama letterboxing artı termal denge); cihazındaki kararlı durum sayıları için uygulamanın ekran üzerindeki ön/çıkarım/son dökümünü kullan.
• ¹ Anlamsal QNN, bu sürümdeki grafik içi ArgMax sınıf haritası çıktısını kullanır; bu, düzensiz 123-1065 ms'lik logit kod çözme işleminin yerini ~49 ms'lik kararlı bir değerle almıştır; GPU, 1024px'de anlamsal segmentasyon için biraz daha hızlı kalmaya devam ediyor.

Link to this sectionDesteklenen Görevler#

QNN dışa aktarımı, YOLO26 semantik segmentasyon dahil olmak üzere her model ailesinde mevcut olan standart görev kümesini destekler.

Link to this sectionQNN'e Dışa Aktarma: YOLO Modelini Dönüştürme#

Bir Ultralytics YOLO modelini Snapdragon donanımı üzerinde dağıtmak için QNN formatına dışa aktar. Bağlam ikilisi, name argümanı ile seçtiğin bir hedef Hexagon Tensor Processor (HTP) mimarisi için tamamlanır; bu, RKNN dışa aktarımında bir çipi hedeflemek için kullanılan argümanla aynıdır.

Link to this sectionDesteklenen HTP Mimarileri#

Hedef mimariyi name aracılığıyla ilet (örneğin name="73"). Geçerli değerler:

Link to this sectionKurulum#

Gerekli paketleri kurmak için şunu çalıştır:

# Install the required package for YOLO
pip install ultralytics

ONNX Runtime QNN Execution Provider'ı sağlayan ve QAIRT kütüphanelerini içeren onnxruntime-qnn paketi ilk dışa aktarmada otomatik olarak kurulur. Kurulum süreciyle ilgili ayrıntılı talimatlar ve en iyi uygulamalar için Ultralytics Kurulum kılavuzumuza göz at. YOLO için gerekli paketleri kurarken herhangi bir sorunla karşılaşırsan, çözümler ve ipuçları için Yaygın Sorunlar kılavuzumuza danış.

Link to this sectionKullanım#

QNN formatı Dışa Aktarma, Tahmin ve Doğrulama modlarını destekler. Çıkarım ve doğrulama, ONNX Runtime'ın QNN Execution Provider'ı (dışa aktarma için kullanılan onnxruntime-qnn paketinin aynısı) aracılığıyla Qualcomm Snapdragon donanımı üzerinde çalışır. Modelini dışa aktar, ardından çıkarım yapmak veya doğruluğunu kontrol etmek için dışa aktarılan modeli bir Snapdragon cihazına yükle.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export to Qualcomm QNN format (INT8, enforced automatically), targeting an HTP architecture via 'name'
# 'name' can be one of 68, 69, 73, 75, 79, 81 (Snapdragon 888, 8 Gen 1, 8 Gen 2, 8 Gen 3, 8 Elite, 8 Elite Gen 5)
model.export(format="qnn", name="73")  # creates 'yolo26n_qnn.onnx'

from ultralytics import YOLO

# Load the exported QNN model (on a Snapdragon device with onnxruntime-qnn)
model = YOLO("yolo26n_qnn.onnx")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported QNN model (on a Snapdragon device with onnxruntime-qnn)
model = YOLO("yolo26n_qnn.onnx")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Link to this sectionDışa Aktarma Argümanları#

Dışa aktarma süreci hakkında daha fazla ayrıntı için dışa aktarma hakkındaki Ultralytics dokümantasyon sayfasına git.

Link to this sectionÇıktı Yapısı#

Başarılı bir dışa aktarmadan sonra, kendi kendine yeten bir ONNX dosyası oluşturulur:

yolo26n_qnn.onnx dosyası QNN bağlam ikilisini gömer ve Snapdragon cihazındaki QNN Execution Provider ile ONNX Runtime tarafından yüklenir. Ayrıca sınıf isimleri, görüntü boyutu ve görev gibi model meta verilerini ONNX metadata_props içinde taşır.

Link to this sectionDışa Aktarılan YOLO QNN Modellerini Dağıtma#

QNN modelleri Qualcomm Snapdragon donanımı üzerinde çalışır, bu da cihaz üzerinde model dağıtımını kolaylaştırır. onnxruntime-qnn yüklü bir Snapdragon cihazında, dışa aktarılan modeli doğrudan Ultralytics API ile çalıştır (yolo predict/yolo val, yukarıdaki Kullanım bölümüne bak) — Ultralytics, bağlam ikilisini ONNX Runtime QNN Execution Provider aracılığıyla yükler ve HTP (NPU), GPU veya CPU arka ucunu seçer.

Özel iş akışları için bağlam ikilisi ONNX dosyasını doğrudan ONNX Runtime ile de yükleyebilirsin. onnxruntime-qnn bir eklenti Execution Provider'dır, bu yüzden çalışma zamanında kaydettir:

import onnxruntime as ort
import onnxruntime_qnn as qnn_ep

# On the Snapdragon device, register the QNN plugin EP and select its device(s)
ort.register_execution_provider_library("QNNExecutionProvider", qnn_ep.get_library_path())
devices = [d for d in ort.get_ep_devices() if d.ep_name == "QNNExecutionProvider"]

options = ort.SessionOptions()
options.add_provider_for_devices(devices, {"backend_path": qnn_ep.get_qnn_htp_path()})
session = ort.InferenceSession("yolo26n_qnn.onnx", sess_options=options)
outputs = session.run(None, {"images": input_tensor})  # input_tensor: float32 NCHW

QNN bağlam ikilisi önceden derlendiği için oturum, cihaz üzerinde grafiği yeniden derlemeden hızlı bir şekilde yüklenir.

Link to this sectionÖnerilen İş Akışı#

1. Modelini Ultralytics Eğitim Modu kullanarak Eğit
2. Desteklenen bir platformda (Windows x64 veya ARM64 ya da Linux ARM64) model.export(format="qnn") kullanarak QNN formatına Dışa Aktar
3. Dışa aktarılan *_qnn.onnx dosyasını Snapdragon cihazına Dağıt
4. HTP, GPU veya CPU arka ucunu seçerek ONNX Runtime ve QNN Execution Provider ile çıkarım Çalıştır

Link to this sectionGerçek Dünya Uygulamaları#

Qualcomm Snapdragon donanımı üzerinde çalışan YOLO modelleri, çok çeşitli uç yapay zeka uygulamaları için oldukça uygundur:

• Akıllı telefonlar: Kamera ve fotoğraf uygulamalarında NPU hızlandırması ile gerçek zamanlı nesne algılama ve sahne anlama.
• Windows on Snapdragon: Copilot+ PC'lerde buluta ihtiyaç duymadan cihaz üzerinde bilgisayarlı görü.
• Otomotiv: Snapdragon Digital Chassis platformlarında sürücü izleme, yolcu algılama ve ADAS özellikleri.
• XR ve Giyilebilir Cihazlar: AR/VR başlıkları ve akıllı gözlükler için düşük güçlü, düşük gecikmeli algılama.
• IoT ve Robotik: Snapdragon destekli kameralar, dronlar ve gömülü sistemlerde verimli görü çıkarımı.

Link to this sectionÖzet#

Bu kılavuzda, Ultralytics YOLO modellerini ONNX Runtime QNN Execution Provider ile yerel olarak Qualcomm QNN formatına nasıl dışa aktaracağını öğrendin. Dışa aktarma hattı, modelini ONNX'e dönüştürür ve ardından ana bilgisayarında bir QNN bağlam ikilisine derler — Qualcomm hesabı veya bulut gerekmez — QNN/QAIRT çalışma zamanı aracılığıyla Snapdragon CPU, Adreno GPU ve Hexagon NPU donanımı için optimize edilmiş bir *_qnn.onnx dosyası üretir.

Ultralytics YOLO ve Qualcomm'un cihaz içi AI yığınının kombinasyonu, geniş Snapdragon ekosisteminde gelişmiş bilgisayarlı görü iş yüklerini çalıştırmak için etkili bir çözüm sunar.

Diğer cihaz içi ve mobil dağıtım hedefleri için ilgili ONNX, CoreML, NCNN, TFLite, ExecuTorch, RKNN, Sony IMX500 ve TensorRT dışa aktarma kılavuzlarına bak. Dağıtım öncesinde formatları karşılaştırmak için Kıyaslama modunu kullan. Formatların ve seçeneklerin tam listesi için Dışa Aktarma modu belgelerini ve entegrasyon kılavuzu sayfasını ziyaret et.

Link to this sectionSSS#

Link to this sectionUltralytics YOLO modelimi QNN formatına nasıl dışa aktarırım?#

Modelini Python'daki export() yöntemiyle veya CLI üzerinden format="qnn" ile dışa aktarabilirsin. Dışa aktarma önce bir ONNX modeli oluşturur, ardından ONNX Runtime QNN Execution Provider kullanarak bunu yerel olarak bir QNN bağlam ikilisine derler. onnxruntime-qnn paketi ilk dışa aktarmada otomatik olarak kurulur.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(format="qnn")

Link to this sectionQualcomm hesabına veya bulut erişimine ihtiyacım var mı?#

Hayır. QNN dışa aktarımı, QAIRT kütüphanelerini içeren onnxruntime-qnn paketi kullanılarak tamamen yerel bilgisayarında çalışır. Hiçbir Qualcomm hesabı, API anahtarı veya ağ erişimi gerekmez.

Link to this sectionUltralytics QNN dışa aktarımı, Qualcomm AI Hub ile nasıl karşılaştırılır?#

Qualcomm AI Hub, modelleri barındırılan Snapdragon cihazlarında derlemek, profillemek ve kıyaslamak için Qualcomm'un bulut hizmetidir ve bir Qualcomm hesabı gerektirir. Ultralytics QNN dışa aktarımı aynı QNN/QAIRT çalışma zamanını (Snapdragon CPU, Adreno GPU ve Hexagon NPU) hedefler ancak bağlam ikilisini ONNX Runtime QNN Execution Provider ile yerel olarak derler — hesap, yükleme veya bekleme süresi yoktur. Standart YOLO dışa aktarma iş akışı içinde doğrudan bir .pt modelinden Snapdragon'a hazır bir yapıya geçmenin en hızlı yoludur.

Link to this sectionHangi platformlarda dışa aktarma yapabilirim?#

onnxruntime-qnn Windows (x64 ve ARM64) ve Linux ARM64 (aarch64) için önceden derlenmiş tekerlekler sunar; Linux x86-64 üzerinde ONNX Runtime'ı --use_qnn ile kaynaktan derle (önceden derlenmiş tekerlek yayınlanmamıştır ve macOS desteklenen bir QNN ana bilgisayarı değildir). Bağlam ikilisi oluşturma işlemi bir x64 ana bilgisayarda — Windows x64 veya Linux x86-64 — çalışır ve fiziksel bir Snapdragon cihazı gerektirmez.

Link to this sectionYOLO'yu Qualcomm Snapdragon NPU'sunda nasıl çalıştırırım?#

model.export(format="qnn") ile dışa aktar, elde edilen yolo26n_qnn.onnx dosyasını Snapdragon cihazına kopyala ve yolo predict model=yolo26n_qnn.onnx source=image.jpg (veya yolo val) komutunu çalıştır. Ultralytics, bağlam ikilisini ONNX Runtime QNN Execution Provider aracılığıyla yükler ve Hexagon NPU üzerinde çalıştırır — Dışa Aktarılan YOLO QNN Modellerini Dağıtma bölümüne bak.

Link to this sectionQNN ve SNPE arasındaki fark nedir?#

QNN (Qualcomm AI Engine Direct, QAIRT SDK'nın bir parçası), Qualcomm'un mevcut çıkarım yığınıdır ve eski Snapdragon Neural Processing Engine (SNPE) SDK'sı için önerilen yedek parçadır. Yeni dağıtımlar QNN'i hedeflemelidir.

Link to this sectionQNN modelini yolo predict ve yolo val ile çalıştırabilir miyim?#

Evet, onnxruntime-qnn yüklü bir Qualcomm Snapdragon cihazında — YOLO("yolo26n_qnn.onnx"), bağlam ikilisini QNN Execution Provider aracılığıyla yükler ve predict/val işlemlerini diğer herhangi bir format gibi çalıştırır. QNN donanımı olmayan bir x86 ana bilgisayarında model, bağlam ikilisi Snapdragon NPU'sunu hedeflediği için yürütülemez.

Link to this sectionQNN dışa aktarımının çıktısı nedir?#

The export creates a self-contained context-binary ONNX file (e.g., yolo26n_qnn.onnx) with class names, image size, task, and other model metadata embedded in ONNX metadata_props.