تصدير Qualcomm QNN لنماذج Ultralytics YOLO#

يتطلب نشر نماذج رؤية الكمبيوتر على أجهزة Qualcomm Snapdragon تنسيق نموذج مضبوطاً خصيصاً لمشغل Qualcomm AI Engine Direct (QNN). يتيح لك تصدير نماذج Ultralytics YOLO إلى تنسيق QNN تشغيل استدلال مسرع ومحلي على الجهاز عبر وحدة معالجة المركز Snapdragon CPU، ووحدة معالجة الرسوميات Adreno GPU، ومعدات وحدة المعالجة العصبيّة Hexagon NPU الموجودة في مليارات الهواتف المحمولة، وأجهزة الحاسوب المحمول، وأنظمة السيارات، وأجهزة إنترنت الأشياء (IoT). يوضح هذا الدليل كيفية تصدير YOLO إلى Qualcomm QNN ونشره للاستدلال السريع ومنخفض الطاقة على عتاد Snapdragon.

ما هو Qualcomm QNN؟#

Qualcomm AI Engine Direct - المُشار إليها غالباً باسم QNN والموزعة كجزء من حزمة أدوات تطوير Qualcomm AI Runtime (QAIRT) SDK - هي حزمة استدلال منخفضة المستوى من Qualcomm لمعالجات Snapdragon. وهي توفر واجهة برمجة تطبيقات (API) موحدة مع مكتبات خاصة بالخلفية تستهدف وحدة معالجة المركز Snapdragon CPU، ووحدة معالجة الرسوميات Adreno GPU، ومعالج موتر Hexagon Tensor Processor (HTP)، وهو وحدة معالجة الشبكات العصبية (NPU) المخصصة داخل وحدات System-on-Chip (SoC) الحديثة من Snapdragon. تمنح QNN المطورين وصولاً كاملاً إلى مسرعات الذكاء الاصطناعي هذه في Snapdragon وهي الخلف الحديث لحزمة أدوات Snapdragon Neural Processing Engine (SNPE) القديمة. وهي تشغل الذكاء الاصطناعي المحلي على الجهاز عبر منصات الهاتف المحمول Snapdragon 8 Gen 2 و8 Gen 3 و8 Elite، وأجهزة الحاسوب المحمول Snapdragon X، ومنتجات السيارات والواقع الممتد (XR).

لماذا يتم التصدير إلى Qualcomm QNN؟#

تعد Snapdragon منصة الحوسبة المحمولة الأكثر انتشاراً في العالم. يؤدي تصدير Ultralytics YOLO إلى تنسيق Qualcomm QNN إلى فتح أجهزة الذكاء الاصطناعي المخصصة على هذه الأجهزة:

• تسريع Hexagon NPU: إن تشغيل YOLO على معالج Hexagon Tensor Processor يوفر إنتاجية أعلى بشكل ملحوظ واستهلاكاً أقل للطاقة مقارنة بالاستدلال على وحدة معالجة المركز (CPU) - وهو مثالي لـالاستدلال في الوقت الفعلي ورؤية الكمبيوتر المستمرة على Snapdragon.
• على الجهاز ودون اتصال بالإنترنت: يعمل استنتاج QNN بالكامل على جهاز Snapdragon، لذا لا توجد رحلات ذهاب وإياب إلى السحابة، وتبقى زمن الوصول منخفضاً، ولا تغادر البيانات الجهاز أبداً.
• الكفاءة الكمية: يقوم تصدير QNN بـتقييس نماذج YOLO إلى أوزان INT8 مع تنشيطات بـ 16 بت، وهو توازن الدقة/الأداء المفضل لوحدة Hexagon NPU، مما يقلل من حجم النموذج ويحسّن الإطارات في الثانية إلى أقصى حد على الأجهزة التي تعمل بالبطارية.
• تنسيق واحد، أجهزة متعددة: يستهدف تصدير Qualcomm QNN واحد معالجات Snapdragon CPU و Adreno GPU و Hexagon NPU عبر عائلات Snapdragon 8 Gen 2 و 8 Gen 3 و 8 Elite وما بعدها.
• مكدس ذكاء اصطناعي من Qualcomm جاهز للإنتاج: يعد QNN (Qualcomm AI Engine Direct / QAIRT) هو وقت تشغيل الذكاء الاصطناعي الحالي من Qualcomm الذي يتم صيانته بنشاط والبديل الموصى به لـ SNPE.

تنسيق تصدير QNN#

تقوم Ultralytics بتجميع نماذج YOLO لـ QNN محلياً باستخدام موفر تنفيذ ONNX Runtime QNN (حزمة onnxruntime-qnn القابلة للتثبيت عبر pip، والتي تضم مكتبات QAIRT). يقوم المُصدِّر بتحويل نموذجك إلى ONNX، وتقييسه باستخدام بيانات المعايرة إلى تنشيطات بـ 16 بت وأوزان INT8 (التوازن الموصى به لوحدة Hexagon NPU)، ثم يتهيئة جلسة ONNX Runtime مع تمكين التخزين المؤقت للثنائيات السياقية (context-binary caching) - وهذا يجمع الرسم البياني المُقايس في ملف سياق ثنائي لـ QNN مدمج في <model>_qnn.onnx. لا يلزم وجود حساب Qualcomm أو تحميل سحابي أو تنزيل حزمة أدوات تطوير (SDK) منفصلة.

على عكس Qualcomm AI Hub المستند إلى السحابة، والذي يقوم بتجميع النماذج وتوصيفها على أجهزة Snapdragon المستضافة من قبل Qualcomm ويتطلب حساباً على Qualcomm، فإن تصدير Ultralytics QNN يعمل بالكامل على جهازك الخاص من خلال استدعاء واحد لـ export(format="qnn", imgsz=640) (imgsz=224 للتصنيف). تحصل على نفس هدف تشغيل QNN/QAIRT - وحدة معالجة المركز Snapdragon CPU، ووحدة معالجة الرسوميات Adreno GPU، ووحدة المعالجة العصبية Hexagon NPU - دون تسجيل، أو حدود تحميل، أو أوقات انتظار، ويندمج مباشرة في سير عمل تصدير YOLO القياسي.

ملف *_qnn.onnx المُصدَّر مكتمل بذاته: فهو يدمج الثنائي السياقي لـ QNN وبيانات ONNX التعريفية مثل أسماء الفئات، وحجم الصورة، والمهمة.

الميزات الرئيسية لنماذج QNN#

• التقييس الكمي: يتم تقييس النموذج إلى تنشيطات بـ 16 بت وأوزان INT8 باستخدام تدفق التقييس الكمي ONNX Runtime QNN QDQ ومجموعة بيانات المعايرة، وهو توازن الدقة/الأداء الموصى به لوحدة Hexagon NPU. تعرف على المزيد حول تقييس النماذج.
• تجميع محلي بالكامل: يتم إنشاء ثنائي السياق بالكامل على جهازك المضيف - لا حاجة لحساب Qualcomm أو رمز API أو تحميل سحابي.
• تسريع كامل لـ Snapdragon: قم بتشغيل الاستنتاج على Hexagon NPU (HTP) أو Adreno GPU أو CPU من خلال وقت تشغيل موحد واحد.
• نطاق واسع من الأجهزة: استهدف مجموعة واسعة من منصات Snapdragon التي يتم شحنها في الهواتف، وأجهزة الكمبيوتر (Windows على Snapdragon)، والسيارات، ومنتجات XR، والمنتجات المدمجة.
• ثنائي سياق مجمع مسبقاً (Precompiled Context Binary): يقلل شحن ثنائي السياق من تجميع الرسم البياني على الجهاز، مما يقلل من زمن تحميل النموذج على الهدف.
• مخرج مكتفٍ ذاتياً: يحتوي ملف ONNX المُصدّر على ثنائي سياق QNN المجمع مسبقاً والبيانات الوصفية للنشر المباشر.

الأداء المقاس#

هاتف Android#

العتاد: Xiaomi 17 بذاكرة LPDDR5X سعة 12 جيجابايت ونظام Android 16 / API 36. معالجها بحجم 3 نانومتر Snapdragon 8 Elite Gen 5 (SM8850) يضم وحدة معالجة مركزية Qualcomm Oryon ذات 8 أنوية (نواتان أساسيتان حتى 4.6 جيجاهرتز و6 أنوية أداء حتى 3.62 جيجاهرتز)، ووحدة معالجة رسوميات Adreno GPU، ووحدة معالجة عصبية Hexagon NPU (HTP v81).

• قيم السرعة هي زمن انتقال الدفعات للصور الفردية - وهو متوسط 15 تشغيلاً بعد 3 عمليات إحماء على bus.jpg، مقياسة باستخدام أداة قياس الأداء على الجهاز 0.6.10 الخاصة بـ Flutter plugin وأصول v0.6.6 القياسية. تم تناوب ترتيب الخلفيات بين المهام في جولة متسلسلة واحدة. أكدت السجلات المحلية أن كل صف من صفوف وحدة معالجة المركز استخدم LiteRT CPU/XNNPACK، وأن كل صف من صفوف وحدة معالجة الرسوميات قام بتفويض الرسم البياني الكامل إلى LiteRT OpenCL (LITERT_CL)، واستخدم كل صف من صفوف NPU خلفية QNN Hexagon HTP.
• سجل قياس الأداء المفصل موجود في مستند أداء Flutter.
• قارن بين أجهزة Android الأخرى في تكامل LiteRT وأجهزة Apple في تكامل CoreML.

حاسوب محمول يعمل بنظام Windows على معالج Snapdragon#

استخدم هذا الاستعراض التاريخي ثنائيات QNN v73 السابقة القياسية؛ واستخدمت النماذج الدلالية ونماذج OBB مدخلات بابعاد 1024 بكسل. وقد تم تشغيله على حاسوب محمول من Lenovo بذاكرة 32 جيجابايت ونظام Windows 11. يحتوي Snapdragon X Elite (X1E78100) الخاص به على وحدة معالجة مركزية Qualcomm Oryon بـ 12 نواة، ووحدة معالجة رسوميات Adreno GPU، ووحدة معالجة عصبية Hexagon NPU (HTP v73)؛ ولم يتم تسجيل طراز Lenovo الدقيق. تقارن مقارنة Windows-on-Snapdragon هذه خط الأساس لوحدة المعالجة المركزية PyTorch FP32 الأصلية التي يبدأ منها معظم مطوري أجهزة سطح المكتب مقابل مسار ONNX Runtime QNN Hexagon HTP. يعرض كل خليه إجمالي وقت الاستجابة لـ model.predict() مع مواعيد المعالجة المسبقة / الاستدلال / المعالجة اللاحقة المُبلغ عنها أسفله؛ قد يتضمن الإجمالي النفقات العامة للإطار خارج تلك المراحل الثلاث. أرقام وحدة المعالجة المركزية هي PyTorch FP32 (torch==2.10.0+cpu) وأرقام NPU هي ONNX Runtime QNN (onnxruntime-qnn==2.2.0، أوزان INT8 / تنشيطات بـ 16 بت).

• قيم السرعة هي زمن انتقال الدفعات للصور الفردية - وهو متوسط 100 تشغيل بعد 10 عمليات إحماء على bus.jpg، مقياسة باستخدام time.perf_counter() حول استدلال model.predict() الكامل على جهاز بارد حرارياً (ultralytics==8.4.67، Python 3.12.10).
• تعمل Hexagon NPU بشكل أسرع بحوالي 2-4 مرات من PyTorch CPU الأساسي عبر مهام 640-1024 بكسل (الكشف ~3.4 مرات)، وتتقلص الفجوة إلى ~1.3 مرة في مصنف 224 بكسل حيث يهيمن الحمل الزائد للمعالجة المسبقة الثابتة على عبء العمل الصغير.

المهام المدعومة#

يدعم تصدير Qualcomm QNN جميع مهام Ultralytics السبعة. تجزئة الدلالات وتقدير العمق متاحان فقط مع YOLO26، العائلة الوحيدة التي توفر تلك الرؤوس.

التصدير إلى QNN: تحويل نموذج YOLO الخاص بك#

قم بتصدير نموذج Ultralytics YOLO إلى تنسيق QNN للنشر على أجهزة Qualcomm. يتم إنهاء الملف الثنائي السياقي لهندسة معالجة موتر Hexagon (HTP) مستهدفة أو SoC مدعوم، والذي تحدده باستخدام وسيط name - وهو نفس الوسيط المستخدم استهداف رقاقة في تصدير RKNN.

أهداف HTP المدعومة#

قم تمرير بنية الهدف أو SoC عبر name (على سبيل المثال name="73" أو name="iq-8275"). يتم تحديد الدعم بواسطة الهدف HTP، لذا فإن صفوف Snapdragon أدناه هي منصات ممثلة وليست قائمة شاملة لكل SoC. تم سرد أجهزة Dragonwing صراحة.

لا يمكن لـ Dragonwing IQ-615 استخدام تصدير الملف الثنائي لسياق Ultralytics QNN لأن ONNX Runtime لا يعرض DSP v66 كهدف HTP غير متصل بالإنترنت. لا يزال من الممكن دمج تصدير ONNX قياسي بشكل منفصل مع موفر تنفيذ CPU أو GPU مدعوم بواسطة حزمة دعم اللوحة (BSP).

from ultralytics import YOLO

model = YOLO("best.pt")
model.export(format="qnn", name="iq-8275", imgsz=640)

التثبيت#

لتثبيت الحزم المطلوبة، قم بتشغيل:

# Install the required package for YOLO
pip install ultralytics

يتم تثبيت حزمة onnxruntime-qnn (التي توفر موفر تنفيذ ONNX Runtime QNN وتضم مكتبات QAIRT) تلقائياً عند التصدير الأول. للحصول على إرشادات مفصلة وأفضل الممارسات المتعلقة بعملية التثبيت، راجع دليل تثبيت Ultralytics. أثناء تثبيت الحزم المطلوبة لـ YOLO، إذا واجهت أي صعوبات، فراجع دليل المشكلات الشائعة للحلول والنصائح.

الاستخدام#

يدعم تنسيق QNN أوضاع التصدير Export، والتنبؤ Predict، والتحقق Validate. يتم تشغيل الاستدلال والتحقق على عتاد Qualcomm Snapdragon من خلال موفر تنفيذ QNN الخاص بـ ONNX Runtime (وهي نفس حزمة onnxruntime-qnn المستخدمة للتصدير). قم بتصدير نموذجك، ثم قم بتحميل النموذج المُصدَّر على جهاز Snapdragon لتشغيل الاستدلال أو التحقق من داقته.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export to Qualcomm QNN format (INT8, enforced automatically) for the default v73 HTP target
model.export(format="qnn", name="73", imgsz=640)  # use imgsz=224 for classification

from ultralytics import YOLO

# Load the exported QNN model (on a Snapdragon device with onnxruntime-qnn)
model = YOLO("yolo26n_qnn.onnx")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported QNN model (on a Snapdragon device with onnxruntime-qnn)
model = YOLO("yolo26n_qnn.onnx")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

وسائط التصدير#

لمزيد من التفاصيل حول عملية التصدير، تفضل بزيارة صفحة وثائق Ultralytics حول التصدير.

هيكل المخرجات#

بعد تصدير ناجح، يتم إنشاء ملف ONNX مكتفٍ ذاتياً:

يضم ملف yolo26n_qnn.onnx الثنائي السياقي لـ QNN ويتم تحميله بواسطة ONNX Runtime باستخدام موفر تنفيذ QNN على جهاز Snapdragon. كما أنه يحمل بيانات نموذجية تعريفية مثل أسماء الفئات، وحجم الصورة، والمهمة في ONNX metadata_props.

نشر نماذج YOLO QNN المُصدّرة#

تعمل نماذج QNN على عتاد Qualcomm المدعوم، مما يجعل نشر النماذج على الجهاز أمراً مباشراً. على جهاز متوافق مع تثبيت onnxruntime-qnn، قم بتشغيل النموذج المُصدَّر مباشرة باستخدام واجهة برمجة تطبيقات Ultralytics (yolo predict/yolo val، انظر الاستخدام Usage أعلاه) - تقوم Ultralytics بتحميل الثنائي السياقي لـ HTP من خلال موفر تنفيذ ONNX Runtime QNN.

بالنسبة لخطوط الأنابيب المخصصة، يمكنك أيضاً تحميل ثنائي سياق ONNX مباشرة باستخدام ONNX Runtime. onnxruntime-qnn هو موفر تنفيذ إضافي (plugin)، لذا قم بتسجيله وقت التشغيل:

import onnxruntime as ort
import onnxruntime_qnn as qnn_ep

# On the Snapdragon device, register the QNN plugin EP and select its device(s)
ort.register_execution_provider_library("QNNExecutionProvider", qnn_ep.get_library_path())
devices = [d for d in ort.get_ep_devices() if d.ep_name == "QNNExecutionProvider"]

options = ort.SessionOptions()
options.add_provider_for_devices(devices, {"backend_path": qnn_ep.get_qnn_htp_path()})
session = ort.InferenceSession("yolo26n_qnn.onnx", sess_options=options)
input_info = session.get_inputs()[0]
outputs = session.run(None, {input_info.name: input_tensor})  # input_tensor: float32 NHWC

نظراً لأن ثنائي سياق QNN مجمع مسبقاً، يتم تحميل الجلسة بسرعة دون إعادة تجميع الرسم البياني على الجهاز.

متطلبات Linux و Yocto BSP#

يجب أن يوفر لوحة الهدف نظام تشغيل Qualcomm متوافقاً متبادلاً وBSP. بالنسبة للاستدلال عبر HTP، يتضمن ذلك موفر تنفيذ ONNX Runtime QNN، وlibQnnSystem.so، وlibQnnHtp.so، ومكتبات جذع وهيكل HTP v75 لـ IQ-8275، ودعم مساحة المستخدم لـ FastRPC مثل libcdsprpc.so، والبرامج الثابتة لـ DSP، وبرامج FastRPC/النواة المقابلة. يجب أن تكون مكتبة الهيكل قابلة للاكتشاف من خلال مسار مكتبة DSP الخاص بـ BSP.

تأتي هذه المكونات الموجودة على جانب الهدف من BSP الممكن لـ QAIRT/QNN الخاص ببائع اللوحة؛ فهي غير مدمجة في النموذج المُصدَّر. يتطلب تنفيذ وحدة معالجة الرسوميات بدلاً من ذلك libQnnGpu.so ومكدس برامج تشغيل مساحة المستخدم Adreno المطابق. إن إخراج Ultralytics format=qnn هو ثنائي سياقي خاص بـ HTP، لذا يجب أن يبدأ نشر وحدة معالجة الرسوميات أو وحدة معالجة المركز من تصدير ONNX قياسي بدلاً من ملف *_qnn.onnx المُجمَّع مسبقاً.

سير العمل الموصى به#

1. درّب نموذجك باستخدام وضع التدريب من Ultralytics
2. تصدير إلى تنسيق QNN باستخدام model.export(format="qnn", name="iq-8275", imgsz=640) على منصة مدعومة (استخدم imgsz=224 للتصنيف)
3. انشر ملف *_qnn.onnx المُصدَّر على جهاز Qualcomm الخاص بك
4. تشغيل الاستدلال باستخدام ONNX Runtime وموفر تنفيذ QNN باستخدام الواجهة الخلفية HTP

تطبيقات العالم الحقيقي#

تعد نماذج YOLO التي تعمل على عتاد Qualcomm Snapdragon مناسبة تماماً لمجموعة واسعة من تطبيقات الحوسبة الطرفية للذكاء الاصطناعي (edge AI):

• الهواتف الذكية: كشف الكائنات في الوقت الفعلي وفهم المشاهد في تطبيقات الكاميرا والصور مع تسريع NPU.
• Windows على Snapdragon: رؤية حاسوبية على الجهاز في أجهزة Copilot+ PCs دون تفريغ إلى السحابة.
• السيارات: مراقبة السائق، واكتشاف الركاب، وميزات ADAS على منصات Snapdragon Digital Chassis.
• XR والأجهزة القابلة للارتداء: إدراك منخفض الطاقة وزمن انتقال منخفض لسماعات AR/VR والنظارات الذكية.
• إنترنت الأشياء والروبوتات: استنتاج رؤية فعال على الكاميرات والطائرات بدون طيار والأنظمة المدمجة التي تعمل بنظام Snapdragon.

ملخص#

في هذا الدليل، تعلمت كيفية تصدير نماذج Ultralytics YOLO إلى تنسيق Qualcomm QNN محلياً باستخدام موفر تنفيذ ONNX Runtime QNN. يقوم خط أنابيب التصدير بتحويل نموذجك إلى ONNX، ثم يجمعه في ثنائي سياق QNN على جهازك المضيف - دون الحاجة إلى حساب Qualcomm أو سحابة - مما ينتج عنه ملف *_qnn.onnx مُحسَّن لوحدة معالجة المركز Snapdragon CPU، ووحدة معالجة الرسوميات Adreno GPU، وعِتاد Hexagon NPU عبر مشغل QNN/QAIRT.

يوفر الجمع بين Ultralytics YOLO ومكدس الذكاء الاصطناعي المحلي من Qualcomm حلاً فعالاً لتشغيل أحمال عمل رؤية الكمبيوتر المتقدمة عبر النظام البيئي الواسع لـ Snapdragon.

للاطلاع على أهداف النشر الأخرى على الأجهزة المحمولة والأجهزة المحلية، راجع أدلة التصدير ذات الصلة لـ ONNX، وCoreML، وNCNN، وLiteRT، وExecuTorch، وRKNN، وSony IMX500، وTensorRT. لمقارنة التنسيقات قبل الشحن، استخدم وضع قياس الأداء (Benchmark mode). للحصول على القائمة الكاملة للتنسيقات والخيارات، تفضل بزيارة وثائق وضع التصدير (Export mode) وصفحة دليل التكاملات.

الأسئلة الشائعة#