تصدير Qualcomm QNN لنماذج Ultralytics YOLO#

يتطلب نشر نماذج الرؤية الحاسوبية على أجهزة Qualcomm Snapdragon تنسيقًا للنموذج مُهيأً لوقت تشغيل Qualcomm AI Engine Direct (QNN). يتيح تصدير نماذج Ultralytics YOLO إلى تنسيق QNN تشغيل الاستدلال المسرّع على الجهاز عبر وحدات CPU وGPU Adreno وNPU Hexagon في Snapdragon، وهي عتاد موجود في مليارات الهواتف المحمولة والحواسيب المحمولة وأنظمة السيارات وأجهزة إنترنت الأشياء. يشرح هذا الدليل كيفية تصدير YOLO إلى Qualcomm QNN ونشره للاستدلال السريع منخفض الطاقة على أجهزة Snapdragon.

ما هو Qualcomm QNN؟#

إن Qualcomm AI Engine Direct، المعروف عادةً باسم QNN والموزع ضمن SDK الخاص بـ Qualcomm AI Runtime (QAIRT)، هو حزمة الاستدلال منخفضة المستوى من Qualcomm لمعالجات Snapdragon. يوفر واجهة API موحدة مع مكتبات خاصة بالواجهات الخلفية تستهدف وحدة CPU في Snapdragon ووحدة GPU Adreno ومعالج Hexagon Tensor Processor (HTP)، وهي وحدة معالجة الشبكات العصبية (NPU) المخصصة داخل أنظمة SoC الحديثة من Snapdragon. يمنح QNN المطورين إمكانية الوصول إلى مجموعة متكاملة من مسرّعات الذكاء الاصطناعي في Snapdragon، وهو الخلف الحديث لـ SDK الأقدم Snapdragon Neural Processing Engine (SNPE). ويشغّل الذكاء الاصطناعي على الجهاز عبر منصات الأجهزة المحمولة Snapdragon 8 Gen 2 و8 Gen 3 و8 Elite، وحواسيب Snapdragon X المحمولة، ومنتجات السيارات والواقع الممتد (XR).

لماذا التصدير إلى Qualcomm QNN؟#

تُعد Snapdragon أكثر منصات الحوسبة المحمولة انتشارًا في العالم. ويتيح تصدير Ultralytics YOLO إلى تنسيق Qualcomm QNN الاستفادة من عتاد الذكاء الاصطناعي المخصص في هذه الأجهزة:

• تسريع NPU ‏Hexagon: يؤدي تشغيل YOLO على Hexagon Tensor Processor إلى معدل نقل أعلى بكثير واستهلاك طاقة أقل من الاستدلال على CPU، ما يجعله مثاليًا لـالاستدلال في الوقت الفعلي والرؤية الحاسوبية المستمرة التشغيل على Snapdragon.
• على الجهاز ودون اتصال: يعمل استدلال QNN بالكامل على جهاز Snapdragon، فلا توجد اتصالات ذهابًا وإيابًا مع السحابة، ويبقى زمن الاستجابة منخفضًا، ولا تغادر البيانات الجهاز مطلقًا.
• كفاءة التكميم: يُجري تصدير QNN تكميمًا لـ YOLO إلى أوزان INT8 مع عمليات تنشيط 16 بت، وهو التوازن المفضل بين الدقة والأداء لدى NPU ‏Hexagon، ما يقلص حجم النموذج ويزيد عدد الإطارات في الثانية على الأجهزة العاملة بالبطارية.
• تنسيق واحد لأجهزة عديدة: يستهدف تصدير Qualcomm QNN واحد وحدات CPU في Snapdragon وGPU Adreno وNPU Hexagon ضمن عائلات Snapdragon 8 Gen 2 و8 Gen 3 و8 Elite وما بعدها.
• حزمة Qualcomm AI جاهزة للإنتاج: يُعد QNN (Qualcomm AI Engine Direct / QAIRT) وقت تشغيل Qualcomm الحالي للذكاء الاصطناعي على الجهاز، والذي يحظى بصيانة نشطة، وهو البديل الموصى به لـ SNPE.

تنسيق تصدير QNN#

تُجمّع Ultralytics نماذج YOLO إلى QNN محليًا باستخدام موفّر تنفيذ QNN في ONNX Runtime (حزمة onnxruntime-qnn القابلة للتثبيت عبر pip، والتي تتضمن مكتبات QAIRT). يحوّل المُصدّر نموذجك إلى ONNX، ثم يُكمّمه باستخدام بيانات المعايرة إلى عمليات تنشيط 16 بت وأوزان INT8 (التوازن الموصى به لـ NPU ‏Hexagon)، ثم يهيّئ جلسة ONNX Runtime مع تفعيل التخزين المؤقت للثنائي السياقي، ما يجمّع الرسم البياني المكمّم في ثنائي سياق QNN مضمّن في <model>_qnn.onnx. لا يلزم حساب Qualcomm أو تحميل إلى السحابة أو تنزيل SDK منفصل.

على عكس Qualcomm AI Hub السحابي، الذي يجمّع النماذج ويحلل أداءها على أجهزة Snapdragon المستضافة لدى Qualcomm ويتطلب حساب Qualcomm، يعمل تصدير Ultralytics QNN بالكامل على جهازك باستخدام استدعاء واحد لـ export(format="qnn", imgsz=640) (imgsz=224 للتصنيف). تحصل على هدف وقت تشغيل QNN/QAIRT نفسه — وحدات CPU في Snapdragon وGPU Adreno وNPU Hexagon — من دون تسجيل أو حدود للتحميل أو أوقات انتظار في الطوابير، كما يندمج مباشرةً في سير عمل تصدير YOLO القياسي.

ملف *_qnn.onnx المُصدّر مكتفٍ ذاتيًا: فهو يضمّن ثنائي سياق QNN وبيانات ONNX الوصفية، مثل أسماء الفئات وحجم الصورة والمهمة.

الميزات الرئيسية لنماذج QNN#

• التكميم: يُكمّم النموذج إلى عمليات تنشيط 16 بت وأوزان INT8 باستخدام مسار QNN QDQ في ONNX Runtime ومجموعة بيانات معايرة، وهو التوازن الموصى به بين الدقة والأداء لدى NPU ‏Hexagon. تعرّف على المزيد حول تكميم النماذج.
• التجميع المحلي بالكامل: يُنشأ ثنائي السياق بالكامل على الجهاز المضيف، من دون حساب Qualcomm أو رمز API أو تحميل إلى السحابة.
• تسريع كامل على Snapdragon: شغّل الاستدلال على NPU ‏Hexagon (HTP) أو GPU Adreno أو CPU من خلال وقت تشغيل موحد واحد.
• نطاق واسع من الأجهزة: استهدف مجموعة واسعة من منصات Snapdragon المستخدمة في الهواتف والحواسيب (Windows على Snapdragon) والسيارات والواقع الممتد (XR) والمنتجات المضمنة.
• ثنائي سياق مُجمّع مسبقًا: يقلل شحن ثنائي السياق من تجميع الرسم البياني على الجهاز، ما يخفض زمن تحميل النموذج على الجهاز المستهدف.
• مخرجات مكتفية ذاتيًا: يتضمن ملف ONNX المُصدّر ثنائي سياق QNN المُجمّع مسبقًا والبيانات الوصفية لتسهيل النشر.

الأداء المقاس#

هاتف Android#

العتاد: Xiaomi 17 بذاكرة LPDDR5X سعتها 12 GB ونظام Android 16 / API 36. ويضم معالج Snapdragon 8 Elite Gen 5 بدقة تصنيع 3 nm (SM8850) وحدة CPU من Qualcomm Oryon ذات 8 أنوية (نواتان Prime بتردد يصل إلى 4.6 GHz و6 أنوية Performance بتردد يصل إلى 3.62 GHz)، ووحدة GPU من Adreno، ووحدة NPU من Hexagon (HTP v81).

• قيم السرعة هي زمن استجابة اندفاعي لصورة واحدة — متوسط 15 تشغيلًا بعد 3 عمليات إحماء على bus.jpg، وقِيست باستخدام أداة الاختبار المعيارية على الجهاز 0.6.10 الخاصة بـإضافة Flutter وأصول v0.6.6 المعيارية. وتناوب ترتيب الواجهات الخلفية بين المهام في دورة متتابعة واحدة. وأكدت السجلات الأصلية أن كل صف CPU استخدم LiteRT CPU/XNNPACK، وأن كل صف GPU فوّض الرسم البياني كاملًا إلى LiteRT OpenCL (LITERT_CL)، وأن كل صف NPU استخدم الواجهة الخلفية QNN Hexagon HTP.
• يتوفر سجل الاختبار المعياري المفصل في وثيقة أداء Flutter.
• قارن أجهزة Android الأخرى في تكامل LiteRT، وأجهزة Apple في تكامل CoreML.

حاسوب محمول بنظام Windows على Snapdragon#

استخدمت هذه الدورة التاريخية ثنائيات QNN من v73 سابقة للمعيار؛ وكانت مدخلات الدلالات وOBB بدقة 1024px. وأُجريت على حاسوب Lenovo محمول بذاكرة 32 GB ونظام Windows 11. ويضم Snapdragon X Elite (X1E78100) وحدة CPU من Qualcomm Oryon ذات 12 نواة، ووحدة GPU من Adreno، ووحدة NPU من Hexagon (HTP v73)؛ ولم يُسجّل طراز Lenovo الدقيق. تقارن هذه النتائج على Windows بنظام Snapdragon خط الأساس الأصلي لوحدة CPU، وهو PyTorch FP32 الذي يبدأ به معظم مطوري الحواسيب المكتبية، بمسار ONNX Runtime QNN Hexagon HTP. تعرض كل خلية الوقت الإجمالي الكامل لـ model.predict() مع أزمنة المعالجة المسبقة والاستدلال والمعالجة اللاحقة المُبلّغ عنها أسفلها؛ وقد يشمل الإجمالي عبء عمل إطار العمل خارج هذه المراحل الثلاث. أرقام CPU هي PyTorch FP32 (torch==2.10.0+cpu)، وأرقام NPU هي ONNX Runtime QNN (onnxruntime-qnn==2.2.0، أوزان INT8 / عمليات تنشيط 16 بت).

• تعني قيم السرعة زمن الاستجابة لدفعة من صورة واحدة — متوسط 100 تشغيل بعد 10 عمليات إحماء على bus.jpg، مع القياس باستخدام time.perf_counter() حول استدعاء model.predict() بالكامل على جهاز مستقر حراريًا (ultralytics==8.4.67، Python 3.12.10).
• يعمل NPU من Hexagon أسرع بنحو 2-4 مرات من خط الأساس لوحدة CPU في PyTorch عبر المهام ذات الدقة 640-1024 بكسل (نحو 3.4 مرات في الكشف)، ويتقلص الفارق إلى نحو 1.3 مرة في المصنف ذي الدقة 224 بكسل، حيث تطغى كلفة المعالجة المسبقة الثابتة على عبء العمل الصغير.

المهام المدعومة#

يدعم التصدير إلى Qualcomm QNN مهام Ultralytics السبع جميعها. ولا يتاح التقسيم الدلالي وتقدير العمق إلا باستخدام YOLO26، وهي العائلة الوحيدة التي تتضمن هذين الرأسين.

التصدير إلى QNN: تحويل نموذج YOLO الخاص بك#

صدّر نموذج Ultralytics YOLO إلى تنسيق QNN لنشره على أجهزة Qualcomm. تُهيأ الوحدة الثنائية للسياق النهائية لبنية معالج Hexagon المستهدف (HTP) أو لنظام على شريحة (SoC) مدعوم، ويمكنك تحديد ذلك باستخدام الوسيطة name — وهي الوسيطة نفسها المستخدمة لاستهداف شريحة في التصدير إلى RKNN.

أهداف HTP المدعومة#

مرّر البنية المستهدفة أو نظام الشريحة (SoC) عبر name (مثل name="73" أو name="iq-8275"). يتحدد الدعم بحسب هدف HTP، لذا فإن صفوف Snapdragon أدناه تمثل منصات نموذجية وليست قائمة شاملة بكل أنظمة SoC. أما أجهزة Dragonwing فتُدرج صراحةً.

لا يمكن استخدام Dragonwing IQ-615 لتصدير وحدة سياق QNN من Ultralytics، لأن ONNX Runtime لا يتيح DSP v66 بوصفه هدف HTP غير متصل. ومع ذلك، يمكن دمج تصدير ONNX عادي بشكل منفصل باستخدام موفر تنفيذ لوحدة CPU أو GPU يدعمه BSP الخاص باللوحة.

from ultralytics import YOLO

model = YOLO("best.pt")
model.export(format="qnn", name="iq-8275", imgsz=640)

التثبيت#

لتثبيت الحزم المطلوبة، شغّل:

# Install the required package for YOLO
pip install ultralytics

تُثبّت حزمة onnxruntime-qnn (التي توفر موفر تنفيذ QNN في ONNX Runtime وتضم مكتبات QAIRT) تلقائيًا عند التصدير لأول مرة. للحصول على تعليمات مفصلة وأفضل الممارسات المتعلقة بعملية التثبيت، راجع دليل تثبيت Ultralytics. وإذا واجهت أي صعوبات أثناء تثبيت الحزم المطلوبة لـ YOLO، فراجع دليل المشكلات الشائعة للاطلاع على الحلول والنصائح.

الاستخدام#

يدعم تنسيق QNN أوضاع التصدير والتنبؤ والتحقق. ويُجرى الاستدلال والتحقق على أجهزة Qualcomm Snapdragon من خلال موفر تنفيذ QNN في ONNX Runtime (باستخدام الحزمة نفسها onnxruntime-qnn المستخدمة للتصدير). صدّر النموذج، ثم حمّل النموذج المُصدّر على جهاز Snapdragon لإجراء الاستدلال أو التحقق من دقته.

from ultralytics import YOLO

# ⁨تحميل نموذج YOLO26⁩
model = YOLO("yolo26n.pt")

# ⁨التصدير إلى تنسيق Qualcomm QNN (INT8، يُفرض تلقائيًا) لهدف HTP الافتراضي v73⁩
model.export(format="qnn", name="73", imgsz=640)  # ⁨استخدم imgsz=224 للتصنيف⁩

from ultralytics import YOLO

# ⁨تحميل نموذج QNN المُصدّر (على جهاز Snapdragon يتضمن onnxruntime-qnn)⁩
model = YOLO("yolo26n_qnn.onnx")

# ⁨تنفيذ الاستدلال⁩
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# ⁨تحميل نموذج QNN المُصدّر (على جهاز Snapdragon يتضمن onnxruntime-qnn)⁩
model = YOLO("yolo26n_qnn.onnx")

# ⁨# التحقق من الدقة على مجموعة بيانات COCO8⁩
metrics = model.val(data="coco8.yaml")

وسيطات التصدير#

لمزيد من التفاصيل حول عملية التصدير، تفضّل بزيارة صفحة وثائق Ultralytics حول التصدير.

بنية الإخراج#

بعد نجاح التصدير، يُنشأ ملف ONNX مستقل بذاته:

يتضمن الملف yolo26n_qnn.onnx الوحدة الثنائية لسياق QNN، ويحمّله ONNX Runtime باستخدام موفر تنفيذ QNN على جهاز Snapdragon. كما يحتوي على بيانات وصفية للنموذج، مثل أسماء الفئات وحجم الصورة والمهمة، في ONNX metadata_props.

نشر نماذج YOLO المُصدّرة إلى QNN#

تعمل نماذج QNN على أجهزة Qualcomm المدعومة، ما يجعل نشر النماذج على الجهاز أمرًا مباشرًا. على جهاز متوافق مثبت عليه onnxruntime-qnn، شغّل النموذج المُصدّر مباشرةً باستخدام واجهة Ultralytics البرمجية (yolo predict/yolo val، راجع الاستخدام أعلاه) — إذ تحمّل Ultralytics الوحدة الثنائية لسياق HTP عبر موفر تنفيذ QNN في ONNX Runtime.

يمكنك أيضًا، ضمن مسارات العمل المخصصة، تحميل ONNX الذي يحتوي على الوحدة الثنائية للسياق مباشرةً باستخدام ONNX Runtime. إن onnxruntime-qnn موفر تنفيذ إضافي، لذا سجّله أثناء التشغيل:

import onnxruntime as ort
import onnxruntime_qnn as qnn_ep

# ⁨على جهاز Snapdragon، سجّل موفر تنفيذ QNN الإضافي وحدد أجهزته⁩
ort.register_execution_provider_library("QNNExecutionProvider", qnn_ep.get_library_path())
devices = [d for d in ort.get_ep_devices() if d.ep_name == "QNNExecutionProvider"]

options = ort.SessionOptions()
options.add_provider_for_devices(devices, {"backend_path": qnn_ep.get_qnn_htp_path()})
session = ort.InferenceSession("yolo26n_qnn.onnx", sess_options=options)
input_info = session.get_inputs()[0]
outputs = session.run(None, {input_info.name: input_tensor})  # input_tensor: float32 NHWC

نظرًا إلى أن الوحدة الثنائية لسياق QNN مُجمّعة مسبقًا، تُحمّل الجلسة بسرعة دون إعادة تجميع الرسم البياني على الجهاز.

متطلبات Linux وYocto BSP#

يجب أن توفر اللوحة المستهدفة بيئة تشغيل Qualcomm وBSP متوافقين معًا. ويتضمن ذلك لاستدلال HTP موفر تنفيذ QNN في ONNX Runtime، وlibQnnSystem.so، وlibQnnHtp.so، ومكتبتَي stub وskeleton لـ HTP v75 من أجل IQ-8275، ودعم FastRPC في مساحة المستخدم مثل libcdsprpc.so، والبرامج الثابتة لـ DSP، وبرامج تشغيل FastRPC/النواة المقابلة. ويجب أن تكون مكتبة skeleton قابلة للاكتشاف عبر مسار مكتبات DSP في BSP.

تأتي هذه المكونات على جانب الجهاز المستهدف من BSP المزوّد من الشركة المصنّعة للوحة، والمُمكّن بـ QAIRT/QNN؛ وهي غير مضمنة في النموذج المُصدّر. أما تنفيذ GPU فيتطلب libQnnGpu.so ومجموعة برامج تشغيل مساحة المستخدم المطابقة لـ Adreno. إن ناتج Ultralytics format=qnn هو وحدة ثنائية لسياق مخصصة لـ HTP، لذا ينبغي أن يبدأ النشر على GPU أو CPU من تصدير ONNX عادي، لا من الملف المُجمّع مسبقًا *_qnn.onnx.

سير العمل الموصى به#

1. درّب نموذجك باستخدام وضع التدريب من Ultralytics
2. صدّر إلى تنسيق QNN باستخدام model.export(format="qnn", name="iq-8275", imgsz=640) على منصة مدعومة (استخدم imgsz=224 للتصنيف)
3. انشر الملف المُصدّر *_qnn.onnx على جهاز Qualcomm لديك
4. شغّل الاستدلال باستخدام ONNX Runtime وموفر تنفيذ QNN مع الواجهة الخلفية HTP

تطبيقات واقعية#

تلائم نماذج YOLO التي تعمل على أجهزة Qualcomm Snapdragon مجموعة واسعة من تطبيقات الذكاء الاصطناعي الطرفي:

• الهواتف الذكية: كشف الأجسام وفهم المشاهد في الوقت الفعلي ضمن تطبيقات الكاميرا والصور، مع تسريع NPU.
• Windows على Snapdragon: رؤية حاسوبية على الجهاز في حواسيب Copilot+ PC دون نقل المعالجة إلى السحابة.
• السيارات: مراقبة السائق، وكشف الركاب، وميزات ADAS على منصات Snapdragon Digital Chassis.
• XR والأجهزة القابلة للارتداء: إدراك منخفض الطاقة وزمن الاستجابة لسماعات AR/VR والنظارات الذكية.
• إنترنت الأشياء والروبوتات: استدلال بصري فعّال على الكاميرات والطائرات المسيّرة والأنظمة المضمنة المدعومة بـ Snapdragon.

الملخص#

في هذا الدليل، تعلّمت كيفية تصدير نماذج Ultralytics YOLO إلى تنسيق Qualcomm QNN محليًا باستخدام موفر تنفيذ QNN في ONNX Runtime. يحوّل مسار التصدير النموذج إلى ONNX، ثم يجمّعه في وحدة ثنائية لسياق QNN على جهازك المضيف — دون الحاجة إلى حساب Qualcomm أو السحابة — لينتج ملف *_qnn.onnx مُحسّنًا لوحدات CPU وGPU من Adreno وNPU من Hexagon في Snapdragon عبر بيئة تشغيل QNN/QAIRT.

يوفر الجمع بين Ultralytics YOLO ومجموعة تقنيات الذكاء الاصطناعي على الجهاز من Qualcomm حلًا فعّالًا لتشغيل أحمال عمل الرؤية الحاسوبية المتقدمة ضمن منظومة Snapdragon الواسعة.

للاطلاع على أهداف النشر الأخرى على الأجهزة والهواتف المحمولة، راجع أدلة التصدير ذات الصلة إلى ONNX وCoreML وNCNN وLiteRT وExecuTorch وRKNN وSony IMX500 وTensorRT. لمقارنة التنسيقات قبل الإطلاق، استخدم وضع قياس الأداء. للاطلاع على القائمة الكاملة للتنسيقات والخيارات، تفضل بزيارة وثائق وضع التصدير وصفحة دليل عمليات التكامل.

الأسئلة الشائعة#