تصدير ST Edge AI لنماذج Ultralytics YOLO
صدّر نماذج Ultralytics YOLO باستخدام format="stedgeai" للحصول على نموذج ONNX مهيأ لـST Edge AI Core، وهي سلسلة أدوات STMicroelectronics التي تجمع الشبكات العصبية للمتحكمات الدقيقة STM32، بما فيها STM32N6 المزود بمسرّع Neural-ART. ينشئ التصدير افتراضيًا نموذجًا عائمًا ونموذج INT8 مكمَّمًا بالكامل باستخدام quantize=8. وتشغّل Ultralytics أيًا من الملفين على حاسوبك باستخدام yolo predict وyolo val، ما يتيح لك قياس الدقة قبل التجميع للجهاز.
تتحقق Ultralytics من هذه النماذج باستخدام ONNX Runtime على حاسوب، وقد جمّعت STMicroelectronics صادرات INT8 للمهام السبع جميعها على STM32N6 باستخدام ST Edge AI Core. أما قياس الدقة وزمن الاستجابة والذاكرة على لوحة STM32، فهي خطوات تنفذها باستخدام أدوات ST؛ راجع النشر على STM32.
لماذا نحتاج إلى تنسيق ST Edge AI مخصص؟#
تشغّل المتحكمات الدقيقة نماذج INT8، لكن التصدير القياسي إلى ONNX لا يتيح التكميم الجيد من البداية إلى النهاية:
- نطاقات مختلفة في مخرج واحد. يجمع رأس الكشف في YOLO إحداثيات الصناديق بالبكسل (من
0إلى640تقريبًا) ودرجات الفئات (من0إلى1) في موتر واحد. يمنح تكميم INT8 ذلك الموتر مقياسًا واحدًا، فتفقد الدرجات معظم دقتها. يطبّع تصدير ST Edge AI إحداثيات الصناديق ونقاط المفتاح إلى[0, 1]بحسب حجم الإدخال، باستخدام التطبيع نفسه الذي تعتمده Ultralytics لـEdge TPU، ما يتيح تكميم الرسم البياني بأكمله. - مخرجات كثيفة كبيرة. عادةً ما ترفع نماذج التجزئة الدلالية والعمق الدقة إلى دقة الإدخال داخل الرسم البياني. يوقف تصدير ST Edge AI المعالجة قبل هذه الخطوة، ما يجعل مخزن المخرجات أصغر 64 مرة للتجزئة الدلالية و16 مرة للعمق، كما يُبقي العمق في المجال اللوغاريتمي، حيث تتوزع مستويات INT8 بالتساوي.
- المعالجة اللاحقة داخل الرسم البياني. تضيف NMS المضمنة ورأس YOLO26 الخالي من NMS معاملات TopK وgather بعد الرأس. يستبعدها التصدير ويعيد دائمًا التنبؤات الخام، لذا تُنفَّذ NMS في تطبيقك.
إذا كنت تريد التخطيط القياسي بدلًا من ذلك (إحداثيات بالبكسل، وخرائط بالدقة الكاملة، وNMS مضمنة اختياريًا)، فاستخدم تصدير ONNX.
المهام المدعومة#
تُصدَّر جميع مهام Ultralytics YOLO وتُشغَّل على الجهاز المضيف. أشكال المخرجات هي لـimgsz=640:
| المهمة | المخرجات |
|---|---|
| الكشف | [1, 4 + nc, 8400]: صناديق مطبَّعة إلى [0, 1]، ودرجات الفئات |
| تجزئة الكائنات | [1, 4 + nc + 32, 8400] مع صناديق مطبَّعة إلى [0, 1]، بالإضافة إلى نماذج أولية للأقنعة [1, 32, 160, 160] |
| التجزئة الدلالية | لوغاريتمات احتمالات الفئات [1, nc, 80, 80] بدقة 1/8؛ ارفع الدقة، ثم احسب القيمة القصوى لكل بكسل |
| تقدير العمق | عمق لوغاريتمي [1, 1, 160, 160] بدقة 1/4؛ طبّق exp(x) للحصول على العمق بوحدات القياس، ثم ارفع الدقة |
| التصنيف | احتمالات الفئات [1, nc] |
| تقدير الوضعية | [1, 4 + nc + nk, 8400]: صناديق ونقاط مفتاح مطبَّعة إلى [0, 1] |
| الكشف الموجّه | [1, 4 + nc + 1, 8400]: صناديق مطبَّعة إلى [0, 1]، وزاوية بالراديان؛ يتطلب imgsz مربعًا |
النماذج RT-DETR وYOLO-NAS غير مدعومة.
الاستخدام#
from ultralytics import YOLO
# تحميل نموذج YOLO26
model = YOLO("yolo26n.pt")
# صدّر نموذجًا عائمًا
model.export(format="stedgeai") # ينشئ 'yolo26n_stedgeai.onnx'
# صدّر نموذج INT8 معايرًا على COCO8
model.export(format="stedgeai", quantize=8, data="coco8.yaml") # ينشئ 'yolo26n_int8_stedgeai.onnx'from ultralytics import YOLO
# حمّل نموذج ST Edge AI المُصدَّر
model = YOLO("yolo26n_int8_stedgeai.onnx")
# تنفيذ الاستدلال
results = model("https://ultralytics.com/images/bus.jpg")
# قِس دقة INT8 على مجموعة بيانات COCO8
metrics = model.val(data="coco8.yaml")ينشئ كل تصدير ملفًا واحدًا. تتعرّف Ultralytics على نماذج ST Edge AI من خلال اللاحقة _stedgeai.onnx، ثم تعيد تحجيم الإحداثيات إلى البكسلات، وترفع دقة خرائط التجزئة الدلالية والعمق، وتحول العمق اللوغاريتمي إلى عمق بوحدات القياس. أبقِ هذه اللاحقة عند إعادة تسمية الملف؛ فالاسم العادي .onnx يُحمَّل كنموذج ONNX قياسي ويعيد الصناديق بصيغة [0, 1].
وسيطات التصدير#
| المعامل | النوع | الافتراضي | الوصف |
|---|---|---|---|
format | str | 'stedgeai' | التنسيق المستهدف للنموذج المُصدَّر. |
imgsz | int أو tuple | 640 | حجم إدخال النموذج، عددًا صحيحًا للصور المربعة أو صفًّا (height, width). للنموذج حجم دفعة ثابت يساوي 1 وأشكال ثابتة. تتطلب نماذج OBB صفًّا مربعًا imgsz. |
quantize | int أو str | None | الدقة. إذا تُرك الخيار دون تحديد أو استُخدم 32، فسيُنشأ نموذج عائم؛ أما 8 فيُنشئ نموذج INT8. |
data | str | None | مجموعة البيانات المستخدمة لمعايرة INT8: ملف YAML لمجموعة بيانات، أو مجلد مجموعة بيانات أو اسم مجموعة بيانات مضمنة للتصنيف. عند عدم تحديدها، يستخدم quantize=8 مجموعة البيانات الافتراضية للمهمة، مثل coco8.yaml للكشف. |
fraction | float | 1.0 | نسبة مجموعة بيانات المعايرة المراد استخدامها. |
opset | int | None | إصدار ONNX opset. يُستخدم افتراضيًا أحدث إصدار opset يمكن لإصدار PyTorch تصديره بموثوقية. |
simplify | bool | True | يبسّط رسم ONNX البياني باستخدام onnxslim. |
device | str | None | الجهاز المستخدم للتصدير: GPU (device=0) أو CPU (device=cpu). |
يُرفض batch وdynamic=True، بينما يعود nms=True إلى المخرجات الخام مع إصدار تحذير.
تكميم INT8#
باستخدام quantize=8، تكمّم Ultralytics النموذج عبر التكميم الثابت في ONNX Runtime، وفق المخطط الذي يوصي به ST Edge AI Core وتطبّقه خدمات حديقة نماذج STM32 AI:
- تنسيق QDQ (QuantizeLinear/DequantizeLinear) مع مدخلات ومخرجات نموذج عائمة.
- أوزان INT8 موقّعة ومتناظرة لكل قناة، وتفعيلات INT8 موقّعة وغير متناظرة.
- معايرة MinMax على صور
data، بعد معالجتها مسبقًا بالطريقة نفسها المستخدمة أثناء التحقق من Ultralytics.
على خلاف تصدير ONNX القياسي quantize=8، الذي يُبقي الرأس عائمًا، تُكمَّم جميع المعاملات. للتكميم باستخدام أدوات ST بدلًا من ذلك، صدّر النموذج العائم ومرّره إلى خدمات حديقة نماذج STM32 AI.
تعتمد دقة INT8 على مدى تطابق صور المعايرة مع مشهد النشر. مرّر إلى data= مجموعة بيانات تضم 300 صورة تمثيلية على الأقل؛ إذ لا تحتوي مجموعات بيانات المعايرة الافتراضية إلا على بضع عينات عامة.
يقارن الجدول أدناه YOLO26n عند imgsz الافتراضي لكل نموذج (640، و1024 للتجزئة الدلالية، و768 للعمق) على مجموعات بيانات التحقق الافتراضية الصغيرة، بعد المعايرة على الصور نفسها. تضم هذه المجموعات من 4 إلى 8 صور لكل منها، لذا اعتبر الأرقام مؤشرًا إلى مدى تأثر المهام بـINT8، وقِس أداء نموذجك باستخدام yolo val.
| المهمة | المقياس | ONNX عائم | ST Edge AI عائم | ST Edge AI INT8 |
|---|---|---|---|---|
| Detect | mAP50-95 | 0.686 | 0.686 | 0.639 |
| Segment | mAP50-95 للصندوق / القناع | 0.638 / 0.540 | 0.638 / 0.540 | 0.356 / 0.401 |
| دلالي | mIoU | 0.610 | 0.610 | 0.609 |
| العمق | دلتا1 | 0.852 | 0.852 | 0.840 |
| الوضعية | mAP50-95 للصندوق / الوضعية | 0.697 / 0.459 | 0.697 / 0.459 | 0.650 / 0.267 |
| OBB | mAP50-95 | 0.894 | 0.894 | 0.806 |
يطابق التصدير العائم تصدير ONNX القياسي في جميع المهام. وتفقد التجزئة المعتمدة على المثيلات والوضعية أكبر قدر من الدقة عند استخدام INT8 للرسم البياني بأكمله، لأن معاملات القناع ونقاط المفتاح تشترك مع الصناديق في مقياس مخرج واحد؛ لذا تحقّق من هاتين المهمتين بعناية على بياناتك قبل النشر.
النشر على STM32#
-
صدّر النموذج باستخدام
format="stedgeai"وبقيمةimgszالتي ستشغّله بها على الجهاز. -
تحقّق من النموذجين العائم وINT8 على مجموعة بياناتك باستخدام
yolo val. -
جمّع النموذج باستخدام ST Edge AI Core. تتبع الأوامر أدناه وثائق سطر الأوامر الخاصة بـST Edge AI Core ودليل البدء باستخدام Neural-ART؛ راجعهما للاطلاع على ملفات تعريف الذاكرة وخيارات الإدخال.
# Report the model's memory and operator usage for an STM32 target stedgeai analyze -m yolo26n_int8_stedgeai.onnx --target stm32 # Generate the C model for an STM32N6 with the Neural-ART accelerator stedgeai generate -m yolo26n_int8_stedgeai.onnx --target stm32n6 --st-neural-art -
انشر النموذج المُنشأ في تطبيق STM32. توفر خدمات حديقة نماذج STM32 AI شيفرة تطبيقات ودروسًا تعليمية لنماذج Ultralytics YOLO على STM32N6.
يجب على الشيفرة التي تقرأ النموذج المُصدَّر خارج Ultralytics، مثل المعالجة اللاحقة بلغة C على الجهاز، ضرب قيمتي x وw للصندوق ونقاط المفتاح في عرض الإدخال، وضرب قيمتي y وh في ارتفاع الإدخال، وتشغيل NMS، ورفع دقة لوغاريتمات احتمالات التجزئة الدلالية قبل حساب القيمة القصوى، وتطبيق exp على مخرج العمق قبل رفع دقته. حافظ على تطابق imgsz في التدريب والتصدير والنشر.
الأسئلة الشائعة#
شغّل
yolo export model=yolo26n.pt format=stedgeai quantize=8 data=coco8.yamlلإنشاء نموذج INT8yolo26n_int8_stedgeai.onnx، أو احذفquantize=8لإنشاء النموذج العائمyolo26n_stedgeai.onnx. ثم جمّع الملف باستخدام ST Edge AI Core كما هو موضح في النشر على STM32.يطبّع تصدير ST Edge AI إحداثيات الصناديق ونقاط المفتاح بحسب حجم الإدخال، كي تشترك مع درجات الفئات في نطاق
[0, 1]، ما يتيح تكميم الرسم البياني بأكمله إلى INT8. اضربxوwفي عرض الإدخال، وyوhفي ارتفاع الإدخال، لاستعادة الإحداثيات بالبكسل. تنفذ Ultralytics ذلك تلقائيًا عند تحميل نموذج_stedgeai.onnx.لا. يعيد التصدير دائمًا التنبؤات الخام، لذا شغّل NMS في تطبيقك أو استخدم المعالجة اللاحقة في خدمات حديقة نماذج STM32 AI.
يعيد تصدير ONNX القياسي إحداثيات بالبكسل وخرائطًا للتجزئة الدلالية والعمق بالدقة الكاملة، ويمكنه تضمين NMS، كما أنه باستخدام
quantize=8لا يكمّم إلا طبقات الالتفاف وضرب المصفوفات. أما تصدير ST Edge AI فيعيد إحداثيات مطبَّعة ولوغاريتمات احتمالات التجزئة الدلالية والعمق بدقة منخفضة، ويستخدم حجم دفعة ثابتًا يساوي 1، ولا يضمّن NMS مطلقًا، كما يكمّم الرسم البياني بأكمله باستخدامquantize=8.نعم. يشغّل
yolo val model=yolo26n_int8_stedgeai.onnx data=coco8.yamlالنموذج المكمَّم باستخدام ONNX Runtime على حاسوبك، ويعرض المقاييس نفسها التي يعرضها أي نموذج آخر من Ultralytics. قد تختلف الدقة على الجهاز قليلًا، لذا تحقّق منها باستخدام أدوات ST بعد التجميع.
التعليقات
اطرح سؤالًا، وشارك نتائجك، أو ساعد شخصًا آخر.