ابدأ

تصدير ST Edge AI لنماذج Ultralytics YOLO

صدّر نماذج Ultralytics YOLO باستخدام format="stedgeai" للحصول على نموذج ONNX مهيأ لـST Edge AI Core، وهي سلسلة أدوات STMicroelectronics التي تجمع الشبكات العصبية للمتحكمات الدقيقة STM32، بما فيها STM32N6 المزود بمسرّع Neural-ART. ينشئ التصدير افتراضيًا نموذجًا عائمًا ونموذج INT8 مكمَّمًا بالكامل باستخدام quantize=8. وتشغّل Ultralytics أيًا من الملفين على حاسوبك باستخدام yolo predict وyolo val، ما يتيح لك قياس الدقة قبل التجميع للجهاز.

تم التحقق على الجهاز المضيف

تتحقق Ultralytics من هذه النماذج باستخدام ONNX Runtime على حاسوب، وقد جمّعت STMicroelectronics صادرات INT8 للمهام السبع جميعها على STM32N6 باستخدام ST Edge AI Core. أما قياس الدقة وزمن الاستجابة والذاكرة على لوحة STM32، فهي خطوات تنفذها باستخدام أدوات ST؛ راجع النشر على STM32.

لماذا نحتاج إلى تنسيق ST Edge AI مخصص؟#

تشغّل المتحكمات الدقيقة نماذج INT8، لكن التصدير القياسي إلى ONNX لا يتيح التكميم الجيد من البداية إلى النهاية:

  • نطاقات مختلفة في مخرج واحد. يجمع رأس الكشف في YOLO إحداثيات الصناديق بالبكسل (من 0 إلى 640 تقريبًا) ودرجات الفئات (من 0 إلى 1) في موتر واحد. يمنح تكميم INT8 ذلك الموتر مقياسًا واحدًا، فتفقد الدرجات معظم دقتها. يطبّع تصدير ST Edge AI إحداثيات الصناديق ونقاط المفتاح إلى [0, 1] بحسب حجم الإدخال، باستخدام التطبيع نفسه الذي تعتمده Ultralytics لـEdge TPU، ما يتيح تكميم الرسم البياني بأكمله.
  • مخرجات كثيفة كبيرة. عادةً ما ترفع نماذج التجزئة الدلالية والعمق الدقة إلى دقة الإدخال داخل الرسم البياني. يوقف تصدير ST Edge AI المعالجة قبل هذه الخطوة، ما يجعل مخزن المخرجات أصغر 64 مرة للتجزئة الدلالية و16 مرة للعمق، كما يُبقي العمق في المجال اللوغاريتمي، حيث تتوزع مستويات INT8 بالتساوي.
  • المعالجة اللاحقة داخل الرسم البياني. تضيف NMS المضمنة ورأس YOLO26 الخالي من NMS معاملات TopK وgather بعد الرأس. يستبعدها التصدير ويعيد دائمًا التنبؤات الخام، لذا تُنفَّذ NMS في تطبيقك.

إذا كنت تريد التخطيط القياسي بدلًا من ذلك (إحداثيات بالبكسل، وخرائط بالدقة الكاملة، وNMS مضمنة اختياريًا)، فاستخدم تصدير ONNX.

المهام المدعومة#

تُصدَّر جميع مهام Ultralytics YOLO وتُشغَّل على الجهاز المضيف. أشكال المخرجات هي لـimgsz=640:

المهمةالمخرجات
الكشف[1, 4 + nc, 8400]: صناديق مطبَّعة إلى [0, 1]، ودرجات الفئات
تجزئة الكائنات[1, 4 + nc + 32, 8400] مع صناديق مطبَّعة إلى [0, 1]، بالإضافة إلى نماذج أولية للأقنعة [1, 32, 160, 160]
التجزئة الدلاليةلوغاريتمات احتمالات الفئات [1, nc, 80, 80] بدقة 1/8؛ ارفع الدقة، ثم احسب القيمة القصوى لكل بكسل
تقدير العمقعمق لوغاريتمي [1, 1, 160, 160] بدقة 1/4؛ طبّق exp(x) للحصول على العمق بوحدات القياس، ثم ارفع الدقة
التصنيفاحتمالات الفئات [1, nc]
تقدير الوضعية[1, 4 + nc + nk, 8400]: صناديق ونقاط مفتاح مطبَّعة إلى [0, 1]
الكشف الموجّه[1, 4 + nc + 1, 8400]: صناديق مطبَّعة إلى [0, 1]، وزاوية بالراديان؛ يتطلب imgsz مربعًا

النماذج RT-DETR وYOLO-NAS غير مدعومة.

الاستخدام#

التصدير
from ultralytics import YOLO

# ⁨تحميل نموذج YOLO26⁩
model = YOLO("yolo26n.pt")

# ⁨صدّر نموذجًا عائمًا⁩
model.export(format="stedgeai")  # ⁨ينشئ 'yolo26n_stedgeai.onnx'⁩

# ⁨صدّر نموذج INT8 معايرًا على COCO8⁩
model.export(format="stedgeai", quantize=8, data="coco8.yaml")  # ⁨ينشئ 'yolo26n_int8_stedgeai.onnx'⁩
التنبؤ والتحقق على الجهاز المضيف
from ultralytics import YOLO

# ⁨حمّل نموذج ST Edge AI المُصدَّر⁩
model = YOLO("yolo26n_int8_stedgeai.onnx")

# ⁨تنفيذ الاستدلال⁩
results = model("https://ultralytics.com/images/bus.jpg")

# ⁨قِس دقة INT8 على مجموعة بيانات COCO8⁩
metrics = model.val(data="coco8.yaml")

ينشئ كل تصدير ملفًا واحدًا. تتعرّف Ultralytics على نماذج ST Edge AI من خلال اللاحقة _stedgeai.onnx، ثم تعيد تحجيم الإحداثيات إلى البكسلات، وترفع دقة خرائط التجزئة الدلالية والعمق، وتحول العمق اللوغاريتمي إلى عمق بوحدات القياس. أبقِ هذه اللاحقة عند إعادة تسمية الملف؛ فالاسم العادي .onnx يُحمَّل كنموذج ONNX قياسي ويعيد الصناديق بصيغة [0, 1].

وسيطات التصدير#

المعاملالنوعالافتراضيالوصف
formatstr'stedgeai'التنسيق المستهدف للنموذج المُصدَّر.
imgszint أو tuple640حجم إدخال النموذج، عددًا صحيحًا للصور المربعة أو صفًّا (height, width). للنموذج حجم دفعة ثابت يساوي 1 وأشكال ثابتة. تتطلب نماذج OBB صفًّا مربعًا imgsz.
quantizeint أو strNoneالدقة. إذا تُرك الخيار دون تحديد أو استُخدم 32، فسيُنشأ نموذج عائم؛ أما 8 فيُنشئ نموذج INT8.
datastrNoneمجموعة البيانات المستخدمة لمعايرة INT8: ملف YAML لمجموعة بيانات، أو مجلد مجموعة بيانات أو اسم مجموعة بيانات مضمنة للتصنيف. عند عدم تحديدها، يستخدم quantize=8 مجموعة البيانات الافتراضية للمهمة، مثل coco8.yaml للكشف.
fractionfloat1.0نسبة مجموعة بيانات المعايرة المراد استخدامها.
opsetintNoneإصدار ONNX opset. يُستخدم افتراضيًا أحدث إصدار opset يمكن لإصدار PyTorch تصديره بموثوقية.
simplifyboolTrueيبسّط رسم ONNX البياني باستخدام onnxslim.
devicestrNoneالجهاز المستخدم للتصدير: GPU (device=0) أو CPU (device=cpu).

يُرفض batch وdynamic=True، بينما يعود nms=True إلى المخرجات الخام مع إصدار تحذير.

تكميم INT8#

باستخدام quantize=8، تكمّم Ultralytics النموذج عبر التكميم الثابت في ONNX Runtime، وفق المخطط الذي يوصي به ST Edge AI Core وتطبّقه خدمات حديقة نماذج STM32 AI:

  • تنسيق QDQ (QuantizeLinear/DequantizeLinear) مع مدخلات ومخرجات نموذج عائمة.
  • أوزان INT8 موقّعة ومتناظرة لكل قناة، وتفعيلات INT8 موقّعة وغير متناظرة.
  • معايرة MinMax على صور data، بعد معالجتها مسبقًا بالطريقة نفسها المستخدمة أثناء التحقق من Ultralytics.

على خلاف تصدير ONNX القياسي quantize=8، الذي يُبقي الرأس عائمًا، تُكمَّم جميع المعاملات. للتكميم باستخدام أدوات ST بدلًا من ذلك، صدّر النموذج العائم ومرّره إلى خدمات حديقة نماذج STM32 AI.

عاير باستخدام بياناتك الخاصة

تعتمد دقة INT8 على مدى تطابق صور المعايرة مع مشهد النشر. مرّر إلى data= مجموعة بيانات تضم 300 صورة تمثيلية على الأقل؛ إذ لا تحتوي مجموعات بيانات المعايرة الافتراضية إلا على بضع عينات عامة.

يقارن الجدول أدناه YOLO26n عند imgsz الافتراضي لكل نموذج (640، و1024 للتجزئة الدلالية، و768 للعمق) على مجموعات بيانات التحقق الافتراضية الصغيرة، بعد المعايرة على الصور نفسها. تضم هذه المجموعات من 4 إلى 8 صور لكل منها، لذا اعتبر الأرقام مؤشرًا إلى مدى تأثر المهام بـINT8، وقِس أداء نموذجك باستخدام yolo val.

المهمةالمقياسONNX عائمST Edge AI عائمST Edge AI INT8
DetectmAP50-950.6860.6860.639
SegmentmAP50-95 للصندوق / القناع0.638 / 0.5400.638 / 0.5400.356 / 0.401
دلاليmIoU0.6100.6100.609
العمقدلتا10.8520.8520.840
الوضعيةmAP50-95 للصندوق / الوضعية0.697 / 0.4590.697 / 0.4590.650 / 0.267
OBBmAP50-950.8940.8940.806

يطابق التصدير العائم تصدير ONNX القياسي في جميع المهام. وتفقد التجزئة المعتمدة على المثيلات والوضعية أكبر قدر من الدقة عند استخدام INT8 للرسم البياني بأكمله، لأن معاملات القناع ونقاط المفتاح تشترك مع الصناديق في مقياس مخرج واحد؛ لذا تحقّق من هاتين المهمتين بعناية على بياناتك قبل النشر.

النشر على STM32#

  1. صدّر النموذج باستخدام format="stedgeai" وبقيمة imgsz التي ستشغّله بها على الجهاز.

  2. تحقّق من النموذجين العائم وINT8 على مجموعة بياناتك باستخدام yolo val.

  3. جمّع النموذج باستخدام ST Edge AI Core. تتبع الأوامر أدناه وثائق سطر الأوامر الخاصة بـST Edge AI Core ودليل البدء باستخدام Neural-ART؛ راجعهما للاطلاع على ملفات تعريف الذاكرة وخيارات الإدخال.

    # Report the model's memory and operator usage for an STM32 target
    stedgeai analyze -m yolo26n_int8_stedgeai.onnx --target stm32
    
    # Generate the C model for an STM32N6 with the Neural-ART accelerator
    stedgeai generate -m yolo26n_int8_stedgeai.onnx --target stm32n6 --st-neural-art
  4. انشر النموذج المُنشأ في تطبيق STM32. توفر خدمات حديقة نماذج STM32 AI شيفرة تطبيقات ودروسًا تعليمية لنماذج Ultralytics YOLO على STM32N6.

تحتاج المخرجات إلى معالجة لاحقة

يجب على الشيفرة التي تقرأ النموذج المُصدَّر خارج Ultralytics، مثل المعالجة اللاحقة بلغة C على الجهاز، ضرب قيمتي x وw للصندوق ونقاط المفتاح في عرض الإدخال، وضرب قيمتي y وh في ارتفاع الإدخال، وتشغيل NMS، ورفع دقة لوغاريتمات احتمالات التجزئة الدلالية قبل حساب القيمة القصوى، وتطبيق exp على مخرج العمق قبل رفع دقته. حافظ على تطابق imgsz في التدريب والتصدير والنشر.

الأسئلة الشائعة#

  • شغّل yolo export model=yolo26n.pt format=stedgeai quantize=8 data=coco8.yaml لإنشاء نموذج INT8 yolo26n_int8_stedgeai.onnx، أو احذف quantize=8 لإنشاء النموذج العائم yolo26n_stedgeai.onnx. ثم جمّع الملف باستخدام ST Edge AI Core كما هو موضح في النشر على STM32.

  • يطبّع تصدير ST Edge AI إحداثيات الصناديق ونقاط المفتاح بحسب حجم الإدخال، كي تشترك مع درجات الفئات في نطاق [0, 1]، ما يتيح تكميم الرسم البياني بأكمله إلى INT8. اضرب x وw في عرض الإدخال، وy وh في ارتفاع الإدخال، لاستعادة الإحداثيات بالبكسل. تنفذ Ultralytics ذلك تلقائيًا عند تحميل نموذج _stedgeai.onnx.

  • لا. يعيد التصدير دائمًا التنبؤات الخام، لذا شغّل NMS في تطبيقك أو استخدم المعالجة اللاحقة في خدمات حديقة نماذج STM32 AI.

  • يعيد تصدير ONNX القياسي إحداثيات بالبكسل وخرائطًا للتجزئة الدلالية والعمق بالدقة الكاملة، ويمكنه تضمين NMS، كما أنه باستخدام quantize=8 لا يكمّم إلا طبقات الالتفاف وضرب المصفوفات. أما تصدير ST Edge AI فيعيد إحداثيات مطبَّعة ولوغاريتمات احتمالات التجزئة الدلالية والعمق بدقة منخفضة، ويستخدم حجم دفعة ثابتًا يساوي 1، ولا يضمّن NMS مطلقًا، كما يكمّم الرسم البياني بأكمله باستخدام quantize=8.

  • نعم. يشغّل yolo val model=yolo26n_int8_stedgeai.onnx data=coco8.yaml النموذج المكمَّم باستخدام ONNX Runtime على حاسوبك، ويعرض المقاييس نفسها التي يعرضها أي نموذج آخر من Ultralytics. قد تختلف الدقة على الجهاز قليلًا، لذا تحقّق منها باستخدام أدوات ST بعد التجميع.

المساهمون

التعليقات

اطرح سؤالًا، وشارك نتائجك، أو ساعد شخصًا آخر.