تصدير Ambarella CVflow لنماذج Ultralytics YOLO#

يتطلب نشر نماذج Ultralytics YOLO على وحدات المعالجة المركزية (SoCs) من Ambarella تجميع النموذج باستخدام أدوات التجميع الخاصة بـ Ambarella، كما أن النماذج المُمحسنة لبنية CVflow أداءً أفضل في وقت الاستدلال. يدمج هذا الفرع من Ultralytics مجموعة أدوات الضغط SpongeTorch الخاصة بـ Ambarella مباشرة في خط أنابيب التدريب والتحقق والتصدير، مما يمكن المطورين من إنشاء نماذج محسنة للنشر الفعال على عتاد Ambarella.

يغطي هذا الدليل سير عمل نشر اكتشاف الكائنات الحالي، بدءاً من التدريب الواعي بالضغط وحتى الاستدلال على الجهاز (راجع نظرة عامة على سير العمل لمعرفة خط الأنابيب الكامل).

تنسيق نقاط التحقق AmbaPB هو امتداد خاص بـ Ambarella لمواصفات ONNX IR الذي يدعم البدائيات الحسابية لـ CVflow ويحزم العناصر الناتجة عن أدوات حزمة تطوير البرمجيات (SDK). وهو العنصر الموجود على جانب المضيف المستخدم للتحقق من دقة النموذج المُجمع قبل النشر؛ أما ثنائي Cavalry المنفصل المُنتج للجهاز المستهدف فهو الذي يتم تشغيله على اللوحة.

من هي Ambarella؟#

Ambarella، التي يقع مقرها الرئيسي في سانتا كلارا، كاليفورنيا، هي شركة أشباه موصلات تصمم وحدات المعالجة المركزية (SoCs) للذكاء الاصطناعي على الحافة. تجمع معالجاتها بين معالجة إشارات الصور، وترميز الفيديو، وحوسبة الذكاء الاصطناعي على الشريحة، وتُستخدم في الأجهزة الأمنية، والسيارات، والروبوتات، والصناعة، والأجهزة الاستهلاكية.

ما هي CVflow؟#

CVflow هي بنية معالجة الرؤية الخاصة بـ Ambarella. وهي تستخدم محرك رؤية مخصص، منفصل عن وحدة المعالجة المركزية (CPU) ووحدة معالجة الرسوميات (GPU)، لتشغيل رؤية الكمبيوتر وأحمال عمل الشبكات العصبية. يتم تجميع النماذج المدربة في أطر عمل مثل PyTorch إلى تنسيق CVflow الأصلي باستخدام حزمة تطوير البرمجيات (SDK) لـ Ambarella قبل تشغيلها على المحرك.

عائلات دوائر SoC الحالية التي تعتمد CVflow وتطبيقاتها النموذجية:

لماذا تنشر YOLO على Ambarella؟#

• الأداء لكل واط: صُممت دوائر SoC من CVflow للذكاء الاصطناعي الطرفي الذي يعمل دائمًا، إذ تنفّذ كشف الأجسام في الوقت الفعلي ضمن ميزانيات الطاقة الخاصة بالكاميرات.
• التدريب الواعي بالضغط: يطبق SpongeTorch عملية التقليم أثناء التدريب لمساعدة النموذج على الاحتفاظ بالدقة مع أن يصبح أكثر متفرقة وأكثر كفاءة لنشر CVflow.
• خط أنابيب الكاميرا المتكامل: تجمع وحدات المعالجة المركزية (SoCs) من Ambarella بين معالج إشارات الصور (ISP)، وترميز الفيديو عالي الدقة للغاية، وCVflow لتمكين مجموعة متنوعة من أنظمة الكاميرات باستهلاك منخفض للطاقة، بحيث يتعامل وحدة المعالجة المركزية (SoCs) من Ambarella مع خط أنابيب كاميرا الذكاء الاصطناعي الكامل.

نظرة عامة على سير العمل#

يحتوي خط الأنابيب على ست مراحل:

1. التدريب الواعي بالضغط — قم بالتدريب باستخدام تكوين SpongeKit (amba_config) بحيث يطبق SpongeTorch التقليم غير المنظم تدريجياً أثناء التدريب. وحيثما لا تكون دقة التكميم بعد التدريب (PTQ) مقبولة، يدعم SpongeTorch أيضاً التدريب الواعي بالتكميم (QAT)، ولكن هذا المسار لم يتم ربطه بعد في تكامل Ultralytics هذا ومن المخطط إصداره في المستقبل.
2. تصدير ONNX — صدّر نقطة التحقق المضغوطة باستخدام amba_config نفسه، مع الحفاظ على بنية الضغط في رسم ONNX.
3. التجميع — تجميع نموذج ONNX إلى نقطة تحقق AmbaPB باستخدام أدوات تجميع حزمة تطوير البرمجيات (SDK)، والتي تطبق التكميم بعد التدريب (PTQ) لمحرك CVflow.
4. التحقق على المضيف — قم بتشغيل نموذج *.ambapb.ckpt.onnx المُجمع من خلال Ultralytics predict/val عبر الواجهة الخلفية لـ AmbaPB للتحقق من الدقة قبل النشر.
5. تحويل Cavalry — تحويل نقطة تحقق AmbaPB التي تم التحقق منها إلى ملف ثنائي Cavalry باستخدام أدوات حزمة تطوير البرمجيات (SDK).
6. التشغيل على الجهاز — تشغيل الملف الثنائي Cavalry على الجهاز باستخدام مكتبة وقت التشغيل لحزمة تطوير البرمجيات (SDK) من Ambarella.

سير عمل التدريب والتصدير لـ SpongeTorch اختيارّي ويمكن استبداله بتصدير ONNX عادي (راجع التصدير بدون SpongeTorch).

المتطلبات الأساسية#

التثبيت#

قم بتثبيت فرع Ultralytics هذا، ثم قم بإعداد حزمة تطوير البرمجيات (SDK) لـ Ambarella CVflow - والتي تتضمن أدوات التجميع ومكتبة cvflowbackend - وتثبيت عجلة spongetorch الموزعة بجانبها:

# Install this Ultralytics fork from source
git clone https://github.com/Ambarella-Inc/ultralytics
cd ultralytics
git checkout amba_v8.4.46
pip install -e .

# Access and set up the Ambarella SDK compilation tools
# After the environment is ready, install the spongetorch library
pip install /path/to/spongetorch-*.whl

تحدد الواجهة الخلفية التلقائية (AutoBackend) cvflowbackend من خلال أمر tv2 الخاص بأدوات تجميع حزمة تطوير البرمجيات (SDK) (tv2 -libpath cvflowbackend)، لذلك يجب تثبيت أدوات تجميع حزمة تطوير البرمجيات (SDK) وأن تكون على PATH قبل تشغيل الاستدلال أو التحقق باستخدام النماذج المُجَمَّعة.

ملف إعداد SpongeKit#

يتم تشغيل SpongeTorch بواسطة ملف تكوين SpongeKit (بتنسيق نص البروتوباف، .prototxt) الذي يحدد عمليات التقليم، بما في ذلك أهداف التفرقة و جدول الضغط. احصل على تكوينات مثال وثائق المخطط المطابقة من إصدار حزمة تطوير البرمجيات (SDK) لـ Ambarella. للحفاظ على الاتساق بين التدريب والتحقق والنشر، استخدم تكوين التدريب كلما احتجز التحقق إلى إعادة إعداد النموذج، واستخدم دائماً نفس التفصيل عند تصدير نقطة تحقق مضغوطة.

وسيطات Amba#

يتحكم وسيطان في تكامل SpongeTorch عبر أوضاع train وval وexport:

يضيف الفرع أيضًا وسيط تصدير عامًا:

التدريب المراعي للضغط#

درّب نموذجك (أو اضبطه بدقة) مع تفعيل ضغط SpongeTorch:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.train(
    data="coco8.yaml",
    epochs=100,
    amba_config="config.prototxt",
    amba_chipset="CV72",
)

عند تعيين amba_config, يقوم المدرب بتغليف النموذج والمميز بـ spongetorch.prepare() عند الإعداد. يُطبق الضغط تدريجياً على جدول زمني للخطوات، بحيث يتعلم الشبكة البقاء دقيقة مع أن تصبح متباعدة. تخزن نقطة التحقق المدربة حالة التفرقة الخاصة بـ SpongeTorch (موترات _orig/_mask)، والتي تتطلبها خطوة التصدير لاحقاً. يتم نسخ ملف التكوين إلى دليل التشغيل كـ amba_config.prototxt لضمان القابلية لإعادة الإنتاج.

التحقق من نقطة التحقق المضغوطة#

تحقق من الدقة قبل التجميع، باستخدام الإعداد نفسه:

yolo val model=runs/detect/train/weights/best.pt data=coco8.yaml \
  amba_config=config.prototxt amba_chipset=CV72

يعيد المدقّق تطبيق spongetorch.prepare() عند الحاجة، ويعطّل دمج Conv+BN للحفاظ على بنية الضغط. قارن mAP بخط الأساس غير المضغوط؛ وإذا كان انخفاض الدقة كبيرًا جدًا، فعدّل إعداد SpongeKit وأعد التدريب.

التصدير إلى ONNX#

صدّر نقطة التحقق المضغوطة باستخدام نفس amba_config المستخدم في التدريب:

from ultralytics import YOLO

model = YOLO("runs/detect/train/weights/best.pt")
model.export(
    format="onnx",
    amba_config="config.prototxt",
    amba_chipset="CV72",
)

يعيد المُصدر بناء النموذج، ويعيد تطبيق spongetorch.prepare() باستخدام التكوين الخاص بك، ويعيد تحميل أوزان نقطة التحقق المتباعدة في الهيكل المُعد، ويتتبع إلى ONNX مع تعطيل دمج Conv+BN - مما ينتج رسماً بيانياً بالشكل الدقيق الذي تتوقعه أدوات تجميع حزمة تطوير البرمجيات (SDK).

الحفاظ على البيانات الوصفية للنموذج#

يُدرج تصدير ONNX مهمة النموذج، وأسماء الفئات، والخطوة، وحجم الإدخال في ملف ONNX، بينما تقرأ الواجهة الخلفية لـ AmbaPB هذه المعلومات من ملف جانبي metadata.yaml بجوار النموذج المُجمع. ما لم تقم أدوات تجميع حزمة تطوير البرمجيات (SDK) بإنشاء هذا الملف الجانبي، قم استخراجه من نموذج ONNX قبل التجميع:

import onnx

from ultralytics.utils import YAML

model = onnx.load("model.onnx")
YAML.save("metadata.yaml", {item.key: item.value for item in model.metadata_props})

احتفظ بـ metadata.yaml في الدليل نفسه الذي يوجد فيه ملف *.ambapb.ckpt.onnx أو *.ambapb.fastckpt.onnx المُجمّع.

التجميع باستخدام أدوات حزمة تطوير البرمجيات (SDK)#

قم بتجميع نموذج ONNX المُصدّر للشريحة المستهدفة باستخدام أدوات تجميع حزمة تطوير البرمجيات (SDK)، باتباع دليل تجميع حزمة تطوير البرمجيات (SDK). تقوم الأدوات بتعيين الرسم البياني على محرك ذكاء اصطناعي CVflow - تطبيق التكميم بعد التدريب (PTQ)، والجدولة، وتخطيط الذاكرة - وإنتاج نقطة تحقق AmbaPB للتحقق من المضيف.

يطبق التكميم بعد التدريب (PTQ) تكميم INT8 باستخدام صور المعايرة (المُعدّة كما هو موضح في دليل تجميع حزمة تطوير البرمجيات (SDK))، وتوازن أدوات التجميع الدقة مقابل زمن انتقال وقت التشغيل: تعيين المزيد من العمليات إلى INT8 يقلل زمن الانتقال ولكنه قد يقلل الدقة، بينما الحفاظ على المزيد من العمليات في FP16 يحافظ على الدقة عند زمن انتقال أعلى. عندما يتعذر على التكميم بعد التدريب (PTQ) الوصول إلى هدف الدقة الخاص بك عند مستوى INT8 المطلوب لميزانية زمن الانتقال الخاص بك، فإن التدريب الواعي بالتكميم (QAT) مع SpongeTorch هو العلاج المقصود - فهو يدرب النموذج على تحمل تكميم INT8 أكثر عدوانية، مما يستعيد الدقة عند نقطة تشغيل ذات زمن انتقال أقل. التدريب الواعي بالتكميم (QAT) غير متوفر بعد في هذا التكامل ومن المخطط إصداره في المستقبل.

تشغيل الاستدلال باستخدام النموذج المُجمّع#

يتم تحميل نموذج AmbaPB المُجمع مباشرة من خلال واجهة برمجة التطبيقات (API) لـ Ultralytics - يكتشف AutoBackend لاحقة .ambapb ويوجه الاستدلال عبر cvflowbackend، وينفذ النموذج كما سيتم تشغيله على محرك الذكاء الاصطناعي:

from ultralytics import YOLO

model = YOLO("model.ambapb.ckpt.onnx")

# Inference
results = model("https://ultralytics.com/images/bus.jpg")

# Validation
metrics = model.val(data="coco8.yaml")

هذا هو فحص الدقة النهائي قبل النشر على العتاد، ويشمل جميع تأثيرات التكميم التي أجراها المُجمّع. إذا وُجد ملف metadata.yaml بجوار النموذج المُجمّع، فستقرأ الواجهة الخلفية أسماء الفئات والخطوة ومعلومات المهمة منه. تستخدم الواجهة الخلفية وضع استدلال CVflow acinf افتراضيًا؛ واضبط متغير البيئة ULTRALYTICS_AMBAPB_DEBUG=1 لتسجيل تفاصيل الإدخال/الإخراج بغرض تصحيح الأخطاء.

التحويل إلى ملف ثنائي Cavalry#

بعد أن تجتاز نقطة تحقق AmbaPB التحقق على المضيف، استخدم أدوات تجميع حزمة تطوير البرمجيات (SDK) لتحويلها إلى ملف ثنائي Cavalry لجهازك المستهدف، باتباع دليل تجميع حزمة تطوير البرمجيات (SDK). الملف الثنائي Cavalry هو الشكل الذي تنفذه مكتبة وقت التشغيل لحزمة تطوير البرمجيات (SDK) على اللوحة.

النشر على اللوحة#

قم بتحميل الملف الثنائي Cavalry على جهاز Ambarella الخاص بك باستخدام وقت التشغيل لحزمة تطوير البرمجيات (SDK) من Ambarella. يجب أن تتطابق المعالجة المسبقة والمعالجة اللاحقة مع ما تم تجميع نموذج الاكتشاف من أجله: إدخال RGB بصندوق الحروف في نطاق 0–255، وفك تشفير اكتشاف YOLO القياسي على المخرجات. ارجع إلى وثائق نشر حزمة تطوير البرمجيات (SDK) لواجهات برمجة التطبيقات (APIs) لوقت التشغيل.

التصدير دون SpongeTorch#

إذا لم تكن بحاجة إلى تقليم وقت التدريب لـ SpongeTorch، فإن خط أنابيب Ultralytics القياسي ينتج أيضاً نموذجاً يمكن لأدوات حزمة تطوير البرمجيات (SDK) تجميعه:

yolo export model=yolo26n.pt format=onnx

قم بتتجميع ONNX الناتج باستخدام أدوات تجميع حزمة تطوير البرمجيات (SDK)، والتي تقوم بإجراء التكميم بعد التدريب بنفسها. يقايض هذا المسار بعض أداء وقت التشغيل والدقة المُكممة مقابل سير عمل أبسط بدون تبعية spongetorch في وقت التدريب.

التطبيقات الواقعية#

تشغّل نماذج Ultralytics YOLO على دوائر SoC من Ambarella CVflow الرؤيةَ الدائمة التشغيل عند الحافة:

• كاميرات أمان الذكاء الاصطناعي: كشف الأشخاص والمركبات في الوقت الفعلي على كاميرات IP بدقة 4K ضمن ميزانية طاقة تقل عن 3 واط.
• الطائرات المسيّرة والروبوتات: كشف الأجسام وتتبعها على متن الجهاز للملاحة والفحص والتوصيل على رقائق من فئة CV5.
• التحليلات الصناعية وتحليلات البيع بالتجزئة: عدّ الأشخاص عبر تدفقات متعددة، وكشف معدات الوقاية الشخصية، ومراقبة الرفوف على أجهزة طرفية.

الملخص#

أوجز هذا الدليل سير العمل الحالي لنشر نماذج Ultralytics YOLO على وحدات المعالجة المركزية (SoCs) من Ambarella CVflow: التدريب الواعي بالضغط مع SpongeTorch (amba_config/amba_chipset)، وتصدير ONNX لنقطة التحقق المضغوطة، والتجميع دون اتصال بالإنترنت إلى نقطة تحقق AmbaPB باستخدام أدوات حزمة تطوير البرمجيات (SDK)، والتحقق من المضيف من خلال Ultralytics، والتحويل إلى ملف ثنائي Cavalry للنشر على الجهاز باستخدام حزمة تطوير البرمجيات (SDK) من Ambarella.

للاطلاع على أهداف أخرى للذكاء الاصطناعي الطرفي، راجع الأدلة ذات الصلة الخاصة بـ Hailo وRockchip RKNN وSony IMX500 وQualcomm QNN وDEEPX وAxelera. وللاطلاع على القائمة الكاملة لتنسيقات التصدير، زر وثائق وضع التصدير وصفحة التكاملات.

الأسئلة الشائعة#