تصدير Sony IMX500 لنماذج Ultralytics YOLO11#

يتناول هذا الدليل تصدير نماذج Ultralytics YOLO11 ونشرها على كاميرات Raspberry Pi AI المزودة بمستشعر Sony IMX500.

قد يكون نشر نماذج الرؤية الحاسوبية على الأجهزة ذات القدرة الحاسوبية المحدودة، مثل Raspberry Pi AI Camera، أمرًا صعبًا. ويُحدث استخدام تنسيق نموذج محسّن لتحقيق أداء أسرع فرقًا كبيرًا.

صُمم تنسيق نموذج IMX500 لاستهلاك أقل قدر من الطاقة مع توفير أداء سريع للشبكات العصبية. ويتيح لك تحسين نماذج Ultralytics YOLO11 لتحقيق استدلال سريع ومنخفض الطاقة. في هذا الدليل، سنشرح كيفية تصدير نماذجك ونشرها بتنسيق IMX500، مع تسهيل تقديمها أداءً جيدًا على Raspberry Pi AI Camera.

لماذا ينبغي التصدير إلى IMX500؟#

يُعد مستشعر الرؤية الذكي IMX500 من Sony قطعة عتاد ثورية في معالجة الذكاء الاصطناعي الطرفي. فهو أول مستشعر رؤية ذكي في العالم مزود بإمكانات الذكاء الاصطناعي على الشريحة. ويساعد هذا المستشعر على تجاوز العديد من تحديات الذكاء الاصطناعي الطرفي، بما فيها اختناقات معالجة البيانات ومخاوف الخصوصية ومحدودية الأداء. في حين تكتفي المستشعرات الأخرى بنقل الصور والإطارات، يروي IMX500 قصة متكاملة؛ إذ يعالج البيانات مباشرةً على المستشعر، ما يتيح للأجهزة استخلاص الرؤى في الوقت الفعلي.

تصدير Sony IMX500 لنماذج YOLO11#

صُمم IMX500 لتحويل طريقة تعامل الأجهزة مع البيانات مباشرةً على المستشعر، دون الحاجة إلى إرسالها إلى السحابة لمعالجتها.

يعمل IMX500 مع النماذج المكمّمة. ويؤدي التكميم إلى تصغير النماذج وتسريعها دون فقدان قدر كبير من الدقة. وهو مثالي للموارد المحدودة في الحوسبة الطرفية، إذ يتيح للتطبيقات الاستجابة بسرعة عبر تقليل زمن الاستجابة ومعالجة البيانات محليًا بسرعة، دون الاعتماد على السحابة. كما تحافظ المعالجة المحلية على خصوصية بيانات المستخدم وأمانها، لأنها لا تُرسل إلى خادم بعيد.

الميزات الرئيسية لـ IMX500:

• إخراج البيانات الوصفية: بدلًا من إرسال الصور فقط، يمكن لـ IMX500 إخراج الصورة والبيانات الوصفية (نتيجة الاستدلال) معًا، كما يمكنه إخراج البيانات الوصفية فقط لتقليل حجم البيانات وعرض النطاق الترددي والتكاليف.
• معالجة مخاوف الخصوصية: يعالج IMX500 مخاوف الخصوصية عبر معالجة البيانات على الجهاز، ما يجعله مثاليًا للتطبيقات التي تركز على الإنسان، مثل عدّ الأشخاص وتتبع الإشغال.
• المعالجة في الوقت الفعلي: تدعم المعالجة السريعة على المستشعر اتخاذ القرارات في الوقت الفعلي، ما يجعلها مثالية لتطبيقات الذكاء الاصطناعي الطرفي مثل الأنظمة ذاتية التشغيل.

قبل البدء: للحصول على أفضل النتائج، تأكد من إعداد نموذج YOLO11 جيدًا للتصدير باتباع دليل تدريب النماذج ودليل إعداد البيانات ودليل ضبط المعلمات الفائقة.

المهام المدعومة#

يدعم تصدير IMX500 أربعًا من مهام Ultralytics السبع، وذلك لنموذجي YOLOv8n وYOLO11n فقط: أما عائلات النماذج الأخرى ومقاييسها وبُناها فلا تُدعم، ويؤدي تصدير نموذج للتجزئة الدلالية أو OBB أو تقدير العمق إلى ظهور خطأ.

أمثلة الاستخدام#

صدّر نموذج Ultralytics YOLO11 إلى تنسيق IMX500 وشغّل الاستدلال باستخدام النموذج المُصدّر.

يدعم تنسيق IMX500 أوضاع التصدير والتنبؤ والتحقق. ويُجرى الاستدلال والتحقق على Raspberry Pi AI Camera (IMX500).

from ultralytics import YOLO

# ⁨تحميل نموذج YOLO11n من PyTorch⁩
model = YOLO("yolo11n.pt")

# ⁨صدّر النموذج⁩
model.export(format="imx", data="coco8.yaml")  # ⁨يُجري التصدير التكميم باستخدام PTQ افتراضيًا⁩

# ⁨تحميل النموذج المُصدّر⁩
imx_model = YOLO("yolo11n_imx_model")

# ⁨تنفيذ الاستدلال⁩
results = imx_model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# ⁨تحميل نموذج YOLO11n-pose من PyTorch⁩
model = YOLO("yolo11n-pose.pt")

# ⁨صدّر النموذج⁩
model.export(format="imx", data="coco8-pose.yaml")  # ⁨يُجري التصدير التكميم باستخدام PTQ افتراضيًا⁩

# ⁨تحميل النموذج المُصدّر⁩
imx_model = YOLO("yolo11n-pose_imx_model")

# ⁨تنفيذ الاستدلال⁩
results = imx_model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# ⁨تحميل نموذج YOLO11n-cls من PyTorch⁩
model = YOLO("yolo11n-cls.pt")

# ⁨صدّر النموذج⁩
model.export(format="imx", data="imagenet10")  # ⁨يُجري التصدير التكميم باستخدام PTQ افتراضيًا⁩

# ⁨تحميل النموذج المُصدّر⁩
imx_model = YOLO("yolo11n-cls_imx_model")

# ⁨تنفيذ الاستدلال⁩
results = imx_model("https://ultralytics.com/images/bus.jpg", imgsz=224)

from ultralytics import YOLO

# ⁨تحميل نموذج YOLO11n-seg من PyTorch⁩
model = YOLO("yolo11n-seg.pt")

# ⁨صدّر النموذج⁩
model.export(format="imx", data="coco8-seg.yaml")  # ⁨يُجري التصدير التكميم باستخدام PTQ افتراضيًا⁩

# ⁨تحميل النموذج المُصدّر⁩
imx_model = YOLO("yolo11n-seg_imx_model")

# ⁨تنفيذ الاستدلال⁩
results = imx_model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# ⁨تحميل نموذج IMX500 المُصدّر⁩
model = YOLO("yolo11n_imx_model")

# ⁨# التحقق من الدقة على مجموعة بيانات COCO8⁩
metrics = model.val(data="coco8.yaml")

وسيطات التصدير#

لمزيد من التفاصيل حول عملية التصدير، تفضّل بزيارة صفحة وثائق Ultralytics حول التصدير.

ستُنشئ عملية التصدير نموذج ONNX للتحقق من التكميم، إلى جانب دليل باسم <model-name>_imx_model. وسيحتوي هذا الدليل على الملف packerOut.zip الضروري لتعبئة النموذج ونشره على عتاد IMX500. بالإضافة إلى ذلك، سيحتوي المجلد <model-name>_imx_model على ملف نصي (labels.txt) يسرد جميع التصنيفات المرتبطة بالنموذج.

yolo11n_imx_model
├── dnnParams.xml
├── labels.txt
├── packerOut.zip
├── model_imx.onnx
├── model_imx_MemoryReport.json
└── model_imx.pbtxt

استخدام تصدير IMX500 في النشر#

بعد تصدير نموذج Ultralytics YOLO11n إلى تنسيق IMX500، يمكن نشره على Raspberry Pi AI Camera لإجراء الاستدلال.

متطلبات العتاد#

تأكد من توفر العتاد التالي:

1. Raspberry Pi 5 أو Raspberry Pi 4 Model B
2. كاميرا Raspberry Pi AI

وصّل كاميرا Raspberry Pi AI بموصل MIPI CSI ذي 15 دبوسًا على Raspberry Pi، ثم شغّل Raspberry Pi

متطلبات البرمجيات#

الخطوة 1: افتح نافذة طرفية ونفّذ الأوامر التالية لتحديث برنامج Raspberry Pi إلى أحدث إصدار.

sudo apt update && sudo apt full-upgrade

الخطوة 2: ثبّت البرنامج الثابت لـ IMX500، وهو مطلوب لتشغيل مستشعر IMX500.

sudo apt install imx500-all

الخطوة 3: أعد تشغيل Raspberry Pi لتطبيق التغييرات

sudo reboot

الخطوة 4: ثبّت مكتبة وحدة تطبيق Aitrios Raspberry Pi

pip install git+https://github.com/SonySemiconductorSolutions/aitrios-rpi-application-module-library.git

الخطوة 5: شغّل اكتشاف الكائنات وتقدير الوضعية والتصنيف والتجزئة باستخدام YOLO11، وذلك عبر البرامج النصية التالية المتاحة ضمن أمثلة مكتبة وحدة تطبيق aitrios-rpi-application-module-library.

import numpy as np
from modlib.apps import Annotator
from modlib.devices import AiCamera
from modlib.models import COLOR_FORMAT, MODEL_TYPE, Model
from modlib.models.post_processors import pp_od_yolo_ultralytics

class YOLO(Model):
    """YOLO model for IMX500 deployment."""

    def __init__(self):
        """Initialize the YOLO model for IMX500 deployment."""
        super().__init__(
            model_file="yolo11n_imx_model/packerOut.zip",  # replace with proper directory
            model_type=MODEL_TYPE.CONVERTED,
            color_format=COLOR_FORMAT.RGB,
            preserve_aspect_ratio=False,
        )

        self.labels = np.genfromtxt(
            "yolo11n_imx_model/labels.txt",  # replace with proper directory
            dtype=str,
            delimiter="\n",
        )

    def post_process(self, output_tensors):
        """Post-process the output tensors for object detection."""
        return pp_od_yolo_ultralytics(output_tensors)

device = AiCamera(frame_rate=16)  # Optimal frame rate for maximum FPS of the YOLO model running on the AI Camera
model = YOLO()
device.deploy(model)

annotator = Annotator()

with device as stream:
    for frame in stream:
        detections = frame.detections[frame.detections.confidence > 0.55]
        labels = [f"{model.labels[class_id]}: {score:0.2f}" for _, score, class_id, _ in detections]

        annotator.annotate_boxes(frame, detections, labels=labels, alpha=0.3, corner_radius=10)
        frame.display()

المعايير المرجعية#

أجرى فريق Ultralytics الاختبارات المعيارية أدناه لنماذج YOLOv8n وYOLO11n وYOLOv8n-pose وYOLO11n-pose وYOLOv8n-cls وYOLO11n-cls على Raspberry Pi AI Camera باستخدام تنسيق النموذج imx لقياس السرعة والدقة.

ما الذي يجري في الكواليس؟#

مجموعة أدوات ضغط النماذج من Sony (MCT)#

تُعد مجموعة أدوات ضغط النماذج من سوني (MCT) أداة قوية لتحسين نماذج التعلم العميق من خلال التكميم والتقليم. وهي تدعم أساليب تكميم متنوعة، وتوفر خوارزميات متقدمة لتقليل حجم النموذج وتعقيده الحسابي دون التضحية بالدقة بدرجة كبيرة. وتفيد MCT خصوصًا في نشر النماذج على الأجهزة محدودة الموارد، إذ تضمن استدلالًا فعالًا وزمن استجابة أقل.

الميزات التي تدعمها MCT#

تقدم MCT من سوني مجموعة من الميزات المصممة لتحسين نماذج الشبكات العصبية:

1. تحسينات الرسم البياني: تحوّل النماذج إلى إصدارات أكثر كفاءة عن طريق دمج طبقات مثل تطبيع الدفعات في الطبقات السابقة.
2. البحث عن معلمات التكميم: يقلل ضوضاء التكميم إلى أدنى حد باستخدام مقاييس مثل متوسط مربع الخطأ، وعدم القص، ومتوسط متوسط الخطأ.
3. خوارزميات التكميم المتقدمة:
   • تصحيح الإزاحة السالبة: يعالج مشكلات الأداء الناتجة عن تكميم التنشيط المتماثل.
   • ترشيح القيم المتطرفة: يستخدم درجة z لاكتشاف القيم المتطرفة وإزالتها.
   • التجميع: يستخدم شبكات تكميم غير موحدة لتحقيق تطابق أفضل مع التوزيع.
   • البحث عن الدقة المختلطة: يعيّن عروض بتات تكميم مختلفة لكل طبقة استنادًا إلى حساسيتها.
4. التصور: استخدم TensorBoard للاطلاع على مؤشرات أداء النموذج ومراحل التكميم وإعدادات عرض البتات.

التكميم#

تدعم MCT عدة أساليب للتكميم لتقليل حجم النموذج وتحسين سرعة الاستدلال:

1. التكميم بعد التدريب (PTQ):
   • متاح عبر واجهات Keras وPyTorch البرمجية.
   • التعقيد: منخفض
   • التكلفة الحسابية: منخفضة (دقائق من وقت وحدة المعالجة المركزية)
2. التكميم بعد التدريب القائم على التدرج (GPTQ):
   • متاح عبر واجهات Keras وPyTorch البرمجية.
   • التعقيد: متوسط
   • التكلفة الحسابية: متوسطة (ساعتان إلى ثلاث ساعات من وقت GPU)
3. التدريب الواعي بالتكميم (QAT):
   • التعقيد: مرتفع
   • التكلفة الحسابية: مرتفعة (12 إلى 36 ساعة من وقت GPU)

تدعم MCT أيضًا مخططات تكميم متنوعة للأوزان وعمليات التنشيط:

1. قوى العدد اثنين (ملائم للأجهزة)
2. متماثل
3. موحد

التقليم المنظّم#

تقدم MCT تقليمًا منظّمًا للنماذج ومراعيًا للأجهزة، ومصممًا لهياكل أجهزة محددة. تستفيد هذه التقنية من إمكانات المنصة المستهدفة في المعالجة بتعليمة واحدة وبيانات متعددة (SIMD)، وذلك بتقليم مجموعات SIMD. ويقلل هذا من حجم النموذج وتعقيده، مع تحسين استخدام القنوات بما يتوافق مع بنية SIMD، لاستهداف استخدام الموارد وتقليل مساحة الذاكرة التي تشغلها الأوزان. وهي متاحة عبر واجهات Keras وPyTorch البرمجية.

أداة تحويل IMX500 (المُصرِّف)#

تُعد أداة تحويل IMX500 جزءًا أساسيًا من مجموعة أدوات IMX500، إذ تتيح تجميع النماذج لنشرها على مستشعر IMX500 من سوني (مثل كاميرات Raspberry Pi AI). وتسهّل هذه الأداة نقل نماذج Ultralytics YOLO11 التي عولجت باستخدام برمجيات Ultralytics، وتضمن توافقها وأداءها بكفاءة على الأجهزة المحددة. وتتضمن عملية التصدير، التي تلي تكميم النموذج، إنشاء ملفات ثنائية تضم البيانات الأساسية والإعدادات الخاصة بالجهاز، مما يبسّط عملية النشر على Raspberry Pi AI Camera.

حالات الاستخدام في العالم الحقيقي#

يُستخدم التصدير إلى تنسيق IMX500 على نطاق واسع في قطاعات متعددة. إليك بعض الأمثلة:

• الذكاء الاصطناعي الطرفي وإنترنت الأشياء: فعّل اكتشاف الأجسام على الطائرات المسيّرة أو كاميرات الأمن، حيث تكون المعالجة الفورية على الأجهزة منخفضة الطاقة ضرورية.
• الأجهزة القابلة للارتداء: انشر نماذج محسّنة لمعالجة الذكاء الاصطناعي على نطاق صغير في الأجهزة القابلة للارتداء لمراقبة الصحة.
• المدن الذكية: استخدم نماذج YOLO11 المُصدّرة إلى IMX500 لمراقبة حركة المرور وتحليل السلامة بسرعة معالجة أعلى وزمن استجابة أدنى.
• تحليلات البيع بالتجزئة: عزّز المراقبة داخل المتاجر بنشر نماذج محسّنة في أنظمة نقاط البيع أو الرفوف الذكية.

الخلاصة#

يتيح تصدير نماذج Ultralytics YOLO11 إلى تنسيق IMX500 من سوني نشر النماذج للاستدلال الفعال على الكاميرات المعتمدة على IMX500. وبالاستفادة من تقنيات التكميم المتقدمة، يمكنك تقليل حجم النموذج وتحسين سرعة الاستدلال دون التأثير بدرجة كبيرة في الدقة.

لمزيد من المعلومات والإرشادات التفصيلية، يُرجى الرجوع إلى موقع IMX500 من سوني.

الأسئلة الشائعة#