تصدير Sony IMX500 لـ Ultralytics YOLO11#

يشرح هذا الدليل كيفية تصدير نماذج Ultralytics YOLO11 ونشرها على كاميرات Raspberry Pi AI التي تتميز بمستشعر Sony IMX500.

قد يكون نشر نماذج الرؤية الحاسوبية على أجهزة ذات قدرة حسابية محدودة، مثل Raspberry Pi AI Camera، أمرًا معقدًا. ويُحدث استخدام تنسيق نموذج مُحسّن لتحقيق أداء أسرع فرقًا كبيرًا.

صُمم تنسيق نموذج IMX500 لاستخدام أقل قدر ممكن من الطاقة مع توفير أداء سريع للشبكات العصبية. ويتيح لك تحسين نماذج Ultralytics YOLO11 للاستدلال عالي السرعة ومنخفض استهلاك الطاقة. في هذا الدليل، سنرشدك خلال تصدير نماذجك إلى تنسيق IMX500 ونشرها، مع تسهيل تحقيق أداء جيد لنماذجك على Raspberry Pi AI Camera.

لماذا ينبغي لك التصدير إلى IMX500؟#

يُعد مستشعر الرؤية الذكية IMX500 من Sony قطعة عتاد ثورية في معالجة الذكاء الاصطناعي الطرفي. فهو أول مستشعر رؤية ذكي في العالم يتمتع بقدرات ذكاء اصطناعي على الشريحة. ويساعد هذا المستشعر في التغلب على العديد من تحديات الذكاء الاصطناعي الطرفي، بما في ذلك اختناقات معالجة البيانات ومخاوف الخصوصية وقيود الأداء. وبينما تكتفي المستشعرات الأخرى بتمرير الصور والإطارات، يروي IMX500 القصة كاملة. فهو يعالج البيانات مباشرةً على المستشعر، مما يتيح للأجهزة توليد رؤى آنية.

تصدير Sony IMX500 لنماذج YOLO11#

صُمم IMX500 لتغيير طريقة تعامل الأجهزة مع البيانات مباشرةً على المستشعر، من دون الحاجة إلى إرسالها إلى السحابة لمعالجتها.

يعمل IMX500 مع النماذج المُكمّمة. تجعل التكميم النماذج أصغر وأسرع من دون فقدان قدر كبير من الدقة. وهو مثالي للموارد المحدودة في الحوسبة الطرفية، إذ يتيح للتطبيقات الاستجابة بسرعة من خلال تقليل زمن الاستجابة ومعالجة البيانات محليًا بسرعة، من دون الاعتماد على السحابة. كما تحافظ المعالجة المحلية على خصوصية بيانات المستخدم وأمانها لأنها لا تُرسل إلى خادم بعيد.

الميزات الرئيسية لـ IMX500:

• إخراج البيانات الوصفية: بدلًا من نقل الصور فقط، يستطيع IMX500 إخراج كل من الصورة والبيانات الوصفية (نتيجة الاستدلال)، كما يستطيع إخراج البيانات الوصفية فقط لتقليل حجم البيانات وخفض النطاق الترددي والتكاليف.
• معالجة مخاوف الخصوصية: من خلال معالجة البيانات على الجهاز، يعالج IMX500 مخاوف الخصوصية، مما يجعله مثاليًا للتطبيقات المتمحورة حول الإنسان، مثل عدّ الأشخاص وتتبع الإشغال.
• المعالجة في الوقت الفعلي: تدعم المعالجة السريعة على المستشعر اتخاذ القرارات في الوقت الفعلي، مما يجعلها مثالية لتطبيقات الذكاء الاصطناعي الطرفي، مثل الأنظمة الذاتية.

قبل البدء: للحصول على أفضل النتائج، تأكد من إعداد نموذج YOLO11 جيدًا للتصدير باتباع دليل تدريب النماذج ودليل إعداد البيانات ودليل ضبط المعلمات الفائقة.

المهام المدعومة#

يدعم تصدير IMX500 أربعًا من مهام Ultralytics السبع، وذلك فقط لـ YOLOv8n وYOLO11n: لا تُدعم عائلات النماذج والمقاييس والبُنى الأخرى، كما يؤدي تصدير نموذج لتقسيم دلالي أو OBB أو تقدير العمق إلى حدوث خطأ.

أمثلة على الاستخدام#

صدّر نموذج Ultralytics YOLO11 إلى تنسيق IMX500 وشغّل الاستدلال باستخدام النموذج المُصدَّر.

يدعم تنسيق IMX500 أوضاع التصدير والتنبؤ والتحقق. ويُجرى الاستدلال والتحقق على Raspberry Pi AI Camera (IMX500).

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model
model.export(format="imx", data="coco8.yaml")  # exports with PTQ quantization by default

# Load the exported model
imx_model = YOLO("yolo11n_imx_model")

# Run inference
results = imx_model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load a YOLO11n-pose PyTorch model
model = YOLO("yolo11n-pose.pt")

# Export the model
model.export(format="imx", data="coco8-pose.yaml")  # exports with PTQ quantization by default

# Load the exported model
imx_model = YOLO("yolo11n-pose_imx_model")

# Run inference
results = imx_model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load a YOLO11n-cls PyTorch model
model = YOLO("yolo11n-cls.pt")

# Export the model
model.export(format="imx", data="imagenet10")  # exports with PTQ quantization by default

# Load the exported model
imx_model = YOLO("yolo11n-cls_imx_model")

# Run inference
results = imx_model("https://ultralytics.com/images/bus.jpg", imgsz=224)

from ultralytics import YOLO

# Load a YOLO11n-seg PyTorch model
model = YOLO("yolo11n-seg.pt")

# Export the model
model.export(format="imx", data="coco8-seg.yaml")  # exports with PTQ quantization by default

# Load the exported model
imx_model = YOLO("yolo11n-seg_imx_model")

# Run inference
results = imx_model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported IMX500 model
model = YOLO("yolo11n_imx_model")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

وسائط التصدير#

لمزيد من التفاصيل حول عملية التصدير، تفضل بزيارة صفحة توثيق Ultralytics حول التصدير.

سينشئ إجراء التصدير نموذج ONNX للتحقق من التكميم، إلى جانب دليل باسم <model-name>_imx_model. وسيتضمن هذا الدليل الملف packerOut.zip، وهو ضروري لتغليف النموذج من أجل نشره على عتاد IMX500. بالإضافة إلى ذلك، سيحتوي المجلد <model-name>_imx_model على ملف نصي (labels.txt) يسرد جميع التسميات المرتبطة بالنموذج.

yolo11n_imx_model
├── dnnParams.xml
├── labels.txt
├── packerOut.zip
├── model_imx.onnx
├── model_imx_MemoryReport.json
└── model_imx.pbtxt

استخدام تصدير IMX500 في النشر#

بعد تصدير نموذج Ultralytics YOLO11n إلى تنسيق IMX500، يمكن نشره على Raspberry Pi AI Camera لإجراء الاستدلال.

المتطلبات الأساسية للعتاد#

تأكد من توفر العتاد التالي لديك:

1. Raspberry Pi 5 أو Raspberry Pi 4 Model B
2. كاميرا Raspberry Pi AI

صِل كاميرا Raspberry Pi AI بموصل MIPI CSI ذي 15 دبوسًا على Raspberry Pi، ثم شغّل Raspberry Pi.

المتطلبات الأساسية للبرمجيات#

الخطوة 1: افتح نافذة طرفية ونفّذ الأوامر التالية لتحديث برمجيات Raspberry Pi إلى أحدث إصدار.

sudo apt update && sudo apt full-upgrade

الخطوة 2: ثبّت البرامج الثابتة لـ IMX500، وهي مطلوبة لتشغيل مستشعر IMX500.

sudo apt install imx500-all

الخطوة 3: أعد تشغيل Raspberry Pi لتطبيق التغييرات.

sudo reboot

الخطوة 4: ثبّت مكتبة وحدة تطبيق Aitrios Raspberry Pi.

pip install git+https://github.com/SonySemiconductorSolutions/aitrios-rpi-application-module-library.git

الخطوة 5: شغّل اكتشاف الكائنات وتقدير الوضعية والتصنيف والتقسيم باستخدام YOLO11، وذلك عبر البرامج النصية أدناه والمتاحة في أمثلة مكتبة وحدة تطبيق aitrios-rpi-application-module-library.

import numpy as np
from modlib.apps import Annotator
from modlib.devices import AiCamera
from modlib.models import COLOR_FORMAT, MODEL_TYPE, Model
from modlib.models.post_processors import pp_od_yolo_ultralytics

class YOLO(Model):
    """YOLO model for IMX500 deployment."""

    def __init__(self):
        """Initialize the YOLO model for IMX500 deployment."""
        super().__init__(
            model_file="yolo11n_imx_model/packerOut.zip",  # replace with proper directory
            model_type=MODEL_TYPE.CONVERTED,
            color_format=COLOR_FORMAT.RGB,
            preserve_aspect_ratio=False,
        )

        self.labels = np.genfromtxt(
            "yolo11n_imx_model/labels.txt",  # replace with proper directory
            dtype=str,
            delimiter="\n",
        )

    def post_process(self, output_tensors):
        """Post-process the output tensors for object detection."""
        return pp_od_yolo_ultralytics(output_tensors)

device = AiCamera(frame_rate=16)  # Optimal frame rate for maximum FPS of the YOLO model running on the AI Camera
model = YOLO()
device.deploy(model)

annotator = Annotator()

with device as stream:
    for frame in stream:
        detections = frame.detections[frame.detections.confidence > 0.55]
        labels = [f"{model.labels[class_id]}: {score:0.2f}" for _, score, class_id, _ in detections]

        annotator.annotate_boxes(frame, detections, labels=labels, alpha=0.3, corner_radius=10)
        frame.display()

المعايير المرجعية#

شغّل فريق Ultralytics المعايير التالية لـ YOLOv8n وYOLO11n وYOLOv8n-pose وYOLO11n-pose وYOLOv8n-cls وYOLO11n-cls على Raspberry Pi AI Camera باستخدام تنسيق النموذج imx، مع قياس السرعة والدقة.

ما الذي يحدث تحت الغطاء؟#

مجموعة أدوات ضغط النماذج من Sony (MCT)#

تُعد مجموعة أدوات ضغط النماذج من Sony (MCT) أداة قوية لتحسين نماذج التعلم العميق من خلال التكميم والتقليم. وهي تدعم أساليب متنوعة للتكميم، وتوفر خوارزميات متقدمة لتقليل حجم النموذج وتعقيده الحسابي من دون التضحية بالدقة بدرجة كبيرة. وتفيد MCT خصوصًا في نشر النماذج على الأجهزة محدودة الموارد، إذ تضمن استدلالًا فعالًا وزمن استجابة أقل.

الميزات المدعومة في MCT#

توفر MCT من Sony مجموعة من الميزات المصممة لتحسين نماذج الشبكات العصبية:

1. تحسينات الرسم البياني: تحوّل النماذج إلى إصدارات أكثر كفاءة من خلال طي طبقات مثل التطبيع الدفعي ضمن الطبقات السابقة.
2. البحث عن معلمات التكميم: يقلل ضوضاء التكميم باستخدام مقاييس مثل متوسط مربع الخطأ وعدم القص ومتوسط الخطأ.
3. خوارزميات التكميم المتقدمة:
   • تصحيح الإزاحة السالبة: يعالج مشكلات الأداء الناتجة عن تكميم التنشيطات المتماثل.
   • ترشيح القيم الشاذة: يستخدم درجة z لاكتشاف القيم الشاذة وإزالتها.
   • التجميع: يستخدم شبكات تكميم غير موحّدة لمطابقة التوزيع بشكل أفضل.
   • البحث عن الدقة المختلطة: يعيّن عروض بتات تكميم مختلفة لكل طبقة استنادًا إلى حساسيتها.
4. التصور: استخدم TensorBoard لمراقبة رؤى أداء النموذج ومراحل التكميم وتكوينات عرض البتات.

التكميم#

تدعم MCT عدة أساليب للتكميم لتقليل حجم النموذج وتحسين سرعة الاستدلال:

1. التكميم بعد التدريب (PTQ):
   • متاح عبر واجهتَي Keras وPyTorch البرمجيتين.
   • التعقيد: منخفض
   • التكلفة الحسابية: منخفضة (دقائق على CPU)
2. التكميم بعد التدريب القائم على التدرج (GPTQ):
   • متاح عبر واجهتَي Keras وPyTorch البرمجيتين.
   • التعقيد: متوسط
   • التكلفة الحسابية: متوسطة (ساعتان إلى 3 ساعات على GPU)
3. التدريب المدرك للتكميم (QAT):
   • التعقيد: مرتفع
   • التكلفة الحسابية: مرتفعة (12 إلى 36 ساعة على GPU)

تدعم MCT أيضًا مخططات متنوعة لتكميم الأوزان والتنشيطات:

1. قوة العدد اثنين (ملائم للعتاد)
2. متماثل
3. موحّد

التقليم المنظّم#

تقدم MCT تقليمًا منظّمًا ومدركًا للعتاد للنماذج، مصممًا لبُنى عتادية محددة. وتستفيد هذه التقنية من قدرات التعليمات المفردة والبيانات المتعددة (SIMD) في المنصة المستهدفة عبر تقليم مجموعات SIMD. ويؤدي ذلك إلى تقليل حجم النموذج وتعقيده، مع تحسين استخدام القنوات بما يتوافق مع بنية SIMD لتحقيق استخدام مستهدف لموارد البصمة الذاكرية للأوزان. وهي متاحة عبر واجهتَي Keras وPyTorch البرمجيتين.

أداة محوّل IMX500 (المصرّف)#

تُعد أداة محوّل IMX500 جزءًا أساسيًا من مجموعة أدوات IMX500، إذ تتيح تجميع النماذج لنشرها على مستشعر IMX500 من Sony (مثل Raspberry Pi AI Cameras). وتسهل هذه الأداة نقل نماذج Ultralytics YOLO11 التي عولجت باستخدام برمجيات Ultralytics، مع ضمان توافقها وعملها بكفاءة على العتاد المحدد. ويتضمن إجراء التصدير بعد تكميم النموذج إنشاء ملفات ثنائية تحتوي على البيانات الأساسية والتكوينات الخاصة بالجهاز، مما يبسّط عملية النشر على Raspberry Pi AI Camera.

حالات الاستخدام الواقعية#

ينطبق التصدير إلى تنسيق IMX500 على نطاق واسع عبر قطاعات مختلفة. فيما يلي بعض الأمثلة:

• الذكاء الاصطناعي الطرفي وإنترنت الأشياء: تمكين اكتشاف الكائنات على الطائرات المسيّرة أو كاميرات الأمان، حيث تكون المعالجة الآنية على الأجهزة منخفضة الطاقة ضرورية.
• الأجهزة القابلة للارتداء: نشر نماذج محسّنة لمعالجة الذكاء الاصطناعي على نطاق صغير في الأجهزة القابلة للارتداء لمراقبة الصحة.
• المدن الذكية: استخدام نماذج YOLO11 المُصدَّرة إلى IMX500 لمراقبة حركة المرور وتحليل السلامة مع معالجة أسرع وزمن استجابة أدنى.
• تحليلات البيع بالتجزئة: تحسين المراقبة داخل المتاجر من خلال نشر نماذج محسّنة في أنظمة نقاط البيع أو الرفوف الذكية.

الخلاصة#

يتيح تصدير نماذج Ultralytics YOLO11 إلى تنسيق IMX500 من Sony نشر نماذجك لإجراء استدلال فعال على الكاميرات القائمة على IMX500. ومن خلال الاستفادة من تقنيات التكميم المتقدمة، يمكنك تقليل حجم النموذج وتحسين سرعة الاستدلال من دون التأثير بدرجة كبيرة في الدقة.

لمزيد من المعلومات والإرشادات التفصيلية، راجع موقع IMX500 التابع لـ Sony.

الأسئلة الشائعة#