تصدير Sony IMX500 لنماذج Ultralytics YOLO11
يغطي هذا الدليل تصدير نماذج Ultralytics YOLOv8n وYOLO11n ونشرها على كاميرات Raspberry Pi AI Camera المزودة بمستشعر Sony IMX500.
قد يكون نشر نماذج الرؤية الحاسوبية على أجهزة محدودة القدرة الحاسوبية، مثل Raspberry Pi AI Camera، أمرًا معقدًا. ويُحدث استخدام تنسيق نموذج مُحسّن لأداء أسرع فرقًا كبيرًا.
صُمم تنسيق نموذج IMX500 لاستهلاك أقل قدر من الطاقة مع توفير أداء سريع للشبكات العصبية. ويتيح لك تحسين نماذج Ultralytics YOLO11 للاستدلال عالي السرعة ومنخفض استهلاك الطاقة. يشرح لك هذا الدليل خطوات تصدير نماذجك إلى تنسيق IMX500 ونشرها على Raspberry Pi AI Camera.
لماذا ينبغي التصدير إلى IMX500؟#
يُجري مستشعر الرؤية الذكي IMX500 من Sony معالجة الذكاء الاصطناعي على المستشعر نفسه، وتصفه Sony بأنه الأول عالميًا بين مستشعرات الرؤية الذكية. ويساعد ذلك على تجاوز التحديات الشائعة التي تواجه الذكاء الاصطناعي الطرفي، ومنها اختناقات معالجة البيانات ومخاوف الخصوصية وقيود الأداء. وبينما لا تفعل المستشعرات التقليدية سوى تمرير الصور والإطارات، فإن IMX500 يفسّر ما يلتقطه، ما يتيح للأجهزة استخلاص الرؤى في الوقت الفعلي.
تصدير Sony IMX500 لنماذج YOLO11#
صُمم IMX500 لمعالجة البيانات مباشرةً على المستشعر، دون إرسالها إلى السحابة لمعالجتها.
يعمل IMX500 مع النماذج المكمّمة. يجعل التكميم النماذج أصغر وأسرع دون خسارة كبيرة في الدقة. ويناسب الموارد المحدودة للحوسبة الطرفية، إذ يتيح للتطبيقات الاستجابة بسرعة عبر تقليل زمن الاستجابة ومعالجة البيانات محليًا بسرعة، دون الاعتماد على السحابة. كما تحافظ المعالجة المحلية على خصوصية بيانات المستخدم وأمانها، لأنها لا تُرسل إلى خادم بعيد.
الميزات الرئيسية لـ IMX500:
- إخراج البيانات الوصفية: بدلًا من إرسال الصور فقط، يمكن لـ IMX500 إخراج الصورة والبيانات الوصفية (نتيجة الاستدلال) معًا، كما يمكنه إخراج البيانات الوصفية فقط لتقليل حجم البيانات وعرض النطاق الترددي والتكاليف.
- معالجة مخاوف الخصوصية: يعالج IMX500 مخاوف الخصوصية من خلال معالجة البيانات على الجهاز، ما يجعله مناسبًا جدًا للتطبيقات التي تتمحور حول الإنسان، مثل عدّ الأشخاص وتتبع الإشغال.
- المعالجة في الوقت الفعلي: تدعم المعالجة السريعة على المستشعر اتخاذ قرارات آنية في تطبيقات الذكاء الاصطناعي الطرفي، مثل الأنظمة ذاتية التشغيل.
قبل البدء: للحصول على أفضل النتائج، تأكد من إعداد نموذج YOLO11 جيدًا للتصدير باتباع دليل تدريب النماذج ونظرة عامة على مجموعات البيانات ودليل ضبط المعلمات الفائقة.
المهام المدعومة#
يدعم تصدير IMX500 أربعًا من مهام Ultralytics السبع، وذلك لنموذجي YOLOv8n وYOLO11n فقط: أما عائلات النماذج الأخرى ومقاييسها وبُناها فلا تُدعم، ويؤدي تصدير نموذج للتجزئة الدلالية أو OBB أو تقدير العمق إلى ظهور خطأ.
أمثلة الاستخدام#
صدّر نموذج Ultralytics YOLO11 إلى تنسيق IMX500 وشغّل الاستدلال باستخدام النموذج المُصدّر.
يدعم تنسيق IMX500 أوضاع التصدير والتنبؤ والتحقق. ينفّذ Ultralytics الاستدلال والتحقق على المضيف باستخدام model_imx.onnx المُصدّر، وعلى CPU.
يؤكد الاستدلال هنا فقط أن النموذج المُصدّر يعمل كما هو متوقع قبل نشره على Raspberry Pi AI Camera.
from ultralytics import YOLO
# تحميل نموذج YOLO11n من PyTorch
model = YOLO("yolo11n.pt")
# صدّر النموذج
model.export(format="imx", data="coco8.yaml") # يُجري التصدير التكميم باستخدام PTQ افتراضيًا
# تحميل النموذج المُصدّر
imx_model = YOLO("yolo11n_imx_model")
# تنفيذ الاستدلال
results = imx_model("https://ultralytics.com/images/bus.jpg")from ultralytics import YOLO
# تحميل نموذج YOLO11n-pose من PyTorch
model = YOLO("yolo11n-pose.pt")
# صدّر النموذج
model.export(format="imx", data="coco8-pose.yaml") # يُجري التصدير التكميم باستخدام PTQ افتراضيًا
# تحميل النموذج المُصدّر
imx_model = YOLO("yolo11n-pose_imx_model")
# تنفيذ الاستدلال
results = imx_model("https://ultralytics.com/images/bus.jpg")from ultralytics import YOLO
# تحميل نموذج YOLO11n-cls من PyTorch
model = YOLO("yolo11n-cls.pt")
# صدّر النموذج
model.export(format="imx", data="imagenet10") # يُجري التصدير التكميم باستخدام PTQ افتراضيًا
# تحميل النموذج المُصدّر
imx_model = YOLO("yolo11n-cls_imx_model")
# تنفيذ الاستدلال
results = imx_model("https://ultralytics.com/images/bus.jpg", imgsz=224)from ultralytics import YOLO
# تحميل نموذج YOLO11n-seg من PyTorch
model = YOLO("yolo11n-seg.pt")
# صدّر النموذج
model.export(format="imx", data="coco8-seg.yaml") # يُجري التصدير التكميم باستخدام PTQ افتراضيًا
# تحميل النموذج المُصدّر
imx_model = YOLO("yolo11n-seg_imx_model")
# تنفيذ الاستدلال
results = imx_model("https://ultralytics.com/images/bus.jpg")from ultralytics import YOLO
# تحميل نموذج IMX500 المُصدّر
model = YOLO("yolo11n_imx_model")
# # التحقق من الدقة على مجموعة بيانات COCO8
metrics = model.val(data="coco8.yaml")لا يُدعم التصدير إلى IMX إلا على Linux باستخدام Python 3.10–3.12، ويتطلب Java 17 أو إصدارًا أحدث. تثبّت حزمة Ultralytics تبعيات إضافية للتصدير أثناء التشغيل. عند تشغيل أمر التصدير للمرة الأولى، قد تحتاج إلى إعادة تشغيل وحدة التحكم للتأكد من عمله على النحو الصحيح.
وسيطات التصدير#
| المعامل | النوع | الافتراضي | الوصف |
|---|---|---|---|
format | str | 'imx' | التنسيق المستهدف للنموذج المُصدَّر، ويحدد مدى توافقه مع بيئات النشر المختلفة. |
imgsz | int أو tuple | 640 | حجم الصورة المطلوب كمدخل للنموذج. يمكن تحديده كعدد صحيح للصور المربعة أو كصف (height, width) للأبعاد المحددة. |
quantize | int أو str | 8/تلقائي | دقة التكميم. يلزم استخدام 8 (INT8/PTQ)، ويُفعّل تلقائيًا لـ IMX500. لا يُدعم التصدير باستخدام FP32 أو FP16 فقط. ويحل هذا الخيار محل العلامتين المهملتين half/int8. |
data | str | None | مسار ملف YAML الخاص بـمجموعة البيانات، وهو ضروري للتكميم؛ أما التصنيف فيتطلب دليل مجموعة بيانات أو اسم مجموعة بيانات مضمّنة. إذا لم تحدد هذا المسار، تختار Ultralytics مجموعة بيانات المعايرة الافتراضية لمهمة النموذج. |
fraction | float أو int أو list | 1.0 | مجموعة فرعية للمعايرة محددة كنسبة أو عدد صور أو نسب/أعداد [train, val, test]. تترك القوائم المكوّنة من عنصرين test كاملة، بينما تتجاوزها 0. |
nms | bool، اختياري | None | حدّد المخرجات الأولية (None، الافتراضي) أو NMS المضمّن (True) أو الرأس الخالي من NMS (False). يتطلب IMX الخيار nms=True لمهام الكشف والتجزئة وتقدير الوضعية، ويحدده تلقائيًا. |
device | str | None | يحدد الجهاز المستخدم للتصدير: GPU (device=0)، أو CPU (device=cpu). |
لمزيد من التفاصيل حول عملية التصدير، تفضّل بزيارة صفحة وثائق Ultralytics حول التصدير.
تنشئ عملية التصدير دليلًا باسم <model-name>_imx_model. ويحتوي هذا الدليل على model_imx.onnx للتحقق من صحة التكميم، وعلى الملف packerOut.zip الضروري لتجهيز النموذج للنشر على أجهزة IMX500. بالإضافة إلى ذلك، سيحتوي المجلد <model-name>_imx_model على ملف نصي (labels.txt) يسرد جميع التسميات المرتبطة بالنموذج.
yolo11n_imx_model
├── dnnParams.xml
├── labels.txt
├── packerOut.zip
├── model_imx.onnx
├── model_imx_MemoryReport.json
└── model_imx.pbtxtاستخدام تصدير IMX500 في النشر#
بعد تصدير نموذج Ultralytics YOLO11n إلى تنسيق IMX500، يمكنك نشره على Raspberry Pi AI Camera لإجراء الاستدلال.
متطلبات العتاد#
تأكد من توفر الأجهزة التالية:
- Raspberry Pi 5 أو Raspberry Pi 4 Model B
- كاميرا Raspberry Pi AI
وصّل Raspberry Pi AI Camera بموصل MIPI CSI ذي 15 سنًا على Raspberry Pi، ثم شغّل Raspberry Pi.
متطلبات البرمجيات#
اختُبر هذا الدليل باستخدام Raspberry Pi OS Bookworm على Raspberry Pi 5.
الخطوة 1: افتح نافذة طرفية ونفّذ الأوامر التالية لتحديث برنامج Raspberry Pi إلى أحدث إصدار.
sudo apt update && sudo apt full-upgradeالخطوة 2: ثبّت البرنامج الثابت لـ IMX500، وهو مطلوب لتشغيل مستشعر IMX500.
sudo apt install imx500-allالخطوة 3: أعد تشغيل Raspberry Pi لتطبيق التغييرات.
sudo rebootالخطوة 4: ثبّت مكتبة وحدة تطبيق AITRIOS لـ Raspberry Pi
pip install git+https://github.com/SonySemiconductorSolutions/aitrios-rpi-application-module-library.gitالخطوة 5: شغّل كشف الكائنات وتقدير الوضعية والتصنيف والتجزئة باستخدام YOLO11 عبر البرامج النصية التالية، المتوفرة في أمثلة مكتبة وحدة تطبيق aitrios-rpi-application-module-library.
تأكد من استبدال الدليلين model_file وlabels.txt بما يتناسب مع بيئتك قبل تشغيل هذه البرامج النصية.
import numpy as np
from modlib.apps import Annotator
from modlib.devices import AiCamera
from modlib.models import COLOR_FORMAT, MODEL_TYPE, Model
from modlib.models.post_processors import pp_od_yolo_ultralytics
class YOLO(Model):
"""YOLO model for IMX500 deployment."""
def __init__(self):
"""Initialize the YOLO model for IMX500 deployment."""
super().__init__(
model_file="yolo11n_imx_model/packerOut.zip", # replace with proper directory
model_type=MODEL_TYPE.CONVERTED,
color_format=COLOR_FORMAT.RGB,
preserve_aspect_ratio=False,
)
self.labels = np.genfromtxt(
"yolo11n_imx_model/labels.txt", # replace with proper directory
dtype=str,
delimiter="\n",
)
def post_process(self, output_tensors):
"""Post-process the output tensors for object detection."""
return pp_od_yolo_ultralytics(output_tensors)
device = AiCamera(frame_rate=16) # Optimal frame rate for maximum FPS of the YOLO model running on the AI Camera
model = YOLO()
device.deploy(model)
annotator = Annotator()
with device as stream:
for frame in stream:
detections = frame.detections[frame.detections.confidence > 0.55]
labels = [f"{model.labels[class_id]}: {score:0.2f}" for _, score, class_id, _ in detections]
annotator.annotate_boxes(frame, detections, labels=labels, alpha=0.3, corner_radius=10)
frame.display()المعايير المرجعية#
أجرى فريق Ultralytics الاختبارات المعيارية أدناه لنماذج YOLOv8n وYOLO11n وYOLOv8n-pose وYOLO11n-pose وYOLOv8n-cls وYOLO11n-cls على Raspberry Pi AI Camera باستخدام تنسيق النموذج imx لقياس السرعة والدقة.
| النموذج | التنسيق | الحجم (بالبكسل) | حجم packerOut.zip (ميغابايت) | mAP50-95(B) | وقت الاستدلال (ms/im) |
|---|---|---|---|---|---|
| YOLOv8n | imx | 640 | 2.1 | 0.470 | 58.79 |
| YOLO11n | imx | 640 | 2.2 | 0.517 | 58.82 |
| YOLOv8n-pose | imx | 640 | 2.0 | 0.687 | 58.79 |
| YOLO11n-pose | imx | 640 | 2.1 | 0.788 | 62.50 |
| النموذج | التنسيق | الحجم (بالبكسل) | حجم packerOut.zip (ميغابايت) | acc (top1) | acc (top5) | وقت الاستدلال (ms/im) |
|---|---|---|---|---|---|---|
| YOLOv8n-cls | imx | 224 | 2.3 | 0.25 | 0.5 | 33.31 |
| YOLO11n-cls | imx | 224 | 2.3 | 0.25 | 0.417 | 33.31 |
أُجري التحقق من صحة المعايير المذكورة أعلاه باستخدام مجموعة بيانات COCO128 لنماذج الكشف، ومجموعة بيانات COCO8-Pose لنماذج تقدير الوضعية، ومجموعة بيانات ImageNet10 لنماذج التصنيف.
ما الذي يجري في الكواليس؟#
مجموعة أدوات ضغط النماذج من Sony (MCT)#
مجموعة أدوات ضغط النماذج (MCT) من Sony هي مجموعة أدوات لتحسين نماذج التعلم العميق من خلال التكميم والتقليم. وتدعم أساليب تكميم متنوعة، وتوفر خوارزميات متقدمة لتقليل حجم النموذج وتعقيده الحسابي دون التضحية بالدقة بشكل ملحوظ. وتفيد MCT على وجه الخصوص في نشر النماذج على الأجهزة محدودة الموارد، إذ تتيح استدلالًا فعالًا وزمن استجابة أقل.
الميزات التي تدعمها MCT#
تقدم MCT من Sony مجموعة من الميزات المصممة لتحسين نماذج الشبكات العصبية:
- تحسينات الرسم البياني: تحوّل النماذج إلى إصدارات أكثر كفاءة من خلال دمج طبقات مثل تطبيع الدفعات في الطبقات السابقة.
- البحث عن معلمات التكميم: يقلل ضوضاء التكميم إلى أدنى حد باستخدام مقاييس مثل متوسط مربع الخطأ، وعدم القص، ومتوسط متوسط الخطأ.
- خوارزميات التكميم المتقدمة:
- تصحيح الإزاحة السالبة: يعالج مشكلات الأداء الناتجة عن تكميم التنشيط المتماثل.
- ترشيح القيم المتطرفة: يستخدم درجة z لاكتشاف القيم المتطرفة وإزالتها.
- التجميع: يستخدم شبكات تكميم غير موحدة لمطابقة التوزيع على نحو أفضل.
- البحث عن الدقة المختلطة: يعيّن عروض بتات تكميم مختلفة لكل طبقة استنادًا إلى حساسيتها.
- التصور: استخدم TensorBoard للاطلاع على مؤشرات أداء النموذج ومراحل التكميم وإعدادات عرض البتات.
التكميم#
تدعم MCT عدة أساليب للتكميم لتقليل حجم النموذج وتحسين سرعة الاستدلال:
- التكميم بعد التدريب (PTQ):
- متاح عبر واجهات Keras وPyTorch البرمجية.
- التعقيد: منخفض
- التكلفة الحسابية: منخفضة (دقائق من وقت وحدة المعالجة المركزية)
- التكميم بعد التدريب القائم على التدرج (GPTQ):
- متاح عبر واجهات Keras وPyTorch البرمجية.
- التعقيد: متوسط
- التكلفة الحسابية: متوسطة (ساعتان إلى ثلاث ساعات من وقت GPU)
- التدريب الواعي بالتكميم (QAT):
- التعقيد: مرتفع
- التكلفة الحسابية: مرتفعة (12 إلى 36 ساعة من وقت GPU)
تدعم MCT أيضًا مخططات تكميم متنوعة للأوزان وعمليات التنشيط:
- قوى العدد اثنين (ملائم للأجهزة)
- متماثل
- موحد
التقليم المنظّم#
يقدّم MCT تقليم النماذج المنظّم والمراعي للعتاد، والمصمّم لبنى عتادية محددة. وتستفيد هذه التقنية من إمكانات المنصة المستهدفة لمعالجة تعليمة واحدة على بيانات متعددة (SIMD)، وذلك بتقليم مجموعات SIMD. ويقلل ذلك حجم النموذج وتعقيده، مع تحسين استغلال القنوات بما يتوافق مع بنية SIMD لتحقيق الاستفادة المستهدفة من الموارد وتقليص البصمة الذاكرية للأوزان. وتتوفر عبر واجهات API في Keras وPyTorch.
أداة تحويل IMX500 (المُصرِّف)#
تُعد أداة التحويل IMX500 جزءًا أساسيًا من مجموعة أدوات IMX500، إذ تتيح تجميع النماذج لنشرها على مستشعر IMX500 من Sony (مثل Raspberry Pi AI Cameras). وهي تجمع نماذج Ultralytics YOLO11 المكمّمة في صيغة تعمل بكفاءة على الأجهزة المستهدفة. بعد التكميم، ينشئ التصدير ملفات ثنائية تتضمن بيانات النموذج وتهيئة خاصة بالجهاز اللازمة للنشر على Raspberry Pi AI Camera.
حالات الاستخدام في العالم الحقيقي#
يُستخدم التصدير إلى تنسيق IMX500 على نطاق واسع في قطاعات متعددة. إليك بعض الأمثلة:
- الذكاء الاصطناعي الطرفي وإنترنت الأشياء: فعّل اكتشاف الأجسام على الطائرات المسيّرة أو كاميرات الأمن، حيث تكون المعالجة الفورية على الأجهزة منخفضة الطاقة ضرورية.
- الأجهزة القابلة للارتداء: انشر نماذج محسّنة لمعالجة الذكاء الاصطناعي على نطاق صغير في الأجهزة القابلة للارتداء لمراقبة الصحة.
- المدن الذكية: استخدم نماذج YOLO11 المُصدّرة إلى IMX500 لمراقبة حركة المرور وتحليل السلامة بسرعة معالجة أعلى وزمن استجابة أدنى.
- تحليلات البيع بالتجزئة: عزّز المراقبة داخل المتاجر بنشر نماذج محسّنة في أنظمة نقاط البيع أو الرفوف الذكية.
الخلاصة#
يتيح تصدير نماذج Ultralytics YOLO11 إلى تنسيق IMX500 من Sony نشر نماذجك لإجراء استدلال فعال على الكاميرات القائمة على IMX500. يقلل التكميم حجم النموذج ويحسن سرعة الاستدلال مع خسارة طفيفة في الدقة.
لمزيد من المعلومات والإرشادات التفصيلية، يُرجى الرجوع إلى موقع IMX500 من سوني.
الأسئلة الشائعة#
لتصدير نموذج YOLO11 إلى تنسيق IMX500، استخدم واجهة Python البرمجية أو أمر CLI:
from ultralytics import YOLO model = YOLO("yolo11n.pt") model.export(format="imx") # يُصدّر باستخدام التكميم PTQ افتراضيًاستنشىء عملية التصدير دليلًا يحتوي على الملفات اللازمة للنشر، بما في ذلك
packerOut.zip.يوفر تنسيق IMX500 عدة مزايا مهمة للنشر الطرفي:
- تقلل معالجة الذكاء الاصطناعي على الشريحة من زمن الاستجابة واستهلاك الطاقة
- يُخرج الصور والبيانات الوصفية (نتيجة الاستدلال) بدلًا من الصور وحدها
- تعزيز الخصوصية بمعالجة البيانات محليًا دون الاعتماد على السحابة
- إمكانات معالجة فورية مثالية للتطبيقات الحساسة للوقت
- تكميم محسّن لنشر النماذج بكفاءة على الأجهزة محدودة الموارد
لنشر نماذج IMX500، ستحتاج إلى:
الأجهزة:
- Raspberry Pi 5 أو Raspberry Pi 4 Model B
- Raspberry Pi AI Camera مزوّدة بمستشعر IMX500
البرمجيات:
- Raspberry Pi OS Bookworm
- البرامج الثابتة والأدوات الخاصة بـ IMX500 (
sudo apt install imx500-all)
استنادًا إلى معايير Ultralytics على Raspberry Pi AI Camera:
- يحقق YOLO11n زمن استدلال قدره 58.82ms لكل صورة
- mAP50-95 بقيمة 0.517 على مجموعة بيانات COCO128
- حجم النموذج لا يتجاوز 2.2MB بعد التكميم
يوضح هذا أن تنسيق IMX500 يوفر استدلالًا فوريًا بكفاءة مع الحفاظ على دقة جيدة لتطبيقات الذكاء الاصطناعي الطرفي.
التعليقات86
اطرح سؤالًا، وشارك نتائجك، أو ساعد شخصًا آخر.
Chad Walshwhere is the best place to get support on the IMX500. I am running into multiple issues: i. my first yolo11n model built fine and exported to imx500, no problem, but my second model with a LOT more training images build fine but crashed the imx500 export. ii. the output of the imx500 during inference is giving a lot of none outputs between solid recognitions. it seems like there is something interfering with or disrupting the inference outputs (e.g., good output, none, none, none, none, good output, ...). where is the best place to get help with these issues?
Glenn JocherUltralyticsPlease continue the discussion here so the Ultralytics team can help; for the export crash, share the exact export command, full text traceback, and output from
yolo checks, and for intermittentNoneresults include a minimal inference script, confidence threshold, and a short reproducible input sample. Note that IMX export uses the calibration dataset specified bydataand defaults to the full dataset, so testing a smallerfractionmay help isolate resource-related failures.
leeprevost
I've made considerable progress by moving conducting this model compression process with a Container using dtcooper/raspberrypi-os:python3.11 after considerable problems with dependencies. Now getting a container most of the way through the process of compressing my yolov11s model and its trained best.pt weights.
At the end of the process - I get a simple "killed" after the Calculation of quantization parameters step. I see memory spiking close to 100% on top and think I'm hitting OOM with my pi4 8gb.
root@a5e132f6b333:/app# yolo export model=./models/yolov11/best.pt data='Billfish-Breeds-1/data.yaml' format=imx verbos> Ultralytics 8.3.221 🚀 Python-3.11.14 torch-2.9.0+cpu CPU (aarch64) WARNING ⚠️ IMX export requires nms=True, setting nms=True. YOLO11s summary (fused): 100 layers, 9,413,187 parameters, 0 gradients, 21.3 GFLOPs PyTorch: starting from 'models/yolov11/best.pt' with input shape (1, 3, 640, 640) BCHW and output shape(s) ((1, 8400, 4> IMX: collecting INT8 calibration images from 'data=Billfish-Breeds-1/data.yaml' Fast image access ✅ (ping: 0.1±0.0 ms, read: 16.1±2.7 MB/s, size: 16.4 KB) Scanning /app/Billfish-Breeds-1/valid/labels.cache... 268 images, 0 backgrounds, 0 corrupt: 100% ━━━━━━━━━━━━ 268/268 1> WARNING ⚠️ IMX: >300 images recommended for INT8 calibration, found 268 images. IMX: starting export with model_compression_toolkit 2.4.4... representative_data_gen generates a batch size of 1 which can be slow for optimization: consider increasing the batch s> WARNING:Model Compression Toolkit:OperatorSetNames.DEPTHWISE_CONV is not in model. Statistics Collection: 268it [1:01:26, 13.76s/it] Calculating quantization parameters: 100%|█████████████████████████████████████████████████████| 294/294 [12:44<00:00, > KilledWould appreciate any suggestion around this but think it probably pushes me over the edge to order my pi5? Or do I try to train on the yolov8 or yolov11n? I've not had very good success with the nano models. I've convinced myself the tradeoffs to the small is well worth it but that may be incompatible with this process?
leeprevost
@glenn-jocher am I posting at the right place? Put this in issues on gh?
Glenn JocherUltralytics@leeprevost you’re in the right place for discussion, but the OOM during IMX export is a new issue—please open a new issue for visibility. In the issue, include: the exact export command and full log,
yolo checksoutput (orultralytics.utils.checks.collect_system_info()), Java version (java --version), and the versions of IMX toolchain (pip freeze | grep -E "imx500|model-compression|sony-custom"). As immediate workarounds: export on a Linux x86_64 machine with more RAM, target YOLO11n/YOLOv8n (the IMX path is tuned for “n” models), and reduce calibration load withfraction(e.g., 0.25). Example:yolo export model=best.pt format=imx data=your.yaml imgsz=640 fraction=0.25IMX-specific knobs are summarized in the IMX500 export arguments here: Sony IMX500 export guide – Export arguments, and the exporter function requirements here: export_imx reference.
leeprevost
Thank you. I'll dig into the logs and see if I can add anything before opening new issue.
leeprevost
a few more questions and I will open an issue:
- Note that I was using a model trained on yolov11s rather than n as I've seen large degradation in the number of false positives in my model.
- I assume by "full log" you mean the output from the yolo export command with verbose at default (true). In other words, what I posted above?
- For some reason, I thought I read int he docs that i had to perform the model compression on the target machine. for me, the ultimate target is RpiZero2 but no way the model will export on that footprint . so, I went to the largest pi I have which is a Rpi4 -- that resulted in the OOM. So, am unsure by your guidance pointing me to the larger x86 linux machine. How will the process know the device limits if I perform it on that?
Trying to read these guides as best I can. I have not spent much time on the Sony site yet. If you'll point me, I don't want to start an issue that isn't an issue.
leeprevost
I opened an issue: https://github.com/ultralytics/ultralytics/issues/22512
Just tried the export again with the fraction=0.25 argument and got to "Optimal Solution Found" with objective measure of 0.94, then died with error:
Error x IMX: export failure 12662.7s: No module named 'onnxscript'
leeprevost
https://github.com/pytorch/pytorch/issues/166352 -- adding to my requirements.txt pointed to by Containerfile.
Glenn JocherUltralytics(تم التعديل)@leeprevost great progress. IMX export/quantization does not need to run on the target; it cross-compiles for IMX500, so doing it on a larger Linux host is recommended. “Full log” means the complete stdout/stderr from the export run.
The “No module named 'onnxscript'” failure is a missing dependency. Current Ultralytics installs the IMX toolchain (including
imx500-converterandmodel-compression-toolkit) itself, so upgrade withpip install -U ultralyticsand re-run the export rather than pinning old versions by hand. Let’s continue the deep-dive in the issue you opened for traceability.leeprevost
Ok -- @glenn-jocher: am moving this to my opened issue. Still trying this on my pi4 but can move to my dev machine with plenty of RAM + Cuda. Got further but still died with a torch error -- will post there.
Glenn JocherUltralyticsThanks—let’s continue in the issue for traceability. On the larger Linux host, try GPU-assisted export to reduce RAM pressure and speed up calibration; if needed, temporarily lower
imgszto validate the pipeline:yolo export model=path/to/best.pt format=imx data=path/to/data.yaml device=0 imgsz=640 # if memory is still tight during calibration yolo export model=path/to/best.pt format=imx data=path/to/data.yaml device=0 imgsz=512For a concise list of export options and behavior, see the Export mode docs at Ultralytics YOLO — Export.
leeprevost
Much thanks for posting this guide. Thank you.
I am having very solid success running the standard detection models right out of the box on the RpiZero 2 which is my target platform. I'm actually amazed at the power draw (ran detection/streaming for about 175 minutes on a 4400mahr battery using about 60% of its capacity). Also, very solid top/htop scores showing less than 1/8 of CPU utilization. Memory is still such a problem on a rpiz2 but not any more so than what is being used with streaming only on the pi. Still have about 50% of memory left over as I recall. I've got screen shots of top screens if needed.
But, I need to get a trained model working on my RpiZ2 and am running into problems. As the guide seemed to indicate (or perhaps Sony's), I need to do most of the quantization on my target platform. I assumed that meant my zero. I have a very good model trained with yolov11m or large. I've tried to reduce that to a nano but I'm getting too much loss of MAP scores and too much false positive rates. So, am now trying to get a yolov11s to work. On my quantization process (it was not clear how to do this with a custom model) but am first loading the yolov11s.pt and then loading my best.pt on top of that. Ultralytics successfully loads my data, gives me a warning prompt about my 290 images (< 300 not ideal) and then another about processing speed with 1 batch. The program then goes off the rails with no UI messages. I assume I'm running out of memory on the piz2. So, my next steps seem to be either:
- Start over and try with nano model.
- Do my quantization on a larger pi (i've got a spare pi4).
I guess another option would be to spend more time understanding Sony's under the hood tools to optimize those settings?
Would appreciate some guidance here down the right path.
leeprevost
One thing that would be very helpful is to show how to do this on something other than the target platform. i'm trying to get a small detection model to run on a rpi zero2 and hate to have to download all of my training data to the zero to do the quantization.
Idea: Have a step that allows collection of the "target_platform_capabilities" information using Sony's model compression toolkit you are using under the hood, pickle it, and then use that object to drive the model compression on a larger machine.
I could probably dig in and try to follow your code and follow the "imx" part of your export process...
bohlebots
Wie schaffe ich es, dass das Modell im Speicher des IMX500 bleibt? Die PICAM wurde ja angepriesen mit der Aussage, dass sie selbst an einem Pi zero-2 mit gleicher Geschwindigkeit läuft und in der Tat, das täte sie, aber das Modell muss jedes Mal neu aufgeladen werden, und das dauert beim Pi Zero ewig, ja selbst mit einem Pi5 dauert es Minuten. Grundsätzlich muss die imx500 aber ein Modell auch bei ausgeschaltetem Strom im Speicher halten können, so dass nach dem Anschalten das letzte Modell direkt zur Verfügung steht. Wie bekomme ich das hin?
Gruß Roland
Teo-treny
Hello ! When running object detection (step 5), I get the following error :
Exception in thread Thread-2 (_process_requests_func): Traceback (most recent call last): File "/home/pi/.pyenv/versions/3.11.9/lib/python3.11/threading.py", line 1045, in _bootstrap_inner self.run() File "/home/pi/.pyenv/versions/3.11.9/lib/python3.11/threading.py", line 982, in run self._target(*self._args, **self._kwargs) File "/home/pi/Desktop/imx_test/venv/lib/python3.11/site-packages/modlib/devices/ai_camera/ai_camera.py", line 193, in _process_requests_func callback() File "/home/pi/Desktop/imx_test/venv/lib/python3.11/site-packages/modlib/devices/ai_camera/ai_camera.py", line 207, in _process_requests self._parse_request(req) File "/home/pi/Desktop/imx_test/venv/lib/python3.11/site-packages/modlib/devices/ai_camera/ai_camera.py", line 256, in _parse_request detections = self.model.post_process(outputs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/pi/Desktop/imx_test/Test_1.py", line 23, in post_process return pp_od_yolo_ultralytics(output_tensors) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/pi/Desktop/imx_test/venv/lib/python3.11/site-packages/modlib/models/post_processors/post_processors.py", line 129, in pp_od_yolo_ultralytics n_detections = int(output_tensors[3]) ^^^^^^^^^^^^^^^^^^^^^^ TypeError: only length-1 arrays can be converted to Python scalarsI'm running Python 3.11.9 and installed all the dependencies following the guide. My Raspberry PI is a 3B+ model with Bookworm 64 bits and is up to date.
aytacsekmen
In the official IMX500 documentation provided by Sony (https://developer.sony.com/tinyml-23/developer-tools/documentation/imx500-evaluation-kit-user-guide?version=2023-11-28&progLang=), they describe the process of generating the network.fpk and network_info.txt files that will be used to deploy the model to IMX500, using the Packager.sh script. However, when I attempt to apply the same procedure to the packerOut.zip file I created by following the tutorial on https://docs.ultralytics.com/integrations/sony-imx500, I am unable to run the model on the IMX500. Also I couldn't run your implementation because it says that some packages are not found which I believe is related to the version of the OS. Currently I use the Pi OS that is provided by SONY for compatibility issues. I could run some other deep learning models following the steps in the (https://developer.sony.com/tinyml-23/developer-tools/documentation/imx500-evaluation-kit-user-guide?version=2023-11-28&progLang=), but I believe, there must be something different related to the creation of packerOut.zip file.
Could you assist in resolving this issue with the conversion process? @glenn-jocher
HelloCigar
Hello, per picamera2 docs, creating apps with "a camera window embedded into the GUI is through Qt", is there no other way to embed the video feed in other GUI frameworks?
skim-sony
Hi, I followed the steps in this page to convert the yolov8n model with imx500 converter and tested it with raspberry ai camera. But I get 29.5 ms for the inference time with 640x640 input tensor size. So I wonder why my inference time is better than your result (58.82ms). Which version of imx500 converter did you use?
skim-sony
Also, how did you measure the inference time? Did you use imx500.get_kpi_info(metadata) or calculate the elapsed time of picam2.capture_metadata()?
Glenn JocherUltralytics(تم التعديل)@skim-sony congratulations on the faster result! Our documented figure (58.82 ms for YOLO11n, see the Benchmarks) was measured by the Ultralytics team on a Raspberry Pi AI Camera with the
imxformat. Differences can come from the converter version, firmware, hardware (Pi 5 vs Pi 4) or how the time is measured. Would you mind sharing which converter version and Raspberry Pi model you're using? This could help other community members.skim-sony(تم التعديل)
Hi, I have used Pi5 and tried both 3.14.3 and 3.16.1 for imx500-converter. And both produces 29.5ms for inference time. It seems like you also use Pi5, so I wonder why our results are different. I'd like to reproduce your results 58.82 ms to learn what improves the inference time. So it would be helpful if you could share some info how to sync with your environment. Thanks!
Glenn JocherUltralytics(تم التعديل)@skim-sony that's interesting you're seeing better performance! The discrepancy could be due to several factors:
- Measurement methodology: end-to-end time (pre/post-processing + inference) differs from model-only inference time
- Firmware and converter versions
- Image resolution and resizing
- Test conditions: background processes, temperature, and power settings
Our published numbers are in the Benchmarks. If you'd like to share more details about your implementation, the community would certainly benefit.
fracipriano
Hello, I'm trying to run the standard YOLOv8n model on a Raspberry Pi AI Camera. I followed the exemple in the documentation
from ultralytics import YOLO # Load a YOLOv8n PyTorch model model = YOLO("yolov8n.pt") # Export the model model.export(format="imx", data="coco8.yaml") # exports with PTQ quantization by default # Load the exported model imx_model = YOLO("yolov8n_imx_model") # Run inference results = imx_model("https://ultralytics.com/images/bus.jpg")I got a bunch of warnings during the execution (export_log.txt), but the imx_model seemed to work properly in the end.
I then packaged it via IMX500 Packager and test it using the imx500_object_detection_demo.py. The Network Firmware gets uploaded, the application starts, but I get no detection. I tried to lower the detection threshold, but it didn't help. Any idea on what could be the problem? Any suggestion would be much appreciated.
Glenn JocherUltralyticsThank you for the detailed issue. Let's troubleshoot step by step. First, ensure your Raspberry Pi AI Camera is correctly connected and recognized by running
libcamera-helloin the terminal. If the camera works, verify that thelabels.txtpath in your demo command matches the exported file. You can also try inference on a static image first withimx_model.predict("test.jpg")to isolate live feed issues. For further assistance, please share the full export log and a screenshot of your camera output.For additional guidance, refer to the Sony IMX500 and AITRIOS integration blog post which demonstrates successful deployment steps.
fracipriano
Hello @glenn-jocher,
libcamera-hello works fine as does the imx500_object_detection_demo.py when using the default model ("/usr/share/imx500-models/imx500_network_ssd_mobilenetv2_fpnlite_320x320_pp.rpk").
There seems to be no problem with the labels.txt file as, if a run the imx500_object_detection_demo.py specifying the path to my label.txt, it works fine.
The imx_model also works fine before the packaging.
Here a screenshot of the camera output:
You can find the full export log file in my first post. Do you think any of the errors and/or warnings there could cause any problem with the packaging process via the IMX500-Packager?
Glenn JocherUltralyticsThank you for sharing these details. The warnings in your export log about "No BN layers to fold" and quantization parameters are normal during IMX conversion and shouldn't affect packaging. Since your camera feed works with the default model but not your custom export, please verify:
- Your
imx500-packagecommand uses the exactpackerOut.zipfromyolov8n_imx_model - The input tensor shape in your exported model matches IMX500 expectations (640x640 by default)
If issues persist, we recommend trying the IMX500 conversion process with our pretrained YOLOv8n model from https://github.com/ultralytics/assets/releases as a validation step.
- Your
fracipriano
Hello @glenn-jocher , thank you for your answer.
- Yes, I'm the one specifying the packerOut.zip path when running imx500-package
- I think so. Here is the content of the dnnParams.xml file generated by the export function
<?xml version="1.0" encoding="UTF-8" standalone="yes"?> <dnnParams> <networks> <network name="yolov8n_new_imx" ordinal="0" type=""> <inputTensors> <inputTensor persistency="0" ordinal="0" name="Placeholder.input.uid1:0" l2Offset="260480" numOfDimensions="3" bitsPerElement="8" shift="0" scale="0.00390625" format="unsigned"> <dimensions> <dimension size="3" serializationOrder="2" ordinal="0" padding="0"/> <dimension size="640" serializationOrder="1" ordinal="1" padding="0"/> <dimension size="640" serializationOrder="0" ordinal="2" padding="0"/> </dimensions> </inputTensor> </inputTensors> <outputTensors> <outputTensor ordinal="1" name="transform-83-/MultiClassNMS:0" l2Offset="281984" numOfDimensions="1" bitsPerElement="8" shift="0" scale="0.00390625" format="unsigned"> <dimensions> <dimension size="300" serializationOrder="0" ordinal="0" padding="0"/> </dimensions> </outputTensor> <outputTensor ordinal="2" name="transform-84-/MultiClassNMS:0" l2Offset="280960" numOfDimensions="1" bitsPerElement="16" shift="0" scale="1.0" format="signed"> <dimensions> <dimension size="300" serializationOrder="0" ordinal="0" padding="0"/> </dimensions> </outputTensor> <outputTensor ordinal="3" name="transform-85-/MultiClassNMS:0" l2Offset="279936" numOfDimensions="1" bitsPerElement="16" shift="0" scale="1.0" format="signed"> <dimensions> <dimension size="1" serializationOrder="0" ordinal="0" padding="0"/> </dimensions> </outputTensor> <outputTensor ordinal="0" name="transform-86-/MultiClassNMS:0" l2Offset="260480" numOfDimensions="2" bitsPerElement="16" shift="0" scale="0.03125" format="signed"> <dimensions> <dimension size="300" serializationOrder="0" ordinal="0" padding="0"/> <dimension size="4" serializationOrder="1" ordinal="1" padding="0"/> </dimensions> </outputTensor> </outputTensors> </network> </networks> <l2memory totalSize="8388480" coefficientsSize="2604544" reservedMemorySize="1024" networksRuntimeSize="5523456"/> </dnnParams>I downloaded the yolov8n.pt file from the Sep 29, 2024 Release and repeated the process from the beginning. Same result.
I'm adding here the terminal outputs I get when running the imx500-package: imx500-package_log.txt
Glenn JocherUltralytics(تم التعديل)Thanks for sharing the details. The
dnnParams.xmlshows correct 640x640 input dimensions. Since the default Mobilenet model works but your YOLOv8 export doesn't, please verify that your output tensor dimensions and ordering match the demo's expectations. YOLO IMX exports have a different output layout from Mobilenet, so the demo's post-processing must match. The deployment section of the IMX500 guide uses thepp_od_yolo_ultralyticspost-processor from the AITRIOS module library for Ultralytics YOLO IMX exports.fracipriano
Okay. So the problem was actually related to the output. The ordering is fine, as the scores and the classes. The problem are the bboxes. The values that I obtain are completely out of scale.
Example:
detection label: cup (0.56) detection box: (396100, 107520, 0, 0)whereas I would expect something like this:
detection label: cup (0.56) detection box: (39, 459, 440, 177)I'm not sure how to interpret this results. Is (396100, 107520, 0, 0) supposed to be the raw output of YOLOv8n? Also, in the dnnParams.xml posted above, I see that there is a scale="0.00390625" associated with the component of the output tensor relative to the bboxes. Should I renormalize my output using this factor?
Thank you for any insight you can provide.
Glenn JocherUltralytics(تم التعديل)The raw IMX500 outputs are quantized and need post-processing. Rather than decoding them by hand, use the
pp_od_yolo_ultralyticspost-processor shown in the deployment section of the IMX500 guide.fracipriano
Hello @glenn-jocher, a code snippet would be much appreciated for double-checking. Also, I can't find the documentation you mentioned—could you link it to me, please?
Glenn JocherUltralytics(تم التعديل)The IMX500 outputs are decoded for you by the AITRIOS module library, as shown in the deployment section of the IMX500 guide:
from modlib.models.post_processors import pp_od_yolo_ultralytics def post_process(self, output_tensors): return pp_od_yolo_ultralytics(output_tensors)Let us know if this resolves the coordinate scaling issue!
fracipriano
I think there’s been a misunderstanding. I thought there were other changes to be made besides rescaling. Scaling alone cannot be the solution since (396100, 107520, 0, 0) cannot become (39, 459, 440, 177) just by a scalar multiplication.
Also, I cannot find the "What's Under the Hood?" section anywhere here https://developer.sony.com/imx500. Could you be more precise about where I should look?
Glenn JocherUltralytics(تم التعديل)The "What's Under the Hood?" section refers to our Ultralytics IMX500 documentation, not Sony's site, but it describes the quantization and conversion toolchain, not output decoding. For box decoding use the post-processor from the deployment section:
from modlib.models.post_processors import pp_od_yolo_ultralytics def post_process(self, output_tensors): return pp_od_yolo_ultralytics(output_tensors)fracipriano
Hi @glenn-jocher , thank you very much for all the support. It finally works! There was no need to rescale the boxes by 0.03125. I was missing the --bbox-normalization flag when launching the script.
Once I added the flag, everything worked fine.
Glenn JocherUltralytics(تم التعديل)Great to hear you resolved it! For the current deployment workflow, including post-processing of the model outputs, see the IMX500 deployment guide. Happy detecting with your Raspberry Pi setup! 🚀