تصدير Google LiteRT
LiteRT هو بيئة تشغيل Google للذكاء الاصطناعي على الجهاز، والاسم الجديد لـ TensorFlow Lite (TFLite). يؤدي تصدير نموذج Ultralytics YOLO26 باستخدام format="litert" إلى إنشاء ملف .tflite واحد لهواتف Android وiOS، ولوحات Linux المضمنة، ومتصفحات الويب، بدقة FP32 أو باستخدام أحد مخططات التكميم الثلاثة من نوع INT8.
لمحة سريعة#
| الخاصية | التفاصيل |
|---|---|
وسيطة format | litert. لا تزال القيمتان الأقدم tflite وtfjs تعملان: إذ تسجلان تحذيرًا بشأن الإهمال وتصدران ملف LiteRT نفسه |
| المخرجات | yolo26n.tflite، ملف واحد تُخزَّن فيه أسماء الفئات والمهمة وحجم الصورة بوصفها بيانات وصفية؛ وتُسمى الملفات المصدرة بعد التكميم yolo26n_w8a32.tflite وyolo26n_int8.tflite وyolo26n_w8a16.tflite |
| يعمل على | أجهزة Android وiOS، ولوحات Linux المضمنة، ووحدات CPU المكتبية، ومتصفحات الويب عبر LiteRT.js، ووحدات Intel GPU وNPU |
| بيئة التشغيل | LiteRT: حزمة Python المسماة ai-edge-litert (الإصدار 2.1.4 أو أحدث)، أو مكتبات LiteRT لنظامي Android وiOS، أو LiteRT.js |
| الدقة | FP32، وw8a32، وINT8، وw8a16. يبلغ حجم YOLO26n مقدار 10.0 MB بدقة FP32، و2.9 MB باستخدام w8a32، و3.1 MB بدقة INT8، و3.0 MB باستخدام w8a16 |
| جهاز التصدير | Linux x86-64 أو macOS على أجهزة Apple silicon، مع Python 3.10 أو أحدث. يُجرى التصدير على CPU ولا يتطلب GPU |
يمكن أن تصدّر منصة Ultralytics نموذجًا مدرّبًا إلى LiteRT نيابةً عنك، لذا لن تحتاج إلى بيئة تصدير محلية.
البدء السريع#
ثبّت حزمة Ultralytics مع تبعيات تصدير LiteRT:
pip install "ultralytics[export-litert]"يثبّت هذا litert-torch وai-edge-litert وai-edge-quantizer. عند استخدام pip install ultralytics عادي، يثبّت التصدير الأول الحزم الناقصة، وقد يتوقف بخطأ إذا استبدل PyTorch. يتطلب التصدير الإصدارات التالية:
| الحزمة | الإصدار المطلوب |
|---|---|
| Python | 3.10 أو أحدث |
litert-torch | 0.10.0 أو أحدث |
torch | النطاق الذي تقبله حزمة litert-torch المثبتة: 2.4.0 أو أحدث وأقل من 2.15.0 للإصدار 0.10.0 |
ai-edge-litert | 2.3.0 أو أحدث للتصدير؛ و2.1.4 أو أحدث، مع Python 3.10 أو أحدث أيضًا، لتشغيل نموذج مُصدَّر |
ai-edge-quantizer | 0.10.0 أو أحدث، من أجل quantize="w8a32" وquantize=8 و"w8a16" |
للاطلاع على طرق التثبيت الأخرى، راجع دليل التثبيت. ثم صدّر نموذجك وحمّل الملف المُصدَّر لتشغيل الاستدلال أو التحقق من دقته.
from ultralytics import YOLO
# تحميل نموذج YOLO26
model = YOLO("yolo26n.pt")
# تصدير النموذج إلى تنسيق LiteRT
model.export(format="litert") # ينشئ 'yolo26n.tflite'
# صدّر باستخدام أوزان INT8 وتنشيطات FP32، دون الحاجة إلى بيانات معايرة
model.export(format="litert", quantize="w8a32") # ينشئ 'yolo26n_w8a32.tflite'from ultralytics import YOLO
# تحميل نموذج LiteRT المُصدّر
model = YOLO("yolo26n.tflite")
# تنفيذ الاستدلال
results = model("https://ultralytics.com/images/bus.jpg")from ultralytics import YOLO
# تحميل نموذج LiteRT المُصدّر
model = YOLO("yolo26n.tflite")
# # التحقق من الدقة على مجموعة بيانات COCO8
metrics = model.val(data="coco8.yaml")المهام المدعومة#
يدعم تصدير LiteRT مهام Ultralytics السبع كلها باستخدام نماذج YOLOv8 وYOLO11 وYOLO26: الكشف، وتجزئة الصور، والتجزئة الدلالية، وتقدير العمق، والتصنيف، وتقدير الوضعية، وOBB. لا تتوفر التجزئة الدلالية وتقدير العمق إلا في YOLO26، وهي العائلة الوحيدة التي تتضمن رأسي المهمتين.
وسيطات التصدير#
| المعامل | النوع | الافتراضي | الوصف |
|---|---|---|---|
format | str | 'litert' | التنسيق المستهدف للنموذج المُصدَّر، ويحدد مدى توافقه مع بيئات النشر المختلفة. |
imgsz | int أو tuple | 640 | حجم صورة إدخال النموذج: عدد صحيح للصور المربعة أو صف (height, width). إذا لم تُمرّر هذه القيمة، يستخدم التصدير الحجم الذي دُرّب عليه ملف نقطة التحقق. تستخدم ملفات نقاط التحقق الرسمية لـYOLO26 القيمة 640 لنماذج الكشف والتقسيم والوضع، وللنماذج الدلالية المدرّبة مسبقًا على ADE20K؛ والقيمة 1024 لنماذج OBB وللنماذج الدلالية المدرّبة مسبقًا على Cityscapes؛ والقيمة 768 للعمق؛ والقيمة 224 للتصنيف. |
quantize | int أو str | None | مخطط التكميم: 'w8a32' (أوزان INT8 وتنشيطات FP32، دون معايرة)، أو 8 (أوزان وتنشيطات INT8، مع معايرة باستخدام data)، أو 'w8a16' (أوزان INT8 وتنشيطات INT16، مع معايرة باستخدام data)؛ أما 32 أو عدم التحديد فيعني FP32. يؤدي 16 إلى خطأ، ولا يمكن تصدير نقطة تحقق مدرّبة باستخدام quantize=8 إلى LiteRT؛ راجع القيود واستكشاف الأخطاء وإصلاحها. يحل هذا محل الرايتين المهملتين half وint8. |
data | str | None | ملف YAML لمجموعة البيانات المستخدم للمعايرة مع quantize=8 و'w8a16'؛ أما التصنيف فيستخدم دليل مجموعة بيانات أو اسم مجموعة بيانات مضمّنة. تستخدم المعايرة تقسيم val ما لم يُضبط split. إذا لم تحدده، تستخدم Ultralytics مجموعة البيانات الافتراضية الصغيرة لمهمة النموذج، مثل coco8.yaml للكشف. |
fraction | float أو int أو list | 1.0 | مجموعة المعايرة الفرعية: نسبة أو عدد صور (الأعداد الصحيحة الأكبر من 1) أو قائمة [train, val, test]، ويُستخدم منها الإدخال الخاص بقسم المعايرة. |
nms | bool، اختياري | None | اختر المخرجات الخام (None، الافتراضي) أو الرأس الخالي من NMS (False، لصادرات FP32 و'w8a32' فقط). لا يتوفر NMS المضمّن (True) في LiteRT. راجع تنسيق المخرجات. |
batch | int | 1 | حجم الدفعة للنموذج المُصدَّر، وهو ثابت في شكل الإدخال. وهو أيضًا حجم الدفعة المستخدم للمعايرة. |
device | str | None | يُجرى التصدير دائمًا على CPU، بصرف النظر عن القيمة المُمرَّرة. |
للاطلاع على الوسيطات المشتركة بين جميع التنسيقات، راجع وثائق وضع التصدير.
التكميم#
يحدد quantize أحد مخططات INT8 الثلاثة. تخزّن جميعها الأوزان كأعداد صحيحة من 8 بت، وتختلف في طريقة تخزين التنشيطات، أي القيم التي تنتقل بين الطبقات:
quantize | الأوزان | التنشيطات | بيانات المعايرة | ملف YOLO26n | الحجم |
|---|---|---|---|---|---|
غير محدد أو 32 | FP32 | FP32 | لا | yolo26n.tflite | 10.0 MB |
'w8a32' | INT8 | FP32 | لا | yolo26n_w8a32.tflite | 2.9 MB |
8 | INT8 | INT8 | نعم | yolo26n_int8.tflite | 3.1 MB |
'w8a16' | INT8 | INT16 | نعم | yolo26n_w8a16.tflite | 3.0 MB |
- المدخلات والمخرجات: يظل الإدخال والمخرجات
float32في درجات الدقة الأربع كلها، لذا يعمل رمز الاستدلال المكتوب لنموذج FP32 دون تغيير مع نموذج مُكمَّم مُصدَّر بتخطيطnmsنفسه. 'w8a32': تكميم النطاق الديناميكي. لا يتطلب بيانات معايرة، ويدعم الرأس الخالي من NMS باستخدامnms=False، وهو مستوى الدقة المستخدم في نماذج الهواتف الرسمية ضمن عمودي CPU وGPU في الأداء المقاس.8و'w8a16': تكميم ثابت. يُعاير التصدير باستخدام كل دفعة كاملة من تقسيمvalلمجموعةdata، أو من التقسيم الذي تحدده باستخدامsplit، ويصدر تحذيرًا إذا كان عدد الصور أقل من 300. استخدمfractionلتحديد الحد الأقصى لعدد الصور.- مخرجات الرأس باستخدام
quantize=8: في نماذج الكشف والتجزئة والتصنيف وتقدير الوضع وOBB، تبقى طبقات الإخراج في الرأس والعمليات التي تفك ترميزها بنقطة عائمة، لأن INT8 يقص درجات الفئات ويقلل دقة إحداثيات الصناديق. كما يكمّم'w8a16'هذه الطبقات، باستخدام تنشيطات بدقة 16 بت. - الرأس الخالي من NMS: تستخدم صادرات
quantize=8و'w8a16'لنموذج YOLO26 أو YOLOv10 الرأس أحادي-إلى-متعدد، وتعيد تنبؤات خامًا تحتاج إلى NMS، وكذلك عند استخدامnms=False. - FP16: لا يتوفر تصدير FP16. تشغّل مفوضات LiteRT GPU نموذج FP32 بدقة نصفية افتراضيًا، لذا لا حاجة إلى
quantize=16ويؤدي استخدامه إلى خطأ.
from ultralytics import YOLO
model = YOLO("yolo26n.pt")
# عاير باستخدام 10% من صور التحقق في COCO (500 صورة)؛ واستبدل coco.yaml بمجموعة بياناتك الخاصة
model.export(format="litert", quantize=8, data="coco.yaml", fraction=0.1) # ينشئ 'yolo26n_int8.tflite'
# تحميل نموذج INT8 المُصدّر وتشغيل الاستدلال
model = YOLO("yolo26n_int8.tflite")
results = model("https://ultralytics.com/images/bus.jpg")يؤثر التكميم في الدقة، ويتوقف أثره على النموذج والمهمة وصور المعايرة. تحقّق من النموذج المُكمَّم على بياناتك قبل نشره.
تنسيق المخرجات#
ينشئ التصدير ملف .tflite واحدًا. يأخذ النموذج إدخالًا واحدًا بالشكل (batch, 3, height, width): بصيغة RGB، مع القنوات أولًا (NCHW)، وfloat32، مع تطبيع القيم إلى النطاق 0-1. يختلف هذا عن ملفات TFLite الناتجة عن التصدير الأقدم format="tflite"، التي كانت تأخذ صورًا بترتيب القنوات أخيرًا (NHWC). تحدد الوسيطة nms والمهمة المخرجات. الأشكال أدناه خاصة بنقاط التحقق الرسمية YOLO26n عند حجم التصدير الافتراضي، وبنقطة تحقق Cityscapes المسماة yolo26n-sem.pt للتجزئة الدلالية:
| المهمة | القيمة الافتراضية imgsz | المخرجات باستخدام nms=None | المخرجات باستخدام nms=False |
|---|---|---|---|
| Detect | 640 | (1, 84, 8400) | (1, 300, 6) |
| Segment | 640 | (1, 116, 8400) و(1, 32, 160, 160) | (1, 300, 38) و(1, 32, 160, 160) |
| دلالي | 1024 | (1, 19, 1024, 1024)، درجة لكل فئة ولكل بكسل | مثل nms=None |
| العمق | 768 | (1, 1, 768, 768)، خريطة عمق | مثل nms=None |
| التصنيف | 224 | (1, 1000)، احتمالات الفئات | مثل nms=None |
| الوضعية | 640 | (1, 56, 8400) | (1, 300, 57): 6 قيم للصندوق، ثم 17 نقطة مفتاحية × 3 |
| OBB | 1024 | (1, 20, 21504) | (1, 300, 7): 4 قيم للصندوق، والدرجة، والفئة، والزاوية |
- المخرجات الخام (
nms=None): الشكل(batch, values, anchors). لكل مرساة: مركز الصندوق x ومركزه y وعرضه وارتفاعه، ثم درجات الفئات، ثم قيم المهمة (32 معاملًا للقناع، أو 17 × 3 من قيم النقاط المفتاحية، أو زاوية OBB بالراديان). تُطبَّع قيم الصندوق وإحداثيا x وy للنقاط المفتاحية إلى النطاق 0-1، لذا اضربها في عرض الإدخال وارتفاعه. طبّق NMS بنفسك. - المخرجات الخالية من NMS (
nms=False): عددmax_det(300 افتراضيًا) من الصفوف ذاتx1, y1, x2, y2, score, classبوحدات بكسل الإدخال، من دون خطوة NMS. تكون صفوف OBB بالشكلcenter x, center y, width, height, score, class, angle، وتكون الزاوية بالراديان. رشّح الصفوف حسب الدرجة. يتوفر هذا الخيار لصادرات FP32 و'w8a32'للنماذج ذات الرأس الخالي من NMS. - التجزئة: المعاملات الـ32 للقناع هي آخر 32 قيمة في كل مرساة أو صف، ويحتوي الإخراج الثاني على النماذج الأولية للقناع.
- التجزئة الدلالية: يحتوي الإخراج على درجات الفئات، وليس خريطة الفئات الخاصة بـتصدير ONNX، لذا احسب argmax على محور الفئات في رمزك.
يقرأ YOLO("yolo26n.tflite") تخطيط البيانات من البيانات الوصفية للملف ويُجري تحجيم الإحداثيات، لذا لن تحتاج إلى هذه التفاصيل إلا عند تشغيل النموذج في رمزك. البيانات الوصفية عبارة عن مُدخل metadata.json يضيفه التصدير إلى الملف بوصفه أرشيف ZIP، ويمكن قراءته بأي مكتبة ZIP. تشمل مفاتيحه names وtask وimgsz وstride وbatch وend2end وargs، وkpt_shape لنماذج الوضعية.
التشغيل باستخدام LiteRT Interpreter#
لتشغيل النموذج خارج حزمة Ultralytics، حمّله باستخدام مفسر حزمة ai-edge-litert. اقرأ أشكال الإدخال والإخراج من النموذج بدلًا من الاعتماد على أسماء الموترات. لنموذج التجزئة مخرجان: يحتوي ثلاثي الأبعاد على الكشوفات، ويحتوي رباعي الأبعاد على النماذج الأولية للقناع.
# صدّر أولًا: yolo export model=yolo26n.pt format=litert nms=False
import json
import zipfile
import numpy as np
from ai_edge_litert.interpreter import Interpreter
interpreter = Interpreter(model_path="yolo26n.tflite")
interpreter.allocate_tensors()
image = np.zeros((1, 3, 640, 640), dtype=np.float32) # صورتك المعالجة مسبقًا: RGB وNCHW و0-1
interpreter.set_tensor(interpreter.get_input_details()[0]["index"], image)
interpreter.invoke()
detections = interpreter.get_tensor(interpreter.get_output_details()[0]["index"])[0] # shape (300, 6)
assert detections.shape == (300, 6), "export the model with nms=False"
detections = detections[detections[:, 4] > 0.25] # الإبقاء على الصفوف التي تتجاوز عتبة الثقة
with zipfile.ZipFile("yolo26n.tflite") as z:
names = json.loads(z.read("metadata.json"))["names"] # {'0': 'person', '1': 'bicycle', ...}النشر#
يشغّل YOLO("yolo26n.tflite") النموذج باستخدام مفسر ai-edge-litert على CPU، مع ما يصل إلى 8 خيوط. وتعمل قيم device الأخرى، مثل 0 أو mps، على CPU أيضًا؛ أما xpu وnpu فيحددان أجهزة Intel. يقارن جدول أجهزة الاستدلال هذه التسميات بين التنسيقات.
يعمل النموذج دائمًا باستخدام imgsz وbatch المحددين عند التصدير، وتقرأهما Ultralytics من البيانات الوصفية للملف. يُتجاهل imgsz إذا مُرر إلى predict أو val. تُقسَّم الدفعات الأكبر إلى مجموعات بحجم دفعة التصدير، وتُستكمل الدفعات الأصغر بالحشو، لذا يعمل النموذج مع أي عدد من الصور.
الاستدلال على Intel GPU وNPU#
تعمل نماذج .tflite المُصدَّرة على أجهزة Intel عبر إضافة LiteRT Intel OpenVINO. مرّر device=xpu لاستخدام GPU أو device=npu لاستخدام NPU، وتثبّت Ultralytics ai-edge-litert>=2.3.0 وai-edge-litert-sdk-intel عند الاستخدام الأول. تثبّت الإضافة إصدار openvino خاصًا بها، لذا احتفظ بها في بيئة منفصلة إذا كنت تشغّل نماذج OpenVINO بإصدار مختلف أيضًا. يتطلب NPU معالج Intel Core Ultra وتثبيت برنامج تشغيل Intel NPU؛ راجع زمن الاستجابة المقاس على Core Ultra X7 358H. على جهاز لا يتضمن جهاز Intel المطلوب، تفشل إضافة OpenVINO في تجميع النموذج، ويشغّله LiteRT باستخدام واجهة CPU الخلفية الخاصة به (XNNPACK)، وليس عبر OpenVINO: استغرق YOLO26n من 29 إلى 30 ms لكل صورة على خادم AMD CPU باستخدام device=xpu وdevice=npu، مقابل 18 ms باستخدام device=cpu. لا تسجل Ultralytics تحذيرًا في هذه الحالة، لذا قارن زمن الاستجابة مع device=cpu للتأكد من استخدام الجهاز.
from ultralytics import YOLO
model = YOLO("yolo26n.tflite")
results = model("https://ultralytics.com/images/bus.jpg", device="npu") # أو "xpu"أدلة النشر#
- إضافة Ultralytics YOLO لـ Flutter: تشغّل صادرات LiteRT
.tfliteعلى Android، مع استدلال فوري عبر الكاميرا، والتنبؤ بصورة واحدة، وتسريع GPU. - حزمة @ultralytics/yolo لـ npm: تشغّل صادرات LiteRT
.tfliteفي المتصفح عبر LiteRT.js، مع تسريع WebGPU وبديل CPU (WASM). ثبّتها باستخدامnpm i @ultralytics/yolo @litertjs/core. - MediaTek Dimensity: النشر على هواتف MediaTek بنظام Android، بما في ذلك NPU.
- Qualcomm QNN وCore ML: التنسيقان المخصصان لوحدات NPU من Snapdragon وأجهزة Apple.
- NXP i.MX95 وCoral Edge TPU: تنسيقان لمسرّعي الأجهزة هذين.
- Raspberry Pi: إعداد Ultralytics على لوحات Raspberry Pi.
- وثائق LiteRT: دمج بيئة التشغيل في تطبيقات Android وiOS، أو في المتصفح.
القيود واستكشاف الأخطاء وإصلاحها#
- جهاز التصدير: يفشل التصدير على Windows وLinux ARM64، مثل Raspberry Pi، مع
LiteRT export only supported on Linux x86 and macOS. أجرِ التصدير على جهاز مدعوم وانسخ ملف.tfliteإلى الجهاز. - أول تصدير بعد التثبيت العادي: إذا ثبّت التصدير الأول
litert-torchلا يقبل إصدار PyTorch المثبت (يقبل الإصدار 0.10.0 إصدارات PyTorch من 2.4.0 إلى ما دون 2.15.0)، فسيستبدل pip PyTorch، وتسجل UltralyticsRestart runtime or rerun command for updates to take effect، وقد يفشل ذلك التصدير معRuntimeError: duplicate registrations for aten.miopen_batch_norm.defaultعلى PyTorch 2.15.0. أعد تشغيل التصدير. - FP16: يفشل
quantize=16معquantize=16 (FP16) is not supported; format='litert' supports quantize=8 (INT8), 'w8a16' (INT8 weights + INT16 activations), 'w8a32' (dynamic INT8), 32 or None (FP32).. صدّر بدقة FP32 ودع مفوض GPU يشغّله بدقة نصفية. - نقاط التحقق المدرّبة باستخدام
quantize=8: تفشل نقطة تحقق ضُبطت ضبطًا دقيقًا باستخدام التدريب الواعي بالتكميم معformat='litert' cannot export a QAT model: its Q/DQ ranges are only read by the 'onnx' and 'engine' backends. صدّر نقطة التحقق التي بدأت منها الضبط الدقيق باستخدامquantize=8بدلًا من ذلك، أو صدّر نقطة التحقق المضبوطة بدقة إلى ONNX أو TensorRT. - الرأس الخالي من NMS مع
quantize=8أو'w8a16': عند استخدامnms=False، يسجل التصديرLiteRT INT8 export does not support end2end models, disabling end2end branch.ويكتب تنبؤات خامًا تحتاج إلى NMS. استخدم FP32 أو'w8a32'للإبقاء على الرأس الخالي من NMS. - NMS المضمّن: تسجّل
nms=Trueالرسالةformat=litert does not support embedded NMS; exporting native outputs for external NMS.وتكتب المخرج الخام. - الرأس الخالي من NMS في النماذج الأخرى: يتطلب
nms=Falseنموذجًا ذا رأس خالٍ من NMS، مثل YOLO26 أو YOLOv10. أما النماذج الأخرى، مثل YOLO11، فيصدر التصدير التحذيرThis model has no one-to-one head; using one-to-many outputs.ويكتب المخرجات الخام(1, 84, 8400). - شكل إدخال ثابت: يفشل
dynamic=Trueمعargument 'dynamic' is not supported for format='litert'. أعد التصدير لتغيير حجم الصورة أو حجم الدفعة. - المعايرة دون
data: يسجل تصديرquantize=8أو'w8a16'الرسالةINT8 export requires a missing 'data' arg for calibration. Using default 'data=coco8.yaml'.ويُجري المعايرة باستخدام مجموعة البيانات الافتراضية الصغيرة للمهمة. مرّرdataمع صور تمثل بيانات النشر لديك. - حجم المعايرة: تسجّل عملية التصدير
>300 images recommended for INT8 calibration, found 4 images.عندما يحتوي قسم المعايرة على أقل من 300 صورة. لا تتضمنcoco8.yamlسوى 4 صور للتحقق، وهو عدد يكفي لاختبار التصدير، لكنه لا يكفي لمعايرة نموذج للنشر. 'w8a16'على وحدات CPU x86: شغّل مفسر LiteRT CPU نموذج YOLO26n'w8a16'بزمن يقارب ثانية واحدة لكل صورة على خادم AMD EPYC 9655 باستخدام 8 خيوط، مقابل نحو 17 ms لنموذج FP32. قِس'w8a16'على الجهاز والمفوّض اللذين ستستخدمهما في النشر.- اسم الملف: تؤدي كل عملية تصدير لنقطة تحقق واحدة بالقيمة نفسها لـ
quantizeإلى كتابة الملف نفسه، مثلyolo26n.tfliteلملف FP32، مهما كانت قيمتهimgszأوbatchأوnms؛ لذا يحل التصدير اللاحق محل السابق.
للاطلاع على الأخطاء الأخرى، راجع دليل المشكلات الشائعة.
الأداء المقاس#
تعرض الجداول أدناه زمن الاستجابة لصورة واحدة لنموذج YOLO26n لكل مهمة على أربعة هواتف Android ومعالج Intel Core Ultra. تعرض كل خلية الزمن الإجمالي بالمللي ثانية، مع تفصيل المعالجة المسبقة والاستدلال والمعالجة اللاحقة أسفل القيمة، ويظهر العمود الأسرع لكل نموذج بخط عريض. تعرض صفحة نموذج YOLO26 دقة نقاط تحقق PyTorch.
Xiaomi 17#
الأجهزة: Xiaomi 17 بذاكرة LPDDR5X سعتها 12 GB ونظام Android 17 / API 37. يحتوي Snapdragon 8 Elite Gen 5 المصنّع بتقنية 3 nm (SM8850) على CPU من Qualcomm Oryon بثماني نوى (نواتان Prime بتردد يصل إلى 4.6 GHz و6 نوى للأداء بتردد يصل إلى 3.62 GHz)، وGPU من Adreno، وNPU من Hexagon.
| النموذج | المهمة | الحجم (بكسل) | CPU w8a32 LiteRT (مللي ثانية) | GPU w8a32 LiteRT (مللي ثانية) | NPU LiteRT FP32 (ms) |
|---|---|---|---|---|---|
| YOLO26n | Detect | 640 | 36.9 1.9 / 32.6 / 2.3 | 10.6 1.8 / 6.2 / 2.6 | 10.1 3.5 / 4.0 / 2.5 |
| YOLO26n-seg | Segment | 640 | 50.5 1.9 / 42.9 / 5.8 | 18.0 1.9 / 9.5 / 6.6 | 19.2 3.6 / 5.9 / 9.7 |
| YOLO26n-sem | دلالي | 640 | 45.7 1.9 / 35.7 / 8.2 | 30.6 1.9 / 20.5 / 8.3 | 25.8 3.6 / 11.0 / 11.3 |
| YOLO26n-depth | العمق | 640 | 66.8 2.2 / 55.0 / 9.7 | 21.9 2.1 / 10.1 / 9.8 | 24.8 4.3 / 6.0 / 14.5 |
| YOLO26n-cls | التصنيف | 224 | 3.6 0.3 / 3.3 / 0.0 | 2.0 0.4 / 1.4 / 0.2 | 1.5 0.6 / 0.7 / 0.3 |
| YOLO26n-pose | الوضعية | 640 | 39.9 2.0 / 36.5 / 1.4 | 10.0 1.8 / 6.7 / 1.4 | 11.5 3.5 / 4.2 / 3.8 |
| YOLO26n-obb | OBB | 640 | 36.3 2.0 / 33.2 / 1.2 | 10.1 2.6 / 5.9 / 1.6 | 8.2 3.5 / 3.7 / 0.9 |
- تمثل قيم السرعة زمن الاستجابة لدفعة صورة واحدة — أي متوسط 15 تشغيلًا بعد 3 عمليات إحماء على
bus.jpg، وقِيست باستخدام0.7.1في إضافة Ultralytics Flutter والأصول الرسميةv0.7.0(تصديرات Ultralytics 8.4.188). تناوب ترتيب CPU/GPU بين المهام ضمن جولة تسلسلية واحدة. أكدت السجلات الأصلية أن كل صف CPU استخدم LiteRT CPU/XNNPACK، وأن كل صف GPU فوّض الرسم البياني بأكمله إلى LiteRT OpenCL (LITERT_CL). - يتتبّع تصدير LiteRT نموذج PyTorch مباشرةً، وينتج
.tfliteبتنسيق NCHW ومدخل عائم — إذ يترجم مفوّض GPU الرسم البياني بأكمله (وتعمل المهام السبع كلها على GPU من Adreno هنا)، كما أنw8a32لا يحتاج إلى بيانات معايرة. ينبغي للمستهلكين قراءة أشكال الموترات وأسماء التوقيعات بدلًا من افتراض تخطيط NHWC القديم لـonnx2tf أو أسماء مخرجاتIdentity؛ ويجب تعبئة بيانات RGB مباشرةً بتنسيق CHW مستوٍ أو تبديل أبعادها قبل الاستدلال. تُرجع عمليات التصدير الدلالية درجات NCHW، وتتطلب حساب argmax للفئات على المضيف. تتوفر أصول Android الرسمية في إصدارv0.7.0لتطبيق yolo-flutter-app، وسجل الأداء التفصيلي في وثيقة أداء Flutter. - يمثل عمود NPU مسار NPU الخاص بـ LiteRT: تصدير FP32 (
yolo export format=litert، دونquantize) جُمّع على الجهاز بواسطة بيئتي التشغيلlitert-npu-runtime-qualcommو-mediatekالإصدار 2.3.0، وقيس باستخدام إصدار أولي من إضافة Flutter مهيأ لـ NPU (لم يُطرح بعد). يتضمن التحميل الأول عملية التجميع هذه (نحو 0.3 s لـn، وتصل إلى 6 s لـx). لا تُجمّع أصولw8a32بالكامل على وحدات NPU هذه. يُبلغ LiteRT عن تجميع NPU حتى عندما يشغّل الرسم البياني بصمت على GPU، لذا جرى التحقق من كل صف NPU بمقارنته بوقت GPU؛ وتُعرض الصفوف التي انتقلت إلى مسار بديل بالرمز —. - تجدون أرقام NPU Hexagon المطابقة لـ Snapdragon، الخاصة بأصول QNN الرسمية، في تكامل Qualcomm QNN.
- قارن نتائج CPU/المسرّع من Apple في تكامل CoreML.
تستخدم اختبارات الأجهزة التالية الأصول الرسمية نفسها v0.7.0.
Google Pixel 10#
الأجهزة: Google Pixel 10 بذاكرة سعتها 12 GB ونظام Android 17 / API 37. يحتوي Google Tensor G5 المصنّع بتقنية 3 nm على CPU بثماني نوى (نواة Prime واحدة بتردد يصل إلى 3.78 GHz، و5 نوى للأداء بتردد يصل إلى 3.05 GHz، ونواتان للكفاءة بتردد يصل إلى 2.25 GHz)، وGPU من PowerVR D-Series، وTPU من Google. قُرئت ترددات النوى واسم برنامج تشغيل GPU من جهاز الاختبار لأن Google لا تنشرهما ضمن المواصفات المرتبطة.
| النموذج | المهمة | الحجم (بكسل) | CPU w8a32 LiteRT (مللي ثانية) | GPU w8a32 LiteRT (مللي ثانية) |
|---|---|---|---|---|
| YOLO26n | Detect | 640 | 36.6 1.5 / 33.5 / 1.6 | 36.5 3.5 / 28.4 / 4.6 |
| YOLO26n-seg | Segment | 640 | 53.1 1.5 / 45.8 / 5.7 | 51.5 1.6 / 40.1 / 9.9 |
| YOLO26n-sem | دلالي | 640 | 57.2 1.5 / 47.7 / 8.0 | 75.9 1.8 / 63.4 / 10.8 |
| YOLO26n-depth | العمق | 640 | 75.0 1.6 / 65.1 / 8.3 | 50.1 1.7 / 33.5 / 14.9 |
| YOLO26n-cls | التصنيف | 224 | 6.1 0.3 / 5.5 / 0.3 | 12.1 0.9 / 11.0 / 0.1 |
| YOLO26n-pose | الوضعية | 640 | 35.2 1.5 / 31.9 / 1.8 | 38.2 3.5 / 29.3 / 5.4 |
| YOLO26n-obb | OBB | 640 | 32.7 1.5 / 29.3 / 1.9 | 38.8 3.8 / 29.6 / 5.4 |
الاختبار المعياري: متوسط 15 استدعاءً لـ predict() بعد 3 عمليات إحماء على bus.jpg، باستخدام ultralytics_yolo 0.7.1 والأصول الرسمية v0.7.0. يتناوب ترتيب CPU/GPU بين المهام ضمن جولة تسلسلية واحدة. أكدت السجلات الأصلية أن كل صف CPU استخدم LiteRT CPU/XNNPACK، وأن كل صف GPU فوّض الرسم البياني بأكمله إلى LiteRT OpenCL (LITERT_CL). لا يتضمن عمود Tensor NPU أي صف لـ LiteRT: إذ ترفض خدمة EdgeTPU من Google التطبيقات غير المدرجة في قائمة السماح، وعندئذ يشغّل LiteRT النموذج على GPU.
Samsung Galaxy S26#
الأجهزة: Samsung Galaxy S26 (SM-S942B) بذاكرة سعتها 12 GB ونظام Android 17 / API 37. يحتوي Exynos 2600 المصنّع بتقنية 2 nm على CPU من Armv9.3 بعشر نوى (نواة C1-Ultra واحدة بتردد يصل إلى 3.8 GHz، و3 نوى C1-Pro للأداء بتردد يصل إلى 3.26 GHz، و6 نوى C1-Pro للكفاءة بتردد يصل إلى 2.76 GHz)، وGPU من Xclipse 960، وNPU من Samsung.
| النموذج | المهمة | الحجم (بكسل) | CPU w8a32 LiteRT (مللي ثانية) | GPU w8a32 LiteRT (مللي ثانية) | NPU LiteRT w8a32 AOT (ms) |
|---|---|---|---|---|---|
| YOLO26n | Detect | 640 | 30.2 1.3 / 27.3 / 1.6 | 15.9 1.4 / 11.5 / 2.9 | 12.2 1.3 / 8.6 / 2.2 |
| YOLO26n-seg | Segment | 640 | 45.6 1.3 / 39.1 / 5.2 | 30.5 1.3 / 23.6 / 5.6 | 17.0 1.4 / 9.7 / 5.8 |
| YOLO26n-sem | دلالي | 640 | 38.1 1.3 / 28.6 / 8.2 | 26.1 1.3 / 16.8 / 7.9 | 28.3 1.7 / 15.1 / 11.5 |
| YOLO26n-depth | العمق | 640 | 63.5 1.4 / 53.6 / 8.4 | 37.3 1.4 / 24.6 / 11.3 | 28.4 2.1 / 12.9 / 13.4 |
| YOLO26n-cls | التصنيف | 224 | 3.8 0.2 / 3.4 / 0.2 | 2.8 0.2 / 2.6 / 0.0 | 6.1 0.5 / 5.2 / 0.4 |
| YOLO26n-pose | الوضعية | 640 | 31.1 1.3 / 28.4 / 1.4 | 18.4 1.6 / 13.0 / 3.8 | 13.5 1.8 / 9.5 / 2.2 |
| YOLO26n-obb | OBB | 640 | 27.9 1.3 / 25.7 / 0.9 | 15.3 1.9 / 11.4 / 2.1 | 11.4 1.7 / 8.3 / 1.4 |
الاختبار المعياري: متوسط 15 استدعاءً لـ predict() بعد 3 عمليات إحماء على bus.jpg، باستخدام ultralytics_yolo 0.7.1 والأصول الرسمية v0.7.0. يتناوب ترتيب CPU/GPU بين المهام ضمن جولة تسلسلية واحدة. أكدت السجلات الأصلية أن كل صف CPU استخدم LiteRT CPU/XNNPACK، وأن كل صف GPU فوّض الرسم البياني بأكمله إلى LiteRT OpenCL (LITERT_CL). يستخدم عمود NPU الأصول w8a32 المجمّعة مسبقًا لـ Exynos 2600 (E9965) باستخدام إضافة المترجم Samsung في LiteRT. لا يتضمن LiteRT 2.3 مترجمًا على الجهاز من Samsung، كما أن Google لم تنشر بعد بيئة تشغيل NPU من Samsung، لذا استخدمت هذه الصفوف مكتبة إرسال مبنية من مصادر LiteRT 2.3.
Xiaomi 17T Pro#
الأجهزة: Xiaomi 17T Pro (2602EPTC0G) بذاكرة LPDDR5X سعتها 12 GB وAndroid 16 / API 36. ويضم MediaTek Dimensity 9500 بدقة تصنيع 3 nm (MT6993) وحدة CPU من Armv9.3 بثماني نوى (نواة C1-Ultra واحدة تصل إلى 4.21 GHz، وثلاث نوى C1-Premium تصل إلى 3.5 GHz، وأربع نوى C1-Pro تصل إلى 2.7 GHz)، ووحدة GPU من Mali-G1 Ultra MC12، ووحدة NPU 990 من MediaTek.
| النموذج | المهمة | الحجم (بكسل) | CPU w8a32 LiteRT (مللي ثانية) | GPU w8a32 LiteRT (مللي ثانية) | NPU LiteRT FP32 (ms) |
|---|---|---|---|---|---|
| YOLO26n | Detect | 640 | 31.4 1.5 / 28.0 / 1.9 | 25.6 1.4 / 22.2 / 2.0 | 11.0 1.3 / 7.8 / 1.8 |
| YOLO26n-seg | Segment | 640 | 77.8 2.6 / 65.3 / 9.9 | 47.4 2.6 / 33.6 / 11.3 | 36.5 2.6 / 23.4 / 10.4 |
| YOLO26n-sem | دلالي | 640 | 81.3 2.6 / 62.2 / 16.5 | 79.3 2.6 / 59.5 / 17.1 | 87.6 2.6 / 68.3 / 16.7 |
| YOLO26n-depth | العمق | 640 | 111.3 3.4 / 91.1 / 16.8 | 55.3 2.8 / 36.3 / 16.1 | — |
| YOLO26n-cls | التصنيف | 224 | 6.3 0.5 / 5.4 / 0.4 | 8.1 0.5 / 7.5 / 0.1 | 3.2 0.5 / 2.2 / 0.5 |
| YOLO26n-pose | الوضعية | 640 | 53.9 2.6 / 49.5 / 1.8 | 32.8 2.7 / 26.7 / 3.4 | 16.2 2.9 / 11.1 / 2.3 |
| YOLO26n-obb | OBB | 640 | 49.5 2.7 / 44.4 / 2.4 | 29.4 2.8 / 22.7 / 3.9 | — |
المعيار: متوسط 15 استدعاءً لـ predict() بعد 3 عمليات إحماء على bus.jpg، باستخدام ultralytics_yolo و0.7.1 وأصول v0.7.0 الرسمية. يتناوب ترتيب CPU/GPU بين المهام خلال مرور تسلسلي واحد. أكدت السجلات الأصلية أن كل صف CPU استخدم LiteRT CPU/XNNPACK، وأن كل صف GPU فوّض الرسم البياني بالكامل إلى LiteRT OpenCL (LITERT_CL). لا تتوفر نتيجة NPU لمهمتي Depth وOBB: إذ يرفض مُجمّع NPU من MediaTek العمليات الأسية والمثلثية فيهما، ويشغّل LiteRT هذين الرسمين البيانيين على GPU.
للاطلاع على سير عمل النشر على Android وقيود NPU، راجع دليل MediaTek Dimensity.
Intel Core Ultra X7 358H#
الأجهزة: Intel Core Ultra X7 358H (Panther Lake) وIntel AI Boost NPU 5010 وFedora Linux وبرنامج تشغيل NPU 1.38.0 وai-edge-litert 2.3.0.
| النموذج | المهمة | الحجم (بكسل) | CPU w8a32 LiteRT (مللي ثانية) | CPU w8a32 Intel (ms) | NPU w8a32 Intel (ms) |
|---|---|---|---|---|---|
| YOLO26n | Detect | 640 | 17.5 0.8 / 16.1 / 0.6 | 22.6 1.2 / 20.6 / 0.8 | 4.8 1.0 / 3.3 / 0.4 |
| YOLO26n-seg | Segment | 640 | 24.2 0.9 / 22.1 / 1.3 | 32.6 1.0 / 30.1 / 1.5 | 6.2 0.8 / 4.2 / 1.2 |
| YOLO26n-sem | دلالي | 640 | 25.2 1.0 / 14.2 / 10.0 | 33.1 1.1 / 21.9 / 10.2 | 16.5 1.0 / 5.5 / 10.0 |
| YOLO26n-depth | العمق | 640 | 31.7 0.9 / 30.2 / 0.5 | 76.6 0.9 / 75.2 / 0.5 | 9.1 1.0 / 7.5 / 0.5 |
| YOLO26n-cls | التصنيف | 224 | 4.6 2.8 / 1.7 / 0.0 | 7.3 3.3 / 3.9 / 0.0 | 4.1 3.2 / 0.9 / 0.0 |
| YOLO26n-pose | الوضعية | 640 | 20.3 0.8 / 19.0 / 0.5 | 28.6 1.1 / 26.8 / 0.8 | 6.3 0.8 / 4.9 / 0.5 |
| YOLO26n-obb | OBB | 640 | 17.2 0.8 / 16.1 / 0.3 | 22.1 1.2 / 20.5 / 0.4 | 4.6 0.9 / 3.4 / 0.3 |
المعيار المرجعي: متوسط 15 استدعاءً لـpredict() بعد 3 إحماءات على bus.jpg، باستخدام ultralytics 8.4.174 وai-edge-litert 2.3.0 مع عمليات التصدير إلى w8a32. تعرض كل خلية الزمن الإجمالي، مع تفصيل المعالجة المسبقة / الاستدلال / المعالجة اللاحقة أسفلها.
نبذة عن LiteRT#
LiteRT، اختصارًا لـ Lite Runtime، هو الاسم الجديد لـ TensorFlow Lite ويواصل استخدام تنسيق النموذج .tflite نفسه. يشغّل النماذج على CPU باستخدام XNNPACK، وعلى وحدات GPU وNPU عبر مفوضات الأجهزة، كما تتيح LiteRT.js استخدام الملف نفسه في المتصفحات وNode.js. للاطلاع على المرجع الكامل، راجع وثائق LiteRT.
شاهد: كيفية تصدير Ultralytics YOLO26 إلى Google LiteRT | نشر الذكاء الاصطناعي للرؤية على Android وiOS | الذكاء الاصطناعي للأجهزة المحمولة 📱🚀
الأسئلة الشائعة#
LiteRT هو الاسم الجديد لـ TensorFlow Lite، مع الإبقاء على تنسيق النموذج
.tfliteنفسه. في Ultralytics، يحلformat="litert"محل تنسيقي التصدير السابقين:tfliteللأجهزة المحمولة والمضمنة والطرفية، وtfjsللمتصفحات وNode.js، حيث تشغّل LiteRT.js الآن ملف.tfliteنفسه. لا تزال القيمتان السابقتان تصدّران ملف LiteRT مع تحذير بشأن الإهمال. تصف صفحتا TFLite وTF.js التنسيقين السابقين.ابدأ باستخدام
quantize="w8a32". فهو لا يحتاج إلى بيانات معايرة، ويجعل حجم الملف أقل من ثلث حجم ملف FP32، ويدعم الرأس الخالي من NMS في YOLO26 باستخدامnms=False، وهو مستوى الدقة المعتمد في نماذج Ultralytics الرسمية للهواتف على CPU وGPU. استخدمquantize=8عندما يتطلب الجهاز المستهدف تنشيطات صحيحة؛ فعلى سبيل المثال، يُجمّع تصدير NXP i.MX95 نموذج LiteRT مُعايرًا بتنسيق INT8. يحافظ'w8a16'على دقة تنشيطات أعلى من8. ويتطلب كلاهما بيانات معايرة ممثلة، ويعيدان تنبؤات خامًا تحتاج إلى NMS. قِس زمن الاستجابة والدقة على جهازك المستهدف قبل الاختيار، لأن دعم كل مخطط يختلف بين مفوضات CPU وGPU وNPU.لا. يُجرى التصدير على Linux x86-64 فقط، أو على macOS بأجهزة Apple silicon. صدّر النموذج على أحد هذه الأجهزة، أو باستخدام منصة Ultralytics، وانسخ ملف
.tfliteإلى الجهاز. راجع دليل Raspberry Pi لتشغيل النماذج على اللوحة، إذ يمكن لـCoral Edge TPU تسريع الاستدلال.نعم. تشغّل LiteRT.js الملف المُصدَّر
.tfliteفي متصفح أو في Node.js باستخدام WebGPU أو WASM، لذا لا يلزم تصدير منفصل للمتصفح. وتوفّر حزمة @ultralytics/yolo لـ npm واجهة لها مع الاستدلال عبر كاميرا الويب أو على صورة واحدة لمهام الكشف والتجزئة والتجزئة الدلالية والتصنيف والوضعية وOBB.استخدم إضافة Ultralytics YOLO لـ Flutter، التي تحمّل صادرات LiteRT
.tfliteعلى Android وتدعم مهام YOLO26 السبع كلها. صدّر بالحجمimgsz=640، أو بالحجمimgsz=224للتصنيف، لمطابقة النماذج الرسمية. لتطبيق أصلي، اتبع دليل LiteRT لنظام Android وأدخل النموذج كما هو موضح في تنسيق المخرجات. على iPhone، يُعد Core ML التنسيق الأصلي.
التعليقات
اطرح سؤالًا، وشارك نتائجك، أو ساعد شخصًا آخر.