تكامل Apple Core AI#

إن Core AI هو إطار عمل Apple الجديد لتشغيل الشبكات العصبية مباشرةً على Apple silicon. ويقدّم تنسيق النموذج .aimodel، وواجهة استدلال حديثة بلغة Swift، وأدوات تحويل قائمة على PyTorch، وترجمة مسبقة، وتخصيص النماذج، وأدوات مخصصة لتصحيح الأخطاء وتحليل الأداء.

تصف Apple إطار Core AI بأنه التطور التالي لتنفيذ الذكاء الاصطناعي على الجهاز، وإطار الاستدلال الذي يقوم عليه Apple Intelligence على الجهاز. وقد صُمم للبنى الحديثة للشبكات العصبية، بدءًا من نماذج الرؤية المدمجة وصولًا إلى النماذج التوليدية الكبيرة، ويمكنه جدولة العمل عبر CPU وGPU ومحرك Apple العصبي (ANE).

يمثل Core AI مسارًا جديدًا للنشر، وليس اسمًا جديدًا لـ Core ML. تستخدم أطر العمل تنسيقات نماذج وأدوات تحويل وواجهات برمجية لوقت التشغيل وأنماط تكامل التطبيقات مختلفة.

مقارنة Core AI وCore ML#

يظل Core ML الخيار المناسب عندما يحتاج التطبيق إلى تغطية واسعة للأجهزة أو تكامل مع إطار عمل Vision أو أنواع نماذج مثل أشجار القرار ومسارات العمل الجدولية. وتواصل Apple دعم Core ML، وتوجّه المطورين الذين يستخدمون أنواعًا من النماذج غير العصبية إليه.

آلية عمل تنسيق Core AI#

يبدأ سير عمل التأليف في Core AI بنموذج PyTorch:

PyTorch model
    ↓ torch.export
ExportedProgram
    ↓ coreai-torch
Core AI program
    ↓ optimize and save
.aimodel
    ↓ specialize or compile ahead of time
Apple silicon executable

تحوّل حزمة coreai-torch من Apple عنصر torch.export.ExportedProgram عبر خفض عمليات PyTorch ATen إلى عمليات Core AI. ويمكن تنفيذ العمليات غير المدعومة بخفض مخصص أو نواة Metal مخصصة.

يكون .aimodel الناتج عنصر نموذج غير مخصص. وعندما يهيئ التطبيق النموذج، يخصصه Core AI للجهاز المستهدف. ويمكن للتطبيقات السماح بحدوث ذلك عند أول استخدام، أو طلب التخصيص مسبقًا، أو تضمين نموذج مترجم مسبقًا لتقليل وقت التحميل الأولي.

في Swift، تحمّل التطبيقات العنصر باستخدام إطار Core AI، وتختار دالة استدلال، وتوفر مدخلات NDArray ذات أنواع محددة، وتتلقى مخرجات مسماة. يختلف هذا عن تغليف نموذج Core ML في طلب Vision، لذا يتطلب اعتماد Core AI وقت تشغيل للتطبيق مصممًا لأصول .aimodel.

للاطلاع على تفاصيل التنفيذ، راجع وثائق Apple حول AIModel وتخصيص النماذج والتخزين المؤقت والترجمة المسبقة.

تصدير نماذج YOLO26 إلى Core AI#

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(format="coreai")  # ⁨ينشئ 'yolo26n.aimodel'⁩
model.export(format="coreai", quantize=16)  # FP16 asset

# ⁨شغّل النموذج المُصدَّر⁩
coreai_model = YOLO("yolo26n.aimodel")
results = coreai_model("https://ultralytics.com/images/bus.jpg")

للاطلاع على قائمة الوسيطات الكاملة، راجع وضع التصدير. الرسم البياني ثابت: إذ يُتتبَّع عند imgsz المُمرر إلى export، لذا أجرِ التنبؤ بالحجم نفسه. تنتقل بيانات Ultralytics الوصفية ضمن metadata.json الخاص بالأصل نفسه، لذا تُحفَظ أسماء الفئات والخطوة والمهمة خلال دورة التصدير والاستيراد.

اختيار الرأس#

عند استخدام nms=False، يصدّر YOLO26 رأسه الشامل، الذي يحدد الاكتشافات داخل الرسم البياني. لا يتضمن Core AI عملية بدائية top-k، لذا يتحول هذا التحديد إلى فرز كامل، وتُفرض له تكلفة ثابتة عند حدود تقسيم Apple Neural Engine — نحو 1.7 ms، بصرف النظر عن max_det. ويؤدي التصدير باستخدام nms=None إلى إخراج تنبؤات (1, 84, 8400) الخام بدلًا من ذلك، مع ترك كبت القيم غير القصوى للمُتنبئ:

yolo export model=yolo26n.pt format=coreai nms=None quantize=16

على iPhone 17 Pro يعمل بنظام iOS 27.0، يستغرق YOLO26n بحجم 640 مقدار 3.01 ms مع الرأس داخل الرسم البياني، و1.28 ms بدونه (FP16، مترجم مسبقًا، ثلاث مجموعات متداخلة من 50 تكرارًا). ويمر كلاهما عبر YOLO(...) ذهابًا وإيابًا للاستدلال. استخدم nms=False عندما يجب أن يعيد استدعاء واحد للرسم البياني اكتشافات نهائية، أو أبقِ nms=None الافتراضي لاستخدام NMS خارجي.

على iOS 27 أو macOS 27، يحمّل التطبيق بعد ذلك الأصل المُصدَّر ويشغّله عبر واجهة Swift API الخاصة بـ Core AI من Apple. تستخدم الأصول المُصدَّرة نقطة الدخول main، وتأخذ مدخلًا واحدًا images ذا شكل [batch, 3, imgsz, imgsz]، وتعيد output0 (كما تعيد نماذج تجزئة المثيلات output1 أيضًا):

import CoreAI

let modelURL = Bundle.main.url(forResource: "yolo26n", withExtension: "aimodel")!
let model = try await AIModel(contentsOf: modelURL)
guard let function = try model.loadFunction(named: "main") else {
    throw AppError.missingInferenceFunction
}

let outputs = try await function.run(inputs: ["images": imageTensor])

على خلاف سير عمل Core ML وVision الحالي، ينفذ مسار Core AI في Ultralytics iOS SDK المعالجة المسبقة letterbox وبناء NDArray بنفسه، ويقرأ بيانات Ultralytics الوصفية نفسها من metadata.json الخاص بالأصل، ويعيد استخدام مفككات ترميز مخرجات Core ML. ويُحمّل عند تمرير التطبيق مسار .aimodel أو عنوان URL من نوع .aimodel.zip. توفر Apple تفاصيل واجهة API الحالية في وثائق إطار عمل Core AI، وأمثلة عملية للنماذج في مستودع نماذج Core AI.

الأداء المقاس#

استدلال شامل لصورة واحدة باستخدام YOLO26n FP16 (quantize=16) بتصديري Core ML وCore AI مع الرأس الخام الافتراضي (nms=None)، على Mac mini مزود بشريحة Apple M4 (4 أنوية CPU للأداء و6 أنوية للكفاءة، وGPU بعشر أنوية، ومحرك عصبي بـ16 نواة)، وذاكرة 16 GB ونظام macOS 27.0، باستخدام ultralytics 8.4.168 وcoremltools 9.0 للاستدلال في Core ML وcoreai-torch 0.4.3 مع coreai-core 1.0.0b3 للاستدلال في Core AI على Python 3.13. تعرض كل خلية الوقت الإجمالي (المعالجة المسبقة + الاستدلال + المعالجة اللاحقة)، مع تفصيل المراحل أسفلها.

• قيم السرعة هي زمن الاستجابة لدفعة من صورة واحدة: متوسط 15 استدعاءً لـ predict بعد 3 استدعاءات للإحماء، على bus.jpg عبر واجهة Python البرمجية من Ultralytics، مع تشغيل كل نموذج ووحدة حسابية في عملية مستقلة. وتناوب ترتيب CPU والمسرّع بين المهام في دورة تنفيذ تسلسلية واحدة. تُحمَّل صفوف Core ML باستخدام coremltools.ComputeUnit.CPU_ONLY أو CPU_AND_NE؛ وتُخصَّص صفوف Core AI باستخدام SpecializationOptions.cpu_only() أو SpecializationOptions.from_preferred_compute_unit_kind(ComputeUnitKind.neural_engine())، بينما يتحكم كل إطار عمل في موضع تنفيذ العمليات النهائي.
• أعادت مهام الكشف والتجزئة والتصنيف والوضعية وOBB التنبؤات نفسها بالتنسيقين على كل وحدة حسابية. يعمل نموذج الدلالات Core ML FP16 ببطء أكبر عند تفضيل Neural Engine مقارنةً باستخدام CPU فقط على جهاز Mac هذا، كما تستغرق المعالجة اللاحقة الدلالية في Core AI من 6.4 إلى 7.4 مللي ثانية، مقابل 0.4 مللي ثانية في Core ML.
• قارن نتائج iPhone 17 Pro على الجهاز ضمن تكامل CoreML.

مزايا Core AI#

يوفر Core AI عدة مزايا واعدة لعمليات النشر المستقبلية من Ultralytics:

• مسار تصدير حديث لـ PyTorch: يبدأ التحويل من torch.export، مع الحفاظ على مخطط PyTorch أكثر تعبيرًا مقارنةً بسير عمل التتبّع الذي تستخدمه كثير من أدوات التصدير الحالية.
• تحكم دقيق في وقت التشغيل: يمكن للتطبيقات إدارة التخصيص وذاكرة التخزين المؤقت للنماذج المترجمة ودوال الاستدلال والذاكرة وموضع التنفيذ الحسابي.
• دعم متقدم للنماذج: صُمم التنفيذ ذو الحالة والأشكال الديناميكية والدوال المتعددة في عنصر واحد ونوى Metal المخصصة لتلائم بُنى الرؤية الحديثة والبُنى التوليدية.
• أدوات مخصصة للمطورين: يستطيع Core AI Debugger فحص المخططات وقيم الموترات وتتبعها إلى شيفرة Python المصدرية. وتوفر Xcode وInstruments إمكانية تحليل أداء وقت التشغيل.
• إمكانات النسخ الصفري: يتيح Core AI التحكم في التخزين والمخازن المؤقتة بهدف تقليل النسخ بين الكاميرا والرسومات وأحمال الاستدلال.
• تحسين لأجهزة Apple silicon: يتيح تخصيص الجهاز لشركة Apple تحسين النموذج لوحدات CPU وGPU وNeural Engine المتاحة على الجهاز المحدد.
• ضغط مرن: تدعم أدوات Core AI Optimization من Apple التكميم وتحويل الأوزان إلى لوحة ألوان والتقليم، بما في ذلك تنسيقات الأوزان منخفضة البتات.

قد تكون هذه الإمكانات مفيدة خصوصًا لنماذج YOLO المستقبلية ذات التنفيذ الديناميكي أو المكونات متعددة الوسائط الأكبر أو العمليات المخصصة التي لا تتوافق بسلاسة مع عمليات Core ML الحالية.

العيوب والقيود الحالية#

لا يُعد Core AI حاليًا بديلًا لمسار Core ML المستخدم في بيئة الإنتاج:

• الحاجة إلى أنظمة تشغيل جديدة: يستهدف الإطار العام جيل iOS 27 وmacOS 27، بينما يدعم Core ML قاعدة تثبيت أوسع بكثير.
• برمجيات تجريبية: لا يزال إطار Core AI من Apple وأجزاء من سلسلة أدوات Python الخاصة به في مراحل أولية، وقد يتغيران قبل الإصدار المستقر.
• بيئة تصدير أضيق نطاقًا: يتطلب coreai-torch حاليًا Python من الإصدار 3.11 إلى 3.14، بالإضافة إلى إصدارات حديثة من PyTorch، وهو نطاق أضيق بكثير من نطاق إصدارات Python وPyTorch التي تدعمها Ultralytics.
• منصات تصدير محدودة: لا تنشر coreai-core سوى عجلات macosx_26_0_arm64 وmanylinux_2_34_x86_64، لذا يتطلب format=coreai جهاز Mac بمعمارية Apple silicon يعمل بنظام macOS 26 أو أحدث، أو نظام Linux بمعمارية x86_64 مع glibc 2.34 أو أحدث (مثل Ubuntu 22.04+). ويتطلب تشغيل .aimodel أجهزة Apple أيضًا.
• التفعيل اختياري في حزم تطوير البرامج (SDKs) من Ultralytics وليس افتراضيًا: على iPhone 17 Pro، تُظهر المقارنة على الجهاز أن Core AI يعادل Core ML في مسار المعالجة الكامل، لا يتفوق عليه؛ إذ يكون الاستدلال الدلالي واستدلال العمق والاستدلال باستخدام CPU فقط أبطأ، كما أن أصول FP16 تبلغ نحو ضعفي حجم التنزيل. لذلك تُبقي حزمة iOS SDK وإضافة Flutter على Core ML بوصفه الخيار الافتراضي.
• استخدم الرأس الخام مع حزم SDK: مع nms=False، يستغرق YOLO26n نحو ضعفي الوقت على Core AI مقارنةً بـ Core ML (3.06 مقابل 1.53 مللي ثانية في إحدى جولات المقارنة)، ولا يعيد نموذج الوضعية الشامل FP16 أي اكتشافات عند موضع Core AI الافتراضي على iOS 27.0 (apple/coreai-torch#115). يتجنب الرأس الخام (nms=None، وهو الخيار الافتراضي) المشكلتين، وتنفذ حزم SDK عملية NMS في Swift. راجع اختيار الرأس.
• لا يتوفر وقت تشغيل لمحاكي iOS: لا تتضمن حزمة SDK لمحاكي iOS Core AI.
• يلزم ترحيل التطبيق: لا يمكن استبدال .aimodel بـ .mlpackage؛ إذ يتطلب تحميل النموذج والمعالجة المسبقة واستدعاءات الاستدلال ومعالجة البيانات الوصفية وفك ترميز المخرجات تطبيقًا لـ Core AI خارج حزم SDK من Ultralytics، التي توفر هذا التطبيق.
• أدلة محدودة للاستخدام في الإنتاج: يجب التحقق من الأداء واستهلاك الطاقة ومدة التخصيص عند التشغيل الأول والدقة والضغط عبر مصفوفة مهام YOLO والأجهزة المدعومة.
• لا يوجد مسار لمعالجة NMS: يستطيع Core ML تضمين مرحلة NMS لنماذج كشف YOLO القديمة. ويصدر Core AI افتراضيًا تنبؤات خامًا واحدًا إلى متعدد؛ استخدم nms=False للرأس الخالي من NMS في YOLO26. لا يتوفر دعم لـ NMS المضمّن (nms=True) ولا لـ dynamic=True. ولا يوفر coreai-torch تحويلًا أدنى لـ torchvision::nms، لذا تبقى NMS على المضيف.
• حجم إدخال ثابت: يُتتبَّع المخطط المُصدَّر عند قيمة واحدة لـ imgsz ولا يدعم الأشكال الديناميكية، لذا يجب إجراء التنبؤ بالحجم الذي صُدِّر به.
• قد تتسبب أصول FP16 في إيقاف التطبيق عند التحميل: يتعذر على بعض أصول .aimodel من FP16 تحميل برنامج Apple Neural Engine، ويُصدر MPSGraph خطأ تأكيد فاشلًا، ما ينهي العملية بدلًا من الرجوع إلى خيار بديل. يحدث هذا داخل وقت تشغيل Apple، قبل تنفيذ أي شيفرة من Ultralytics، بينما يُحمَّل الأصل نفسه عند تخصيصه لـ CPU فقط. استخدم FP32 بديلًا إذا حدث ذلك لأحد الأصول؛ أما أصول FP16 الخاصة بحزمة SDK التي فُحصت على iPhone 17 Pro (كل نماذج nano، ومهمة الكشف بكل أحجامها، وأكبر نموذج لكل مهمة) فقد حُمِّلت دون إيقاف التطبيق.

أي تنسيق من Apple ينبغي استخدامه؟#

استخدم Core ML اليوم عندما تحتاج إلى:

• النشر على أنظمة تشغيل Apple الحالية والقديمة
• المسار الافتراضي لحزمة iOS SDK أو Flutter SDK من Ultralytics
• معالجة الصور باستخدام إطار عمل Vision
• نشر YOLO باستخدام FP16 وINT8 خضع للاختبار
• تضمين NMS لنماذج الكشف القديمة المتوافقة

قيّم Core AI إذا كان بإمكانك اشتراط iOS 27 أو macOS 27 وكنت تحتاج إلى:

• أحدث وقت تشغيل للشبكات العصبية على أجهزة Apple
• إدارة صريحة للتخصيص وذاكرة التخزين المؤقت
• تنفيذ متقدم للنماذج الديناميكية أو ذات الحالة
• عمليات Core AI مخصصة أو نوى Metal
• تصحيح مفصل لمخططات Core AI وتحليل أداء وقت التشغيل

من المتوقع أن يتعايش Core ML وCore AI خلال انتقال التطبيقات. ولا يلغي دعم Core AI الحاجة إلى Core ML فورًا، لأن أهداف النشر وعقود التطبيقات تختلف بينهما.

خارطة طريق Ultralytics#

اكتمل تنفيذ هدف التصدير المخصص coreai: يشمل التصدير والتحقق العددي نماذج مهام YOLO26 المدعومة، ويُنفَّذان باستمرار ضمن CI من Ultralytics على macOS 26، كما يُقاس زمن استجابة FP16 على الجهاز. وفيما يلي بقية خارطة الطريق قبل بلوغ Core AI مستوى التكافؤ مع مسار Core ML:

1. سد الفجوة في زمن استجابة الرأس ضمن المسار الكامل على Apple Neural Engine (apple/coreai-torch#66)، ومعالجة مشكلات صحة Neural Engine (apple/coreai-torch#115، #116).
2. أصول Core AI بتنسيقي INT8 والأوزان المحوَّلة إلى لوحة ألوان؛ أما أصول حزمة SDK فهي بتنسيق FP16، ويبلغ حجم تنزيلها نحو ضعفي حجم أصول Core ML بتنسيق INT8.
3. إصدارات مستقرة من إطار عمل Apple وأدوات التحويل (جيل iOS 27 وmacOS 27 لا يزال في المرحلة التجريبية حاليًا).
4. معايير قياس الذاكرة والطاقة والتخصيص عبر مصفوفة الأجهزة المدعومة.

تحمّل حزمة iOS SDK وإضافة Flutter من Ultralytics نماذج Core AI كخيار اختياري على iOS 27 والإصدارات الأحدث؛ ويبقى Core ML الخيار الافتراضي والموصى به للتوافق مع الإصدارات الأقدم من iOS 27. تابع خارطة طريق Ultralytics وملاحظات الإصدارات لمعرفة العناصر المتبقية.

موارد إضافية#

• نظرة عامة على Apple Core AI
• وثائق إطار Core AI
• إضافات Core AI لـ PyTorch
• Core AI Optimization
• مستودع نماذج Apple Core AI
• تكامل Core ML من Ultralytics

الأسئلة الشائعة#