نشر AMD Xilinx لـUltralytics YOLO باستخدام Vitis AI#

تُشغّل أجهزة AMD Xilinx كثيراً من الكاميرات الصناعية وأنظمة الرؤية للسيارات والروبوتات والطائرات المسيّرة ومنتجات التصوير الطبي في العالم. وهي تجمع معالجات Arm مع المنطق القابل للبرمجة، وتضم في الأجهزة الأحدث محركات AI مخصصة، ما يتيح لشريحة واحدة التقاط الفيديو ومعالجته مسبقاً وتشغيل الكشف عن الكائنات والاستجابة للنتائج مع زمن استدلال منخفض ويمكن التنبؤ به.

يشرح هذا الدليل ماهية كل عائلة من أجهزة AMD Xilinx، وكيفية تشغيل AI عليها، والعوامل التي يدعمها كل مسرّع من أجل Ultralytics YOLO، كما يعرض سير العمل خطوة بخطوة لنشر نماذج YOLO على أجهزة Zynq UltraScale+ وKria وVersal.

ما هي AMD Xilinx؟#

ابتكرت Xilinx مجال مصفوفات البوابات المنطقية القابلة للبرمجة ميدانياً (FPGA) في ثمانينيات القرن الماضي، وأصبحت مورداً رائداً لـأنظمة SoC المتكيفة وFPGAs. أكملت AMD استحواذها على Xilinx في فبراير 2022، وتُباع خطوط المنتجات الآن تحت علامة AMD التجارية باسم AMD Zynq وAMD Kria وAMD Versal وAMD Vitis.

المصطلحات والمفاهيم الأساسية#

يستخدم النشر على AMD Xilinx مصطلحات خاصة به. يشرح الجدول أدناه جميع المصطلحات الواردة في هذا الدليل.

عائلات أجهزة AMD Xilinx للذكاء الاصطناعي الطرفي#

تنقسم أجهزة AMD Xilinx المخصصة للذكاء الاصطناعي الطرفي إلى ثلاث عائلات. تستخدم Zynq وKria وحدة DPU في المنطق القابل للبرمجة، بينما تستخدم أجهزة Versal AI Edge التي يتناولها هذا الدليل وحدة NPU على محركات AI.

Zynq UltraScale+ MPSoC#

تجمع كل شريحة Zynq UltraScale+ نظام معالجة Arm، يضم أنوية Cortex-A53 ثنائية (CG) أو رباعية (EG وEV) النوى وأنوية Cortex-R5F للوقت الحقيقي، مع منطق FPGA. وتضيف أجهزة EV برنامج ترميز فيديو H.264/H.265 مدمجاً في العتاد. لتشغيل الشبكات العصبية، يدمج المصممون وحدة DPU في المنطق إلى جانب مسارات الكاميرا والفيديو. وفي الأجهزة الصغيرة، تتنافس DPU على المساحة مع بقية التصميم.

وحدات Kria على شريحة#

تضم وحدة Kria K26 نظام Zynq UltraScale+ MPSoC والذاكرة والطاقة في وحدة جاهزة للإنتاج، ما يجنبك تصميم المعالج والذاكرة والنظام الفرعي للطاقة بنفسك. وتُركّب الوحدة على لوحة ناقلة، إما لوحة مجموعة بدء التشغيل أو تصميمك الخاص. وهي تشغّل مجموعة KV260 Vision AI Starter Kit للكاميرات الذكية ومجموعة KR260 Robotics Starter Kit لـالروبوتات. وبما أن K26 مبنية على Zynq UltraScale+، فهي تستخدم آلية عمل DPU نفسها. وتشمل مجموعة منتجات Kria وحدات أخرى أيضاً، لذا تحقّق من المعالج المستخدم في وحدتك قبل اختيار آلية العمل.

أنظمة Versal SoC المتكيفة#

Versal هي عائلة أنظمة SoC المتكيفة من AMD. وتضيف سلسلتا AI Edge وAI Core فيها محركات AI مدمجة في العتاد إلى جانب أنوية Arm والمنطق القابل للبرمجة، في حين لا تضم بعض سلاسل Versal الأخرى محركات AI. تعمل ملكية NPU الفكرية من AMD على محركات AI والمنطق القابل للبرمجة معاً، وتستهدف Vitis AI مكونات AIE-ML من سلسلة AI Edge، مثل VE2302 وVE2802. وتُعد سلسلة Versal AI Edge (مجموعة التقييم VEK280) وسلسلة Versal AI Edge Gen 2 (مجموعة التقييم VEK385) الهدفين الحاليين من AMD للذكاء الاصطناعي الطرفي ومحور إصدارات Vitis AI الحالية.

كيفية تشغيل AI على أجهزة AMD Xilinx: DPU مقابل NPU#

تتبع معظم عمليات نشر AI على أجهزة AMD Xilinx النمط نفسه. يشغّل المسرّع الطبقات التي يدعمها، ويشغّل CPU Arm المعالجة المسبقة والمعالجة اللاحقة وأي طبقات يتعذر على المسرّع تنفيذها، بينما تنسّق بيئة تشغيل على اللوحة بينهما.

graph LR
    A[Camera / video input]:::start --> B[Arm CPU<br>Linux, preprocessing,<br>post-processing]:::proc
    B <--> C[AI accelerator<br>DPU in programmable logic<br>or NPU on AI Engines + PL]:::out
    B --> D[Application<br>alerts, control, display]:::start

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff

أصدرت AMD جيلين من المسرّعات، لكل منهما سلسلة أدوات وملف نموذج مترجم خاصان به. يتناول هذا الدليل Vitis AI 3.5 لوحدة DPU وVitis AI 6.3 لوحدة NPU؛ راجع وثائق AMD الحالية للاطلاع على الإصدارات الأحدث.

ما تدفق Vitis AI الذي أحتاج إليه؟#

اختر التدفق بحسب الجهاز الموجود على لوحتك:

graph TD
    A[Start: which AMD device<br>is on your board?]:::start --> B{Device family?}:::decide
    B -->|Zynq UltraScale+ MPSoC<br>or Kria K26| C[DPU flow<br>Vitis AI 3.5]:::proc
    B -->|Versal AI Edge<br>VEK280| D[NPU snapshot flow<br>Vitis AI 6.3]:::proc
    B -->|Versal AI Edge Gen 2<br>VEK385| E[NPU Quark flow<br>Vitis AI 6.3]:::proc
    C --> F[Train YOLO with Hard-Swish<br>then compile to .xmodel]:::out
    D --> G[Run your model on calibration<br>images to capture a snapshot]:::out
    E --> H[Quantize ONNX with Quark<br>then compile to .rai]:::out

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

توافق نماذج YOLO والمشغّلات المدعومة#

لا يسرّع المسرّع إلا المشغّلات التي ينفذها عتاديًا. عندما يحتوي النموذج على مشغّل غير مدعوم، يوجّه المترجم عادةً ذلك الجزء من الشبكة إلى Arm CPU، وتضيف كل عملية انتقال ذهابًا وإيابًا بين المسرّع ووحدة CPU زمن استجابة. ولا يمكن تقسيم بعض المشغّلات: ففي NPU الخاص بـ Versal AI Edge Gen 2، تدرج AMD مشغّلات مثل NonZero وNonMaxSuppression التي قد تجبر النموذج بأكمله على العمل على CPU. ويُعد دعم المشغّلات العامل الأهم في تحديد مدى جودة أداء نموذج YOLO على عتاد AMD Xilinx.

graph LR
    subgraph S1 [Stock YOLO26 on the DPU]
        A1[Conv]:::out --> A2[SiLU<br>CPU]:::error --> A3[Conv]:::out --> A4[SiLU<br>CPU]:::error --> A5[...]:::proc
    end
    subgraph S2 [Hard-Swish YOLO26 on the DPU]
        B1[Backbone<br>Conv + Hard-Swish<br>DPU]:::out --> B2[C2PSA attention<br>CPU]:::error --> B3[Neck<br>DPU]:::out --> B4[C3k2 attention<br>CPU]:::error --> B5[Detect head<br>DPU]:::out --> B6[Sigmoid and<br>post-processing<br>CPU]:::error
    end

    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff
    classDef error fill:#F44336,color:#fff

يوضح الجدول مكان تشغيل كل مشغّل في نموذج YOLO26. يحتوي تصدير ONNX عادي لنموذج YOLO26n على 87 عملية تنشيط SiLU، يُصدّر كل منها بوصفها Sigmoid وMul، إضافة إلى 4 مشغّلات MatMul و2 من مشغّلات Softmax ضمن كتلتي الانتباه فيه: كتلة C2PSA في نهاية العمود الفقري (الطبقة 10)، وكتلة C3k2 المفعّل فيها الانتباه التي تنتج خرج P5 (الطبقة 22).

المصادر: المشغّلات المدعومة في AMD UG1414، ودعم مشغّلات PyTorch، وقوائم المشغّلات المدعومة وتقسيم CPU وغير المدعومة في Versal AI Edge Gen 2. يعتمد الدعم أيضًا على إعداد DPU وأنماط الرسم البياني؛ لذا تحقّق دائمًا من تقرير التقسيم الصادر عن المترجم.

جهّز YOLO26 للعمل على DPU باستخدام Hard-Swish#

لا يدمج DPU في عمليات الالتفاف إلا ReLU وReLU6 وLeakyReLU وHard-Swish وHard-Sigmoid. وHard-Swish تقريب ملائم للعتاد لـ SiLU، ما يجعله البديل الطبيعي. تقبل ملفات YAML الخاصة بنماذج Ultralytics مفتاح activation لتغيير التنشيط الافتراضي لكتل Conv (دليل إعداد YAML للنماذج).

انسخ yolo26.yaml إلى yolo26-hswish.yaml وأضف سطرًا واحدًا ضمن المعلمات:

# Parameters
nc: 80 # number of classes
activation: nn.Hardswish() # default Conv activation, DPU-native
end2end: True # whether to use end-to-end mode

ثم أنشئ النموذج، وانقل أوزان YOLO26 المدرّبة مسبقًا، وأجرِ الضبط الدقيق على مجموعة بياناتك:

from ultralytics import YOLO

# ⁨# أنشئ YOLO26n بتنشيطات Hard-Swish؛ يشير الحرف 'n' في الاسم إلى المقياس nano⁩
model = YOLO("yolo26n-hswish.yaml").load("yolo26n.pt")  # ⁨# انقل الأوزان المدرّبة مسبقًا⁩

# ⁨# اضبط النموذج بدقة ليتكيف مع Hard-Swish⁩
model.train(data="coco8.yaml", epochs=100, imgsz=640)

ليس للتنشيطات أوزان، لذا تُنقل جميع الأوزان المدرّبة مسبقًا. يحتوي رسم ONNX المُصدّر بعد ذلك على 87 مشغّل HardSwish ولا يحتوي على SiLU. استبدل coco8.yaml بـمجموعة بياناتك، وقارن الدقة بنموذج SiLU باستخدام وضع Val قبل النشر.

التعامل مع كتل الانتباه على DPU#

يطبق YOLO26 الانتباه عند أدنى دقة (شبكة 20×20 عند إدخال بحجم 640) في موضعين: كتلة C2PSA في الطبقة 10، وكتلة C3k2 المفعّل فيها الانتباه في الطبقة 22. يحتوي YOLO11 على كتلة C2PSA واحدة. على DPU، تعمل مشغّلات MatMul وSoftmax الخاصة بها على CPU، ما يقسم النموذج إلى رسوم فرعية متناوبة بين DPU وCPU. لديك ثلاثة خيارات:

1. اقبل كتل CPU. عندئذٍ يحتوي .xmodel المُجمّع على رسوم فرعية لوحدة CPU؛ لذا شغّله باستخدام Graph Runner من AMD، الذي ينفذ الرسوم الفرعية لـ DPU وCPU معًا عندما يتوفر تنفيذ على CPU لكل مشغّل؛ وإلا فعليك تنفيذ المشغّلات الناقصة وتسجيلها. حساب الانتباه صغير عند 20×20، لكن كل عملية نقل إضافية بين DPU وCPU تزيد زمن الاستجابة؛ لذا قِس الأداء على لوحتك.

2. استخدم YAML خاليًا من الانتباه. في ملف YAML الخاص بـ Hard-Swish، استبدل طبقة C2PSA بـ nn.Identity حتى تظل فهارس الطبقات التي تستخدمها Concat وDetect صالحة، وعطّل الانتباه في الطبقة 22:

   backbone:
       # ... layers 0-9 unchanged
       - [-1, 1, nn.Identity, []] # 10 C2PSA removed; keeps later layer indices valid
   
   head:
       # ... layers 11-21 unchanged
       - [-1, 1, C3k2, [1024, True, 0.5, False]] # 22 (P5/32-large), attention disabled
       - [[16, 19, 22], 1, Detect, [nc]] # Detect(P3, P4, P5)

   لن يحتوي رسم ONNX المُصدّر عندئذٍ على مشغّلات MatMul أو Softmax. ولن تعود أوزان الانتباه صالحة (تُنقل 624 من أصل 666 وزنًا في YOLO26n)، لذا أطل مدة الضبط الدقيق وقارن الدقة باستخدام وضع Val.

3. استخدم نموذجًا خاليًا من الانتباه مثل YOLOv8، الذي استخدمته AMD في أمثلة DPU الخاصة بها.

في Versal AI Edge Gen 2، تُدرج مشغّلات الانتباه ضمن المشغّلات المدعومة على NPU؛ لذا لا تكون هذه التغييرات ضرورية عادةً. أكّد موضع التنفيذ في تقرير المترجم، لأن AMD تشير إلى أن المشغّلات المدعومة قد تنتقل مع ذلك إلى CPU بسبب قيود الإعداد أو الذاكرة.

لمحة سريعة عن توافق النماذج#

انشر YOLO26 على AMD Xilinx اليوم#

إلى أن يتوفر التصدير الأصلي، يتبع النشر أربع خطوات:

graph LR
    A[1. Train or fine-tune<br>Ultralytics YOLO]:::start --> B{Target?}:::decide
    B -->|Versal NPU| C[2. Export to ONNX<br>model.export]:::proc
    B -->|Zynq or Kria DPU| D[2. Keep the trained<br>PyTorch checkpoint]:::proc
    C --> E[3. Quantize and compile<br>Vitis AI 6.3 Docker]:::proc
    D --> F[3. Quantize and compile<br>Vitis AI 3.5 Docker]:::proc
    E --> G[4. Run on the board<br>VART-ML or ONNX Runtime]:::out
    F --> H[4. Run on the board<br>VART]:::out
    G -.->|accuracy check| A
    H -.->|accuracy check| A

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

الخطوة 1: تدريب النموذج أو ضبطه بدقة#

درّب باستخدام بياناتك عبر وضع Train أو على منصة Ultralytics. بالنسبة إلى أهداف DPU، ابدأ من ملف YAML الخاص بـ Hard-Swish. سجّل خط أساس باستخدام وضع Val لتتمكن لاحقًا من قياس أثر التكميم في الدقة.

الخطوة 2: التصدير إلى ONNX لأهداف NPU#

يُعد ONNX مدخلًا مشتركًا لتدفقات NPU من AMD. يكمّم تدفق DPU نقطة تحقق PyTorch المدرّبة مباشرةً داخل صورة Docker لـ Vitis AI 3.5، لذا يمكن لمستخدمي DPU تخطي هذه الخطوة. صدّر بحجم دفعة ثابت يساوي 1 وبإصدار opset تدعمه AMD؛ إذ يستخدم درس AMD حول YOLOv8m لـ Versal AI Edge Gen 2 الإصدار 17 من opset.

from ultralytics import YOLO

# ⁨# حمّل النموذج الذي درّبته في الخطوة 1⁩
model = YOLO("runs/detect/train/weights/best.pt")

# ⁨# صدّر إلى ONNX بشكل ثابت ليستخدمه مترجم AMD⁩
model.export(format="onnx", opset=17, imgsz=640)  # ⁨# يُنشئ الملف 'best.onnx' بجوار 'best.pt'⁩

راجع تكامل ONNX ووسيطات التصدير للاطلاع على جميع الخيارات. إذا لم يُضبط nms، فنفّذ NMS على CPU بعد الاستدلال؛ أما في YOLO26، فيحدد nms=False الرأس الخالي من NMS بدلًا من ذلك. لا تضمن NMS باستخدام nms=True، لأن AMD تدرج NonMaxSuppression ضمن المشغّلات التي قد تجبر النموذج بأكمله على العمل على CPU.

الخطوة 3: التكميم والتجميع باستخدام Vitis AI#

تستخدم مسارات العمل أدناه صور Docker من AMD على مضيف Linux بمعمارية x86-64. لا تحتاج إلى اللوحة في هذه الخطوة. اختر علامة التبويب الخاصة بجهازك:

الخطوة 4: التشغيل والتحقق على اللوحة#

جهّز اللوحة أولًا. يجب أن تشغّل تصميمًا عتاديًا وصورة Linux يتضمنان إعداد المسرّع الذي أُجري التجميع له، بالإضافة إلى إصدار Vitis AI runtime المطابق. راجع أدلة الإعداد لدى AMD لأهداف Zynq UltraScale+ وKria DPU وVersal AI Edge (VEK280) وVersal AI Edge Gen 2 (VEK385).

ثم انسخ العناصر التي تحتاج إليها بيئة التشغيل:

في تدفقات عمل NPU، يفكّ الرسم البياني المُصدّر بتنسيق ONNX ترميز الصناديق ويطبّق دالة sigmoid لدرجات الفئات مسبقًا، لذا لا يفعل المضيف سوى تفسير المخرجات:

• nms غير معيّن: تُخرج نماذج الكشف موترًا (1, 4 + nc, anchors) يتألف من xywh صندوقًا ودرجات لكل فئة. اختر الفئة الأفضل لكل مرساة، وحوّل الصناديق إلى إحداثيات الزوايا، وصفِّ النتائج حسب مستوى الثقة وشغّل NMS؛ تنفّذ دالة Ultralytics non_max_suppression كل هذه الخطوات.
• nms=False (YOLO26): يُخرج النموذج موترًا (1, max_det, 6) من [x1, y1, x2, y2, score, class] صفوف، ولا يتطلب سوى تطبيق عتبة ثقة.

في الحالتين، أعد تحجيم الصناديق من الصورة المدخلة المحاطة بحواشٍ إلى أبعاد الصورة الأصلية. تحتاج الرسوم البيانية المقطوعة قبل خطوة فك الترميز فقط إلى فك ترميز الصناديق على المضيف. على DPU، تحتفظ مخازن VART بقيم INT8 ذات فاصلة ثابتة: استعلم عن شكل كل موتر ومقياس fix_point، وكمِّم المدخلات وأزل التكميم من المخرجات قبل تطبيق الخطوات أعلاه. يعيد Graph Runner مخرجات الرسم البياني الكامل، بينما يعيد مشغّل DPU فقط مخرجات الرسوم البيانية الفرعية الوسيطة لـ DPU، التي يجب أن يُكمل برنامجك حسابها. التنسيقات أعلاه هي تنسيقات ONNX (عرض CPU): يستخدم VART-ML افتراضيًا عروض الموترات العتادية، التي قد تختلف في الشكل ونوع البيانات وتخطيط الذاكرة؛ لذا اضبط أنواع موترات الإدخال والإخراج للمشغّل على عروض CPU أو حوّل التنسيق العتادي بنفسك (راجع نظرة عامة على بنية VART-ML لدى AMD).

قارن الدقة على الجهاز بخط الأساس FP32 من الخطوة 1 باستخدام مجموعة التحقق الخاصة بك ومقاييس الأداء نفسها، مثل mAP. توضّح نتائج YOLOv8m المنشورة من AMD على VEK385 كلفة الدقة المترتبة على النشر باستخدام INT8:

المصدر: البرنامج التعليمي لـ YOLOv8m على Versal AI Edge Gen 2 من AMD، ويتضمن أيضًا متوسط زمن استدلال قدره 10.69 ms عبر 100 تشغيل لـ VART عند dp_size=1.

تطبيقات واقعية#

تشيع أجهزة AMD Xilinx في كل مكان يتطلب فيه تشغيل رؤية الذكاء الاصطناعي في الوقت الفعلي، باستهلاك منخفض للطاقة وبالقرب من المستشعر:

• السلامة الصناعية وسلامة مواقع الإنشاء: اكتشف الأشخاص والآلات بالقرب من المعدات الثقيلة، وراقب مناطق العمل باستخدام كشف الكائنات وعدّ الكائنات.
• الرؤية للسيارات والمركبات المخصصة للطرق الوعرة: شغّل الإدراك المعتمد على الكاميرات على مكوّنات مؤهلة للاستخدام في السيارات، دعمًا لـالمركبات ذاتية القيادة وأنظمة مساعدة السائق.
• الكاميرات الذكية وتحليلات الفيديو: اجمع بين التقاط الفيديو وترميزه والاستدلال باستخدام YOLO على شريحة واحدة لأنظمة الأمن وتحليلات الفيديو.
• الرؤية الآلية وفحص الجودة: اقرن التقاط الصور عالي السرعة المعتمد على FPGA مع تجزئة المثيلات أو التصنيف باستخدام YOLO للكشف عن العيوب على خط الإنتاج.
• الروبوتات والطائرات المسيّرة: استخدم وحدات Kria KR260 أو Versal لتقدير الوضعية وكشف الكائنات الموجّهة والملاحة بزمن استجابة حتمي.

الملخص#

تشغّل أجهزة AMD Xilinx نماذج YOLO عبر جيلين من المسرّعات. يستخدم DPU في Zynq UltraScale+ وKria تدفق عمل Vitis AI 3.5 المجمّد وينتج ملفات .xmodel. ويتطلب دوال تنشيط أصلية لـ DPU مثل Hard-Swish، كما يشغّل عمليات الانتباه على CPU. يستخدم NPU في Versal AI Edge وVersal AI Edge Gen 2 إصدارات Vitis AI الحالية. يدعم NPU من الجيل الثاني SiLU وعمليات الانتباه، ويشغّل مثال YOLOv8m من AMD على VEK385 بالكامل تقريبًا على NPU، بينما يعتمد دعم العمليات على NPU الأقدم في VEK280 على إصدار Vitis AI والدقة.

سيُتاح قريبًا التصدير الأصلي من Ultralytics لأجهزة AMD Xilinx. وحتى ذلك الحين، درّب باستخدام Ultralytics، وصدّر إلى ONNX لأهداف Versal NPU أو احتفظ بنقطة تحقق PyTorch لأهداف DPU، ثم أجرِ التجميع باستخدام Vitis AI كما هو موضح أعلاه. للاطلاع على أهداف النشر الأخرى، راجع دليل خيارات نشر النماذج وأفضل ممارسات النشر وعمليات تكامل المسرّعات مثل Hailo وRockchip RKNN وAxelera.

الأسئلة الشائعة#