تقطير المعرفة (Knowledge Distillation)#

البداية السريعة#

تدريب نموذج طالب أصغر بتوجيه من نموذج معلم أكبر عن طريق إضافة الوسيط distill_model:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.train(data="coco8.yaml", epochs=100, distill_model="yolo26s.pt")

ما هي تقطير المعرفة (Knowledge Distillation)؟#

التطفير المعرفي (Knowledge distillation) ينقل المعرفة من نموذج معلم كبير وعالي الدقة إلى نموذج طالب أصغر. يتعلم الطالب محاكاة تمثيلاتها الداخلية للسمات الخاصة بالمعلم، وغالباً ما يحقق دقة أفضل من التدريب من الصفر.

استخدم التقطير عندما:

• تحتاج إلى نموذج أصغر وأسرع للنشر
• لديك نموذج معلم عالي الدقة مدرب على نفس البيانات
• تريد دقة أفضل مما يوفره التدريب القياسي

الأداء#

يحسن التطفير المعرفي mAP للطالب عبر عائلة YOLO26 بأكملها على COCO، دون أي تكلفة استنتاج إضافية. يقارن الجدول أدناه نماذج YOLO26 القياسية (الخط الأساسي) مقابل نفس النماذج المدربة باستخدام التطفير من معلمها الموصى به.

• قيم mAP^val تخص نموذجاً واحداً ومقياساً واحداً على مجموعة بيانات COCO val2017.
  يمكنك إعادة الإنتاج بواسطة yolo val detect data=coco.yaml device=0
• قيم e2e تستخدم مسار الاستنتاج الافتراضي الخالي من NMS؛ بينما تستخدم القيم غير الخالية من e2e معالجة NMS اللاحقة التقليدية (end2end=False). راجع كشف من البداية إلى النهاية (End-to-End Detection) للحصول على التفاصيل.

المتطلبات الأساسية#

قبل البدء، تأكد من استيفاء المتطلبات التالية:

• نموذج معلم مدرب: نموذج معلم مدرب مسبقاً وعالي الدقة من نفس عائلة YOLO مثل نموذج الطالب (مثلاً، YOLO26).
• تطابق مجموعة البيانات والمهمة: يجب أن يستخدم كل من نموذج المعلم والطالب نفس مجموعة البيانات وإعدادات المهمة تماماً.
• موارد وحدة معالجة الرسومات (GPU): ذاكرة GPU كافية (VRAM) لتحميل وتشغيل كلا النموذجين في نفس الوقت أثناء التدريب (راجع الأسئلة الشائعة (FAQ) لمعرفة استهلاك VRAM الإضافي النموذجي).

أزواج النماذج الموصى بها#

التقطير بين العائلات المختلفة (مثلاً، معلم YOLO11 مع طالب YOLO26) غير مدعوم.

المعاملات الرئيسية#

كيف يعمل#

1. يظل نموذج المعلم مجمداً في وضع eval ويقوم بتشغيل الاستنتاج على كل دفعة
2. يتم تدريب نموذج الطالب بخسائر المهمة القياسية بالإضافة إلى توجيه التقطير
3. يتم استخراج الميزات من كلا النموذجين عند طبقات العنق الثلاث التي تغذي رأس عائلة Detect
4. تعمل شبكة الإسقاط (projector network) (شبكة MLP خفيفة) على مواءمة أبعاد ميزات الطالب لتطابق المعلم
5. تقارن خسارة L2 المرجحة بالنتيجة (score-weighted L2 loss) ميزات الطالب المسقطة بميزات المعلم، مرجحة بثقة التصنيف الخاصة بالمعلم
6. تندمج خسارة التطفير مع الخسائر القياسية باستخدام وزن dis

flowchart TD
    A[Input Image Batch]:::start --> T[Teacher Model<br/>frozen, eval mode]:::extern
    A --> S[Student Model<br/>trainable]:::proc

    T --> |Detect head inputs| TF[Teacher Features]:::extern
    S --> |Detect head inputs| SF[Student Features]:::proc

    SF --> P[1×1 Conv Projector<br/>with ReLU]:::decide
    P --> AF[Aligned Student Features]:::proc

    TF --> SW[Score-weighted L2 Loss]:::proc
    AF --> SW

    S --> D[Detection Head]:::proc
    D --> DL[box_loss + cls_loss + dfl_loss]:::proc

    SW --> |× dis| DIS[distillation loss]:::proc
    DL --> TOTAL[Total Loss]:::out
    DIS --> TOTAL

    TOTAL --> BP[Backpropagate<br/>Student + Projector only]:::out

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff
    classDef extern fill:#607D8B,color:#fff

دعم المهام#

يستخرج تنفيذ التطفير الميزات من طبقات العنق الثلاث التي تغذي رأس نموذج عائلة Detect. نظراً لأن رؤوس segment وpose وobb توراث من نفس هندسة Detect، فإن التطفير متوافق تقنياً مع تلك المهام أيضاً.

from ultralytics import YOLO

# Segment
model = YOLO("yolo26n-seg.pt")
model.train(data="coco8-seg.yaml", epochs=100, distill_model="yolo26s-seg.pt")

# Pose
model = YOLO("yolo26n-pose.pt")
model.train(data="coco8-pose.yaml", epochs=100, distill_model="yolo26s-pose.pt")

# OBB
model = YOLO("yolo26n-obb.pt")
model.train(data="dota8.yaml", epochs=100, distill_model="yolo26s-obb.pt")

التدريب#

التدريب الأساسي#

التدريب مع التطفير مطابق للتدريب القياسي. قم بتوفير مسار distill_model لتمكينه:

from ultralytics import YOLO

# Load a student model
student = YOLO("yolo26m.pt")

# Train with knowledge distillation from a larger teacher model
results = student.train(data="coco8.yaml", epochs=100, distill_model="yolo26x.pt")

ضبط وزن خسارة التقطير#

يتحكم المعلمة dis (الافتراضي: 6.0) في مساهمة خسارة التطفير:

from ultralytics import YOLO

student = YOLO("yolo26n.pt")
results = student.train(data="coco8.yaml", epochs=100, distill_model="yolo26s.pt", dis=10.0)

استئناف تدريب التقطير#

يدعم تدريب التطفير استئناف التدريب من نقاط التحقق (Checkpoints). يتم إعادة بناء نموذج المعلم تلقائياً من مسار distill_model:

from ultralytics import YOLO

student = YOLO("runs/detect/train/weights/last.pt")
results = student.train(resume=True)

مخرجات التدريب#

عند تمكين التطفير، يظهر عمود إضافي dis_loss في سجلات التدريب:

      Epoch    GPU_mem   box_loss   cls_loss   dfl_loss   dis_loss  Instances       Size
      1/80      46.2G      1.566      5.404    0.003249      6.658        231        640

يحتوي النموذج المُصدر على أوزان الطالب فقط—يتطابق حجم الملف وسرعة الاستنتاج مع نموذج طالب مدرب بشكل طبيعي.

الأسئلة الشائعة#