知识蒸馏#

快速入门#

添加 distill_model 参数，让较大的教师模型指导较小的学生模型进行训练：

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.train(data="coco8.yaml", epochs=100, distill_model="yolo26s.pt")

什么是知识蒸馏？#

知识蒸馏将大型、高精度的教师模型中的知识迁移到较小的学生模型中。学生模型会学习模仿教师模型的内部特征表示，通常能比从头训练获得更高的准确率。

适合使用蒸馏的情况：

• 你需要一个更小、更快、便于部署的模型
• 你有一个使用相同数据训练的高精度教师模型
• 你希望获得比标准训练更高的准确率

性能#

在 COCO 数据集上，知识蒸馏可提升整个 YOLO26 系列的学生模型 mAP，且不会增加推理开销。下表将标准 YOLO26 模型（基线）与使用其推荐教师模型进行蒸馏训练的同款模型进行了比较。

• mAP^验证 数值基于 COCO val2017 数据集上的单模型、单尺度评估。
  使用 yolo val detect model=yolo26n-distill.pt data=coco.yaml device=0 复现蒸馏结果行；在 e2e 列中添加 nms=False。
• e2e 数值使用无 NMS 推理路径（nms=False）；非 e2e 数值使用默认的 NMS 后处理（nms=None）。详情请参阅端到端检测。

前置条件#

开始之前，请确认你满足以下要求：

• 已训练的教师模型：来自与学生模型相同 YOLO 系列的 .pt 检查点。
• 任务匹配：教师模型和学生模型应执行相同任务，并且教师模型应使用相关数据进行训练。
• GPU 资源：内存需足以容纳两个模型；教师模型仅执行前向计算，不使用梯度或优化器状态。

推荐的模型配对#

不支持跨系列蒸馏（例如，使用 YOLO11 教师模型搭配 YOLO26 学生模型）。

关键参数#

工作原理#

1. 教师模型在 eval 模式下保持冻结，并对每个批次执行推理
2. 学生模型使用标准任务损失和蒸馏指导进行训练
3. 从向 Detect 系列检测头提供输入的三个颈部层中提取两个模型的特征
4. 一个由两个 1×1 卷积和 ReLU 组成的投影器，会将每个学生特征图的通道调整为与教师模型一致
5. 分数加权 L2 损失会比较投影后的学生特征与教师特征，并根据教师模型的分类置信度加权
6. 蒸馏损失使用 dis 权重与标准损失相结合

flowchart TD
    A[Input Image Batch]:::start --> T[Teacher Model<br/>frozen, eval mode]:::extern
    A --> S[Student Model<br/>trainable]:::proc

    T --> |Detect head inputs| TF[Teacher Features]:::extern
    S --> |Detect head inputs| SF[Student Features]:::proc

    SF --> P[1×1 Conv Projector<br/>with ReLU]:::decide
    P --> AF[Aligned Student Features]:::proc

    TF --> SW[Score-weighted L2 Loss]:::proc
    AF --> SW

    S --> D[Detection Head]:::proc
    D --> DL[box_loss + cls_loss + l1_loss]:::proc

    SW --> |× dis| DIS[distillation loss]:::proc
    DL --> TOTAL[Total Loss]:::out
    DIS --> TOTAL

    TOTAL --> BP[Backpropagate<br/>Student + Projector only]:::out

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff
    classDef extern fill:#607D8B,color:#fff

任务支持#

蒸馏实现会从向模型 Detect 系列检测头提供输入的三个颈部层中提取特征。由于 segment、pose 和 obb 检测头继承自相同的 Detect 架构，因此蒸馏在技术上也兼容这些任务。

分类、语义分割、深度估计和 RT-DETR 不使用兼容的 Detect 系列检测头，因此不受支持。

from ultralytics import YOLO

# Segment
model = YOLO("yolo26n-seg.pt")
model.train(data="coco8-seg.yaml", epochs=100, distill_model="yolo26s-seg.pt")

# Pose
model = YOLO("yolo26n-pose.pt")
model.train(data="coco8-pose.yaml", epochs=100, distill_model="yolo26s-pose.pt")

# OBB
model = YOLO("yolo26n-obb.pt")
model.train(data="dota8.yaml", epochs=100, distill_model="yolo26s-obb.pt")

训练#

基础训练#

蒸馏训练与标准训练完全相同。提供 distill_model 路径即可启用蒸馏：

from ultralytics import YOLO

# 加载学生模型
student = YOLO("yolo26m.pt")

# 使用较大的教师模型进行知识蒸馏训练
results = student.train(data="coco8.yaml", epochs=100, distill_model="yolo26x.pt")

调整蒸馏损失权重#

dis 参数（默认值：6.0）用于控制蒸馏损失的占比：

from ultralytics import YOLO

student = YOLO("yolo26n.pt")
results = student.train(data="coco8.yaml", epochs=100, distill_model="yolo26s.pt", dis=10.0)

恢复蒸馏训练#

蒸馏训练支持从检查点恢复。系统会根据检查点中记录的 distill_model 路径自动重新构建教师模型：

from ultralytics import YOLO

student = YOLO("runs/detect/train/weights/last.pt")
results = student.train(resume=True)

训练输出#

启用蒸馏后，训练日志中会额外显示 dis_loss 列：

      Epoch    GPU_mem   box_loss   cls_loss    l1_loss   dis_loss  Instances       Size
      1/80      46.2G      1.566      5.404    0.003249      6.658        231        640

导出的模型只包含学生模型权重——文件大小和推理速度与正常训练的学生模型一致。

常见问题#