知识蒸馏#

快速入门#

通过添加 distill_model 参数，在更大型教师模型的指导下训练更小的学生模型：

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.train(data="coco8.yaml", epochs=100, distill_model="yolo26s.pt")

什么是知识蒸馏？#

知识蒸馏将大型、高精度的教师模型知识迁移到更小的学生模型。学生模型学习模仿教师模型的内部特征表示，其精度通常优于从头开始训练。

在以下情况下使用蒸馏：

• 你需要用于部署的更小、更快的模型
• 你拥有一个使用相同数据训练的高精度教师模型
• 你希望获得优于标准训练的精度

性能#

在 COCO 上，知识蒸馏可提升整个 YOLO26 系列中学生模型的 mAP，且不会增加推理成本。下表将标准 YOLO26 模型（基线）与使用其推荐教师模型进行蒸馏训练的相同模型进行比较。

• mAP^val 值基于 COCO val2017 数据集上的单模型单尺度结果。
  使用 yolo val detect model=yolo26n-distill.pt data=coco.yaml device=0 复现蒸馏行；为 e2e 列添加 nms=False。
• e2e 值使用无 NMS 推理路径（nms=False）；非 e2e 值使用默认 NMS 后处理（nms=None）。有关详情，请参阅端到端检测。

前置条件#

开始之前，请确保满足以下要求：

• 已训练的教师模型：来自与学生模型相同 YOLO 系列的 .pt 检查点。
• 任务匹配：为教师模型使用与学生模型相同的任务，并在相关数据上进行训练。
• GPU 资源：拥有足够的内存来容纳两个模型；教师模型仅执行前向计算，不使用梯度或优化器状态。

推荐的模型对#

跨系列蒸馏（例如使用 YOLO11 教师模型和 YOLO26 学生模型）不受支持。

关键参数#

工作原理#

1. 教师模型在 eval 模式下保持冻结，并对每个批次执行推理
2. 学生模型使用标准任务损失和蒸馏指导进行训练
3. 从两个模型中提取为 Detect 系列检测头提供输入的三个颈部层的特征
4. 由两个带 ReLU 的 1×1 卷积组成的投影器，将每个学生特征图对齐到教师模型的通道
5. 分数加权 L2 损失比较投影后的学生特征与教师特征，并根据教师模型的分类置信度加权
6. 蒸馏损失使用 dis 权重与标准损失结合

flowchart TD
    A[Input Image Batch]:::start --> T[Teacher Model<br/>frozen, eval mode]:::extern
    A --> S[Student Model<br/>trainable]:::proc

    T --> |Detect head inputs| TF[Teacher Features]:::extern
    S --> |Detect head inputs| SF[Student Features]:::proc

    SF --> P[1×1 Conv Projector<br/>with ReLU]:::decide
    P --> AF[Aligned Student Features]:::proc

    TF --> SW[Score-weighted L2 Loss]:::proc
    AF --> SW

    S --> D[Detection Head]:::proc
    D --> DL[box_loss + cls_loss + l1_loss]:::proc

    SW --> |× dis| DIS[distillation loss]:::proc
    DL --> TOTAL[Total Loss]:::out
    DIS --> TOTAL

    TOTAL --> BP[Backpropagate<br/>Student + Projector only]:::out

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff
    classDef extern fill:#607D8B,color:#fff

任务支持#

蒸馏实现会从为模型 Detect 系列检测头提供输入的三个颈部层中提取特征。由于 segment、pose 和 obb 检测头继承自相同的 Detect 架构，因此蒸馏在技术上也兼容这些任务。

分类、语义分割、深度估计和 RT-DETR 不使用兼容的 Detect 系列检测头，因此不受支持。

from ultralytics import YOLO

# Segment
model = YOLO("yolo26n-seg.pt")
model.train(data="coco8-seg.yaml", epochs=100, distill_model="yolo26s-seg.pt")

# Pose
model = YOLO("yolo26n-pose.pt")
model.train(data="coco8-pose.yaml", epochs=100, distill_model="yolo26s-pose.pt")

# OBB
model = YOLO("yolo26n-obb.pt")
model.train(data="dota8.yaml", epochs=100, distill_model="yolo26s-obb.pt")

训练#

基本训练#

蒸馏训练与标准训练相同。提供 distill_model 路径即可启用蒸馏：

from ultralytics import YOLO

# Load a student model
student = YOLO("yolo26m.pt")

# Train with knowledge distillation from a larger teacher model
results = student.train(data="coco8.yaml", epochs=100, distill_model="yolo26x.pt")

调整蒸馏损失权重#

dis 参数（默认值：6.0）控制蒸馏损失的贡献：

from ultralytics import YOLO

student = YOLO("yolo26n.pt")
results = student.train(data="coco8.yaml", epochs=100, distill_model="yolo26s.pt", dis=10.0)

恢复蒸馏训练#

蒸馏训练支持从检查点恢复。教师模型会根据检查点中记录的 distill_model 路径自动重建：

from ultralytics import YOLO

student = YOLO("runs/detect/train/weights/last.pt")
results = student.train(resume=True)

训练输出#

启用蒸馏后，训练日志中会出现一个额外的 dis_loss 列：

      Epoch    GPU_mem   box_loss   cls_loss    l1_loss   dis_loss  Instances       Size
      1/80      46.2G      1.566      5.404    0.003249      6.658        231        640

导出的模型仅包含学生模型权重——文件大小和推理速度与正常训练的学生模型相同。

常见问题#