Chưng cất tri thức#

Bắt đầu nhanh#

Huấn luyện một student model nhỏ hơn với sự hướng dẫn từ một teacher model lớn hơn bằng cách thêm tham số distill_model:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.train(data="coco8.yaml", epochs=100, distill_model="yolo26s.pt")

Chưng cất tri thức là gì?#

Chưng cất tri thức chuyển giao tri thức từ một teacher model lớn, có độ chính xác cao, sang một student model nhỏ hơn. Student model học cách bắt chước các biểu diễn đặc trưng nội tại của teacher model, thường đạt độ chính xác tốt hơn so với huấn luyện từ đầu.

Sử dụng chưng cất khi:

• Bạn cần một model nhỏ hơn, nhanh hơn để triển khai
• Bạn có một teacher model độ chính xác cao được huấn luyện trên cùng dữ liệu
• Bạn muốn độ chính xác tốt hơn so với huấn luyện tiêu chuẩn

Hiệu năng#

Chưng cất tri thức cải thiện mAP của student trên toàn bộ dòng YOLO26 với COCO, mà không làm tăng chi phí suy luận. Bảng dưới đây so sánh các model YOLO26 tiêu chuẩn (baseline) với chính các model đó được huấn luyện bằng phương pháp chưng cất từ teacher model được khuyến nghị tương ứng.

• Các giá trị mAP^val dành cho mô hình đơn tỷ lệ đơn trên tập dữ liệu COCO val2017.
  Tái tạo lại một hàng được chưng cất bằng yolo val detect model=yolo26n-distill.pt data=coco.yaml device=0; thêm nms=False cho cột e2e.
• Các giá trị e2e sử dụng luồng suy luận không có NMS (nms=False); các giá trị phi e2e sử dụng quá trình hậu xử lý NMS mặc định (nms=None). Xem End-to-End Detection để biết chi tiết.

Điều kiện tiên quyết#

Trước khi bắt đầu, hãy đảm bảo bạn đáp ứng các yêu cầu sau:

• Teacher model đã huấn luyện: một checkpoint .pt thuộc cùng dòng YOLO với student.
• Tác vụ tương ứng: sử dụng teacher cho cùng tác vụ với student và huấn luyện teacher trên dữ liệu liên quan.
• Tài nguyên GPU: đủ bộ nhớ để chứa cả hai model; teacher chỉ thực hiện forward mà không có gradient hoặc trạng thái optimizer.

Các cặp Model được khuyến nghị#

Chưng cất xuyên dòng (ví dụ: teacher YOLO11 với student YOLO26) không được hỗ trợ.

Các tham số chính#

Cách thức hoạt động#

1. Teacher model được đóng băng trong chế độ eval và thực hiện suy luận trên mỗi batch
2. Student model được huấn luyện với các loss tác vụ tiêu chuẩn cùng với hướng dẫn chưng cất
3. Các đặc trưng được trích xuất từ cả hai model tại ba lớp neck cung cấp đầu vào cho head thuộc dòng Detect
4. Một projector gồm hai phép tích chập 1×1 với ReLU căn chỉnh mỗi feature map của student với các channel của teacher
5. Score-weighted L2 loss so sánh các đặc trưng của student sau phép chiếu với đặc trưng của teacher, được tính trọng số theo độ tin cậy phân loại của teacher
6. Loss chưng cất được kết hợp với các loss tiêu chuẩn bằng trọng số dis

flowchart TD
    A[Input Image Batch]:::start --> T[Teacher Model<br/>frozen, eval mode]:::extern
    A --> S[Student Model<br/>trainable]:::proc

    T --> |Detect head inputs| TF[Teacher Features]:::extern
    S --> |Detect head inputs| SF[Student Features]:::proc

    SF --> P[1×1 Conv Projector<br/>with ReLU]:::decide
    P --> AF[Aligned Student Features]:::proc

    TF --> SW[Score-weighted L2 Loss]:::proc
    AF --> SW

    S --> D[Detection Head]:::proc
    D --> DL[box_loss + cls_loss + l1_loss]:::proc

    SW --> |× dis| DIS[distillation loss]:::proc
    DL --> TOTAL[Total Loss]:::out
    DIS --> TOTAL

    TOTAL --> BP[Backpropagate<br/>Student + Projector only]:::out

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff
    classDef extern fill:#607D8B,color:#fff

Hỗ trợ tác vụ#

Triển khai chưng cất trích xuất các đặc trưng từ ba lớp neck cung cấp đầu vào cho head thuộc dòng Detect của model. Vì các head segment, pose và obb kế thừa cùng kiến trúc Detect, chưng cất về mặt kỹ thuật cũng tương thích với các tác vụ này.

Classification, semantic segmentation, depth estimation và RT-DETR không sử dụng head tương thích thuộc dòng Detect nên không được hỗ trợ.

from ultralytics import YOLO

# Segment
model = YOLO("yolo26n-seg.pt")
model.train(data="coco8-seg.yaml", epochs=100, distill_model="yolo26s-seg.pt")

# Pose
model = YOLO("yolo26n-pose.pt")
model.train(data="coco8-pose.yaml", epochs=100, distill_model="yolo26s-pose.pt")

# OBB
model = YOLO("yolo26n-obb.pt")
model.train(data="dota8.yaml", epochs=100, distill_model="yolo26s-obb.pt")

Training#

Huấn luyện cơ bản#

Huấn luyện với chưng cất giống hệt huấn luyện tiêu chuẩn. Cung cấp đường dẫn distill_model để bật tính năng này:

from ultralytics import YOLO

# Load a student model
student = YOLO("yolo26m.pt")

# Train with knowledge distillation from a larger teacher model
results = student.train(data="coco8.yaml", epochs=100, distill_model="yolo26x.pt")

Điều chỉnh trọng số Loss chưng cất#

Tham số dis (mặc định: 6.0) kiểm soát mức đóng góp của loss chưng cất:

from ultralytics import YOLO

student = YOLO("yolo26n.pt")
results = student.train(data="coco8.yaml", epochs=100, distill_model="yolo26s.pt", dis=10.0)

Tiếp tục huấn luyện với chưng cất#

Huấn luyện với chưng cất hỗ trợ tiếp tục từ checkpoint. Teacher model được tự động khởi tạo lại từ đường dẫn distill_model được ghi trong checkpoint:

from ultralytics import YOLO

student = YOLO("runs/detect/train/weights/last.pt")
results = student.train(resume=True)

Đầu ra huấn luyện#

Khi bật chưng cất, một cột dis_loss bổ sung sẽ xuất hiện trong log huấn luyện:

      Epoch    GPU_mem   box_loss   cls_loss    l1_loss   dis_loss  Instances       Size
      1/80      46.2G      1.566      5.404    0.003249      6.658        231        640

Model đã xuất chỉ chứa trọng số của student—kích thước file và tốc độ suy luận tương đương với student được huấn luyện theo cách thông thường.

FAQ#