Destilação de Conhecimento#

Início rápido#

Treina um modelo de estudante menor com a orientação de um modelo de professor maior, adicionando o argumento distill_model:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.train(data="coco8.yaml", epochs=100, distill_model="yolo26s.pt")

O que é Destilação de Conhecimento?#

A Knowledge distillation transfere conhecimento de um teacher model grande e preciso para um student model menor. O estudante aprende a imitar as representações de características internas do professor, obtendo frequentemente melhor precisão do que treinando do zero.

Usa a destilação quando:

• Precisas de um modelo mais pequeno e rápido para implementação
• Tens um modelo professor de alta precisão treinado nos mesmos dados
• Queres uma precisão melhor do que a que o treino padrão proporciona

Desempenho#

A destilação de conhecimento melhora o mAP do estudante em toda a família YOLO26 no COCO, sem custo de inferência adicional. A tabela abaixo compara os modelos YOLO26 padrão (linha de base) com os mesmos modelos treinados com destilação do seu professor recomendado.

• Os valores de mAP^val são para modelo único em escala única no conjunto de dados COCO val2017.
  Reproduza com yolo val detect data=coco.yaml device=0
• Os valores e2e usam o caminho de inferência padrão sem NMS; valores não e2e usam o pós-processamento NMS tradicional (end2end=False). Consulte End-to-End Detection para obter detalhes.

Pré-requisitos#

Antes de começares, garante que cumpres os seguintes requisitos:

• Modelo Professor Treinado: Um modelo professor pré-treinado de alta precisão da mesma família YOLO que o modelo aluno (por exemplo, YOLO26).
• Conjunto de Dados e Tarefa Correspondentes: Tanto o modelo professor como o aluno devem usar a mesma configuração exata de conjunto de dados e tarefa.
• Recursos de GPU: Memória GPU suficiente (VRAM) para carregar e executar ambos os modelos simultaneamente durante o treinamento (consulte o FAQ para sobrecarga de VRAM típica).

Pares de Modelos Recomendados#

A destilação entre famílias (por exemplo, professor YOLO11 com aluno YOLO26) não é suportada.

Parâmetros Principais#

Como Funciona#

1. O teacher model permanece congelado no modo eval e executa a inferência em cada lote
2. O modelo aluno treina com perdas de tarefa padrão mais orientação de destilação
3. As características são extraídas de ambos os modelos nas três camadas do pescoço (neck) que alimentam a cabeça da família Detect
4. Uma rede projetora (MLP leve) alinha as dimensões das características do aluno para corresponder às do professor
5. Uma perda L2 ponderada pela pontuação compara as características projetadas do aluno com as do professor, ponderadas pela confiança de classificação do professor
6. A perda de destilação combina-se com as perdas padrão usando o peso dis

flowchart TD
    A[Input Image Batch]:::start --> T[Teacher Model<br/>frozen, eval mode]:::extern
    A --> S[Student Model<br/>trainable]:::proc

    T --> |Detect head inputs| TF[Teacher Features]:::extern
    S --> |Detect head inputs| SF[Student Features]:::proc

    SF --> P[1×1 Conv Projector<br/>with ReLU]:::decide
    P --> AF[Aligned Student Features]:::proc

    TF --> SW[Score-weighted L2 Loss]:::proc
    AF --> SW

    S --> D[Detection Head]:::proc
    D --> DL[box_loss + cls_loss + dfl_loss]:::proc

    SW --> |× dis| DIS[distillation loss]:::proc
    DL --> TOTAL[Total Loss]:::out
    DIS --> TOTAL

    TOTAL --> BP[Backpropagate<br/>Student + Projector only]:::out

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff
    classDef extern fill:#607D8B,color:#fff

Suporte de Tarefas#

A implementação da destilação extrai características das três camadas de pescoço que alimentam a cabeça da família Detect do modelo. Como as cabeças segment, pose e obb herdam da mesma arquitetura Detect, a destilação também é tecnicamente compatível com essas tarefas.

from ultralytics import YOLO

# Segment
model = YOLO("yolo26n-seg.pt")
model.train(data="coco8-seg.yaml", epochs=100, distill_model="yolo26s-seg.pt")

# Pose
model = YOLO("yolo26n-pose.pt")
model.train(data="coco8-pose.yaml", epochs=100, distill_model="yolo26s-pose.pt")

# OBB
model = YOLO("yolo26n-obb.pt")
model.train(data="dota8.yaml", epochs=100, distill_model="yolo26s-obb.pt")

Treinamento#

Treinamento Básico#

O treinamento com destilação é idêntico ao treinamento padrão. Fornece o caminho distill_model para ativá-lo:

from ultralytics import YOLO

# Load a student model
student = YOLO("yolo26m.pt")

# Train with knowledge distillation from a larger teacher model
results = student.train(data="coco8.yaml", epochs=100, distill_model="yolo26x.pt")

Ajustar o Peso da Perda de Destilação#

O parâmetro dis (padrão: 6.0) controla a contribuição da perda de destilação:

from ultralytics import YOLO

student = YOLO("yolo26n.pt")
results = student.train(data="coco8.yaml", epochs=100, distill_model="yolo26s.pt", dis=10.0)

Retomar o Treinamento com Destilação#

O treinamento de destilação suporta a retomada a partir de pontos de verificação. O modelo de professor é reconstruído automaticamente a partir do caminho distill_model:

from ultralytics import YOLO

student = YOLO("runs/detect/train/weights/last.pt")
results = student.train(resume=True)

Saída do Treinamento#

Quando a destilação está ativada, uma coluna adicional dis_loss aparece nos registros de treinamento:

      Epoch    GPU_mem   box_loss   cls_loss   dfl_loss   dis_loss  Instances       Size
      1/80      46.2G      1.566      5.404    0.003249      6.658        231        640

O modelo exportado contém apenas os pesos do aluno — o tamanho do ficheiro e a velocidade de inferência correspondem a um modelo aluno treinado normalmente.

FAQ#