Destilación de conocimiento (Knowledge Distillation)#

Inicio rápido#

Entrena un modelo de estudiante más pequeño con la orientación de un modelo de profesor más grande añadiendo el argumento distill_model:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.train(data="coco8.yaml", epochs=100, distill_model="yolo26s.pt")

¿Qué es la destilación de conocimientos?#

Knowledge distillation transfiere conocimiento de un teacher model grande y preciso a un student model más pequeño. El estudiante aprende a imitar las representaciones de características internas del profesor, logrando a menudo una mejor precisión que entrenando desde cero.

Utiliza la destilación cuando:

• Necesites un modelo más pequeño y rápido para su despliegue
• Tengas un modelo profesor de alta precisión entrenado con los mismos datos
• Quieres una precisión mejor que la que ofrece el entrenamiento estándar

Rendimiento#

La destilación de conocimiento mejora el mAP del estudiante en toda la familia YOLO26 en COCO, sin coste de inferencia adicional. La tabla siguiente compara los modelos YOLO26 estándar (línea base) frente a los mismos modelos entrenados con destilación de su profesor recomendado.

• Los valores de mAP^val son para un solo modelo y una sola escala en el conjunto de datos COCO val2017.
  Reproduce con yolo val detect data=coco.yaml device=0
• Los valores de e2e utilizan la ruta de inferencia predeterminada sin NMS; los valores que no son e2e utilizan el postprocesamiento NMS tradicional (end2end=False). Consulta End-to-End Detection para obtener detalles.

Requisitos previos#

Antes de empezar, asegúrate de cumplir los siguientes requisitos:

• Modelo profesor entrenado: Un modelo profesor preentrenado de alta precisión de la misma familia YOLO que el modelo estudiante (por ejemplo, YOLO26).
• Conjunto de datos y tarea coincidentes: Tanto el modelo profesor como el estudiante deben utilizar exactamente la misma configuración de conjunto de datos y tarea.
• Recursos de GPU: Memoria de GPU (VRAM) suficiente para cargar y ejecutar ambos modelos simultáneamente durante el entrenamiento (consulta las FAQ para ver el uso típico de VRAM).

Pares de modelos recomendados#

La destilación entre familias (por ejemplo, profesor YOLO11 con estudiante YOLO26) no es compatible.

Parámetros clave#

Cómo funciona#

1. El teacher model permanece congelado en el modo eval y ejecuta la inferencia en cada lote
2. El modelo estudiante se entrena con las pérdidas de tarea estándar más la guía de destilación
3. Las características se extraen de ambos modelos en las tres capas del cuello que alimentan a la cabeza de la familia Detect
4. Una red proyectora (MLP ligero) alinea las dimensiones de las características del estudiante para que coincidan con las del profesor
5. Una pérdida L2 ponderada por puntuación compara las características proyectadas del estudiante con las del profesor, ponderadas por la confianza de clasificación del profesor
6. La pérdida de destilación se combina con las pérdidas estándar utilizando el peso dis

flowchart TD
    A[Input Image Batch]:::start --> T[Teacher Model<br/>frozen, eval mode]:::extern
    A --> S[Student Model<br/>trainable]:::proc

    T --> |Detect head inputs| TF[Teacher Features]:::extern
    S --> |Detect head inputs| SF[Student Features]:::proc

    SF --> P[1×1 Conv Projector<br/>with ReLU]:::decide
    P --> AF[Aligned Student Features]:::proc

    TF --> SW[Score-weighted L2 Loss]:::proc
    AF --> SW

    S --> D[Detection Head]:::proc
    D --> DL[box_loss + cls_loss + dfl_loss]:::proc

    SW --> |× dis| DIS[distillation loss]:::proc
    DL --> TOTAL[Total Loss]:::out
    DIS --> TOTAL

    TOTAL --> BP[Backpropagate<br/>Student + Projector only]:::out

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff
    classDef extern fill:#607D8B,color:#fff

Soporte de tareas#

La implementación de la destilación extrae características de las tres capas del cuello que alimentan la cabeza de la familia Detect del modelo. Debido a que las cabezas de segment, pose y obb heredan de la misma arquitectura de Detect, la destilación es técnicamente compatible también con esas tareas.

from ultralytics import YOLO

# Segment
model = YOLO("yolo26n-seg.pt")
model.train(data="coco8-seg.yaml", epochs=100, distill_model="yolo26s-seg.pt")

# Pose
model = YOLO("yolo26n-pose.pt")
model.train(data="coco8-pose.yaml", epochs=100, distill_model="yolo26s-pose.pt")

# OBB
model = YOLO("yolo26n-obb.pt")
model.train(data="dota8.yaml", epochs=100, distill_model="yolo26s-obb.pt")

Entrenamiento#

Entrenamiento básico#

El entrenamiento con destilación es idéntico al entrenamiento estándar. Proporciona la ruta de distill_model para habilitarlo:

from ultralytics import YOLO

# Load a student model
student = YOLO("yolo26m.pt")

# Train with knowledge distillation from a larger teacher model
results = student.train(data="coco8.yaml", epochs=100, distill_model="yolo26x.pt")

Ajuste del peso de la pérdida de destilación#

El parámetro dis (predeterminado: 6.0) controla la contribución de la pérdida de destilación:

from ultralytics import YOLO

student = YOLO("yolo26n.pt")
results = student.train(data="coco8.yaml", epochs=100, distill_model="yolo26s.pt", dis=10.0)

Reanudación del entrenamiento de destilación#

El entrenamiento por destilación admite la reanudación desde puntos de control. El modelo del profesor se reconstruye automáticamente a partir de la ruta de distill_model:

from ultralytics import YOLO

student = YOLO("runs/detect/train/weights/last.pt")
results = student.train(resume=True)

Salida del entrenamiento#

Cuando la destilación está habilitada, aparece una columna adicional dis_loss en los registros de entrenamiento:

      Epoch    GPU_mem   box_loss   cls_loss   dfl_loss   dis_loss  Instances       Size
      1/80      46.2G      1.566      5.404    0.003249      6.658        231        640

El modelo exportado contiene solo los pesos del estudiante: el tamaño del archivo y la velocidad de inferencia coinciden con un modelo estudiante entrenado normalmente.

FAQ#