Link to this section知識蒸留#

Link to this sectionクイックスタート#

distill_model引数を追加して、より大きな教師モデルのガイダンスのもと、より小さな生徒モデルをトレーニングします。

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.train(data="coco8.yaml", epochs=100, distill_model="yolo26s.pt")

Link to this section知識蒸留（Knowledge Distillation）とは？#

知識蒸留は、大規模で精度の高い教師モデルから小規模な生徒モデルへ知識を転送する手法です。生徒モデルは教師モデルの内部特徴表現を模倣するように学習するため、ゼロからトレーニングするよりも高い精度を達成することがよくあります。

蒸留を使用すべき場面:

• デプロイ用に、より小型で高速なモデルが必要な場合
• 同じデータでトレーニングされた精度の高い教師モデルが存在する場合
• 標準的なトレーニングよりも優れた精度を求める場合

Link to this section性能#

Knowledge distillation improves student mAP across the entire YOLO26 family on COCO, with no added inference cost. The table below compares the standard YOLO26 models (baseline) against the same models trained with distillation from their recommended teacher.

• **mAP^val**の値は、COCO val2017データセットにおけるシングルモデル・シングルスケールの値です。
  再現するには、yolo val detect data=coco.yaml device=0を実行してください。
• e2eの値はデフォルトのNMSフリー推論パスを使用し、e2e以外の値は従来のNMS後処理（end2end=False）を使用しています。詳細はEnd-to-End Detectionを参照してください。

Link to this section前提条件#

開始する前に、以下の要件を満たしていることを確認してください：

• トレーニング済み教師モデル: 生徒モデルと同じYOLOファミリー（例：YOLO26）から取得した、事前トレーニング済みの高精度な教師モデル。
• 一致するデータセットとタスク: 教師モデルと生徒モデルの両方で、全く同じデータセットとタスク構成を使用する必要があります。
• GPUリソース: トレーニング中に両方のモデルを同時に読み込んで実行するための十分なGPUメモリ（VRAM）が必要です（一般的なVRAMオーバーヘッドについてはFAQを参照してください）。

Link to this section推奨モデルペア#

ファミリーをまたぐ蒸留（例：YOLO11の教師とYOLO26の生徒）はサポートされていません。

Link to this section主要パラメータ#

Link to this section仕組み#

1. 教師モデルはevalモードでフリーズされたまま、各バッチで推論を実行します。
2. 生徒モデルは、標準のタスク損失に加えて蒸留ガイダンスを使用してトレーニングされます。
3. 両モデルから、Detectファミリーのヘッドに供給される3つのネックレイヤーで特徴が抽出されます。
4. プロジェクターネットワーク（軽量MLP）が、生徒モデルの特徴次元を教師モデルに合わせて調整します。
5. スコア重み付きL2損失が、投影された生徒モデルの特徴を教師モデルの特徴と比較し、教師の分類信頼度で重み付けを行います。
6. 蒸留損失は、dis重みを使用して標準損失と組み合わされます。

flowchart TD
    A[Input Image Batch] --> T[Teacher Model<br/>frozen, eval mode]
    A --> S[Student Model<br/>trainable]

    T --> |Detect head inputs| TF[Teacher Features]
    S --> |Detect head inputs| SF[Student Features]

    SF --> P[1×1 Conv Projector<br/>with ReLU]
    P --> AF[Aligned Student Features]

    TF --> SW[Score-weighted L2 Loss]
    AF --> SW

    S --> D[Detection Head]
    D --> DL[box_loss + cls_loss + dfl_loss]

    SW --> |× dis| DIS[distillation loss]
    DL --> TOTAL[Total Loss]
    DIS --> TOTAL

    TOTAL --> BP[Backpropagate<br/>Student + Projector only]

Link to this sectionタスクのサポート#

蒸留実装では、モデルのDetectファミリーヘッドに供給される3つのネックレイヤーから特徴を抽出します。segment、pose、obbヘッドは同じDetectアーキテクチャから継承されているため、蒸留はそれらのタスクとも技術的に互換性があります。

from ultralytics import YOLO

# Segment
model = YOLO("yolo26n-seg.pt")
model.train(data="coco8-seg.yaml", epochs=100, distill_model="yolo26s-seg.pt")

# Pose
model = YOLO("yolo26n-pose.pt")
model.train(data="coco8-pose.yaml", epochs=100, distill_model="yolo26s-pose.pt")

# OBB
model = YOLO("yolo26n-obb.pt")
model.train(data="dota8.yaml", epochs=100, distill_model="yolo26s-obb.pt")

Link to this sectionトレーニング#

Link to this section基本的なトレーニング#

蒸留を使用したトレーニングは、標準的なトレーニングと同じです。有効にするにはdistill_modelパスを指定します：

from ultralytics import YOLO

# Load a student model
student = YOLO("yolo26m.pt")

# Train with knowledge distillation from a larger teacher model
results = student.train(data="coco8.yaml", epochs=100, distill_model="yolo26x.pt")

Link to this section蒸留損失の重みの調整#

disパラメータ（デフォルト：6.0）は、蒸留損失の寄与を制御します：

from ultralytics import YOLO

student = YOLO("yolo26n.pt")
results = student.train(data="coco8.yaml", epochs=100, distill_model="yolo26s.pt", dis=10.0)

Link to this section蒸留トレーニングの再開#

蒸留トレーニングは、チェックポイントからの再開をサポートしています。教師モデルはdistill_modelパスから自動的に再構築されます：

from ultralytics import YOLO

student = YOLO("runs/detect/train/weights/last.pt")
results = student.train(resume=True)

Link to this sectionトレーニング出力#

蒸留が有効な場合、トレーニングログにdis_loss列が追加されます：

      Epoch    GPU_mem   box_loss   cls_loss   dfl_loss   dis_loss  Instances       Size
      1/80      46.2G      1.566      5.404    0.003249      6.658        231        640

エクスポートされたモデルには生徒モデルの重みのみが含まれます。ファイルサイズと推論速度は、通常通りトレーニングされた生徒モデルと同じです。

Link to this sectionよくある質問 (FAQ)#

Link to this section蒸留損失が減少しないのはなぜですか？#

• 教師モデルと生徒モデルが同じYOLO世代のものであることを確認してください。
• distill_modelパスが正しく、ファイルが読み込まれていることを確認してください。
• 損失値が非常に小さい場合は、disを増やしてみてください。
• 教師モデルが同じデータセットでトレーニングされていることを確認してください。

Link to this section蒸留は標準的なトレーニングと何が違いますか？#

distill_modelパラメータを追加するだけで、他はすべて同じように動作します。トレーニング中に追加の蒸留損失が計算されますが、保存されるモデルは標準的なYOLOモデルであり、オーバーヘッドはありません。

Link to this section知識蒸留はトレーニングを遅くしますか？#

はい。各バッチで教師モデルが推論を実行するため、トレーニング速度は1.2〜1.5倍遅くなり、GPUメモリは約1.1倍増加します。教師モデルは勾配なしのevalモードで実行されるため、オーバーヘッドは管理可能です。影響を抑えるにはamp=Trueを使用してください。

Link to this sectionどのタスクとモデルがサポートされていますか？#

知識蒸留は、Detectファミリーヘッドに供給される3つのネックレイヤーから特徴を蒸留するため、detect、segment、pose、およびobbタスクで機能します。classifyおよびsemanticタスクはサポートされていません。

精度向上が実験的に検証されているのはdetectのみです。segment、pose、obbは技術的に互換性がありますが、まだベンチマークされていません。

教師モデルと生徒モデルは同じYOLOファミリー（例：YOLOv8、YOLO11、YOLO26など）に属している必要があります。ファミリーをまたぐ蒸留（例：YOLO11の教師とYOLO26の生徒）はサポートされていません。