知識蒸留#

クイックスタート#

distill_model引数を追加し、大きな教師モデルの指導を受けて小さな生徒モデルをトレーニングします。

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.train(data="coco8.yaml", epochs=100, distill_model="yolo26s.pt")

知識蒸留とは何ですか？#

知識蒸留では、大規模で高精度な教師モデルから小型の生徒モデルへ知識を転送します。生徒モデルは教師モデルの内部特徴表現を模倣するように学習し、スクラッチからトレーニングする場合より高い精度を達成できることもあります。

次の場合に蒸留を使用してください：

• デプロイ用に、より小さく高速なモデルが必要な場合
• 同じデータでトレーニングされた高精度の教師モデルがある場合
• 標準的なトレーニングで得られる精度をさらに高めたい場合

性能#

知識蒸留により、COCO上でYOLO26ファミリー全体の生徒モデルのmAPが向上し、推論コストは増加しません。以下の表では、標準のYOLO26モデル（ベースライン）と、推奨される教師モデルを使って蒸留トレーニングした同じモデルを比較しています。

• mAP^検証の値は、COCO val2017データセットにおける単一モデル・単一スケールの結果です。
  蒸留済みの行を再現するにはyolo val detect model=yolo26n-distill.pt data=coco.yaml device=0を使用してください。e2e列にはnms=Falseを追加します。
• e2eの値はNMSなしの推論経路（nms=False）を使用し、e2e以外の値はデフォルトのNMS後処理（nms=None）を使用します。詳しくはエンドツーエンド検出をご覧ください。

前提条件#

始める前に、次の要件を満たしていることを確認してください。

• トレーニング済みの教師モデル：生徒モデルと同じYOLOファミリーの.ptチェックポイントです。
• タスクの一致：生徒モデルと同じタスクの教師モデルを使用し、関連するデータでトレーニングしてください。
• GPUリソース：両方のモデルを格納できる十分なメモリが必要です。教師モデルは勾配やオプティマイザーの状態を使わず、順伝播のみを実行します。

推奨モデルの組み合わせ#

異なるファミリー間の蒸留（例：YOLO11の教師モデルとYOLO26の生徒モデル）はサポートされていません。

主なパラメーター#

仕組み#

1. 教師モデルはevalモードで固定され、各バッチに対して推論を実行します
2. 生徒モデルは、標準的なタスク損失に蒸留による指導を加えてトレーニングされます
3. Detect系ヘッドに入力される3つのネック層から、両方のモデルの特徴を抽出します
4. 1×1畳み込みとReLUを2つ使うプロジェクターにより、各生徒特徴マップを教師モデルのチャンネル数に合わせます
5. スコア重み付きL2損失により、投影された生徒の特徴と教師の特徴を比較し、教師モデルの分類信頼度に応じて重み付けします
6. 蒸留損失はdisの重みを使って標準損失に加算されます

flowchart TD
    A[Input Image Batch]:::start --> T[Teacher Model<br/>frozen, eval mode]:::extern
    A --> S[Student Model<br/>trainable]:::proc

    T --> |Detect head inputs| TF[Teacher Features]:::extern
    S --> |Detect head inputs| SF[Student Features]:::proc

    SF --> P[1×1 Conv Projector<br/>with ReLU]:::decide
    P --> AF[Aligned Student Features]:::proc

    TF --> SW[Score-weighted L2 Loss]:::proc
    AF --> SW

    S --> D[Detection Head]:::proc
    D --> DL[box_loss + cls_loss + l1_loss]:::proc

    SW --> |× dis| DIS[distillation loss]:::proc
    DL --> TOTAL[Total Loss]:::out
    DIS --> TOTAL

    TOTAL --> BP[Backpropagate<br/>Student + Projector only]:::out

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff
    classDef extern fill:#607D8B,color:#fff

タスクのサポート#

蒸留の実装では、モデルのDetect系ヘッドに入力される3つのネック層から特徴を抽出します。segment、pose、obbのヘッドは同じDetectアーキテクチャを継承しているため、これらのタスクも技術的には蒸留と互換性があります。

分類、セマンティックセグメンテーション、深度推定、RT-DETRは互換性のあるDetect系ヘッドを使用しないため、サポートされていません。

from ultralytics import YOLO

# Segment
model = YOLO("yolo26n-seg.pt")
model.train(data="coco8-seg.yaml", epochs=100, distill_model="yolo26s-seg.pt")

# Pose
model = YOLO("yolo26n-pose.pt")
model.train(data="coco8-pose.yaml", epochs=100, distill_model="yolo26s-pose.pt")

# OBB
model = YOLO("yolo26n-obb.pt")
model.train(data="dota8.yaml", epochs=100, distill_model="yolo26s-obb.pt")

トレーニング#

基本的なトレーニング#

蒸留を使ったトレーニングは、標準的なトレーニングと同じです。有効にするにはdistill_modelのパスを指定します。

from ultralytics import YOLO

# 生徒モデルを読み込む
student = YOLO("yolo26m.pt")

# 大きな教師モデルによる知識蒸留を使用してトレーニングする
results = student.train(data="coco8.yaml", epochs=100, distill_model="yolo26x.pt")

蒸留損失の重みの調整#

disパラメーター（デフォルト：6.0）は、蒸留損失の寄与度を制御します。

from ultralytics import YOLO

student = YOLO("yolo26n.pt")
results = student.train(data="coco8.yaml", epochs=100, distill_model="yolo26s.pt", dis=10.0)

蒸留トレーニングの再開#

蒸留トレーニングはチェックポイントからの再開に対応しています。チェックポイントに記録されたdistill_modelパスから、教師モデルが自動的に再構築されます。

from ultralytics import YOLO

student = YOLO("runs/detect/train/weights/last.pt")
results = student.train(resume=True)

トレーニング出力#

蒸留を有効にすると、トレーニングログに追加のdis_loss列が表示されます。

      Epoch    GPU_mem   box_loss   cls_loss    l1_loss   dis_loss  Instances       Size
      1/80      46.2G      1.566      5.404    0.003249      6.658        231        640

エクスポートされたモデルには生徒モデルの重みのみが含まれます。ファイルサイズと推論速度は、通常のトレーニングで得られる生徒モデルと同じです。

よくある質問#