コンテンツへスキップ

凍結層による転移学習

このガイドでは、転移学習時にYOLOv5 🚀層を凍結する方法を説明します。転移学習は、ネットワーク全体を再学習させることなく、新しいデータに対してモデルを素早く再学習させる便利な方法です。その代わりに、初期の重みの一部はそのまま凍結され、残りの重みは損失を計算するために使用され、オプティマイザによって更新されます。これは通常の学習よりも少ないリソースで済み、学習時間を短縮できるが、最終的な学習精度が低下する可能性がある。

始める前に

レポをクローンし、requirements.txtをPython>=3.8.0環境にインストールする。 PyTorch>=1.8.モデルとデータセットは、最新のYOLOv5 リリースから自動的にダウンロードされます。

git clone https://github.com/ultralytics/yolov5  # clone
cd yolov5
pip install -r requirements.txt  # install

フリーズ・バックボーン

train.pyにマッチする全てのレイヤー freeze のリストは、トレーニング開始前に勾配をゼロに設定することで凍結されます。

# Freeze
freeze = [f"model.{x}." for x in range(freeze)]  # layers to freeze
for k, v in model.named_parameters():
    v.requires_grad = True  # train all layers
    if any(x in k for x in freeze):
        print(f"freezing {k}")
        v.requires_grad = False

モジュール名のリストを見るには

for k, v in model.named_parameters():
    print(k)

"""Output:
model.0.conv.conv.weight
model.0.conv.bn.weight
model.0.conv.bn.bias
model.1.conv.weight
model.1.bn.weight
model.1.bn.bias
model.2.cv1.conv.weight
model.2.cv1.bn.weight
...
model.23.m.0.cv2.bn.weight
model.23.m.0.cv2.bn.bias
model.24.m.0.weight
model.24.m.0.bias
model.24.m.1.weight
model.24.m.1.bias
model.24.m.2.weight
model.24.m.2.bias
"""

モデル・アーキテクチャを見ると、モデルのバックボーンはレイヤー0から9であることがわかる：

# YOLOv5 v6.0 backbone
backbone:
    # [from, number, module, args]
    - [-1, 1, Conv, [64, 6, 2, 2]] # 0-P1/2
    - [-1, 1, Conv, [128, 3, 2]] # 1-P2/4
    - [-1, 3, C3, [128]]
    - [-1, 1, Conv, [256, 3, 2]] # 3-P3/8
    - [-1, 6, C3, [256]]
    - [-1, 1, Conv, [512, 3, 2]] # 5-P4/16
    - [-1, 9, C3, [512]]
    - [-1, 1, Conv, [1024, 3, 2]] # 7-P5/32
    - [-1, 3, C3, [1024]]
    - [-1, 1, SPPF, [1024, 5]] # 9

# YOLOv5 v6.0 head
head:
    - [-1, 1, Conv, [512, 1, 1]]
    - [-1, 1, nn.Upsample, [None, 2, "nearest"]]
    - [[-1, 6], 1, Concat, [1]] # cat backbone P4
    - [-1, 3, C3, [512, False]] # 13

    - [-1, 1, Conv, [256, 1, 1]]
    - [-1, 1, nn.Upsample, [None, 2, "nearest"]]
    - [[-1, 4], 1, Concat, [1]] # cat backbone P3
    - [-1, 3, C3, [256, False]] # 17 (P3/8-small)

    - [-1, 1, Conv, [256, 3, 2]]
    - [[-1, 14], 1, Concat, [1]] # cat head P4
    - [-1, 3, C3, [512, False]] # 20 (P4/16-medium)

    - [-1, 1, Conv, [512, 3, 2]]
    - [[-1, 10], 1, Concat, [1]] # cat head P5
    - [-1, 3, C3, [1024, False]] # 23 (P5/32-large)

    - [[17, 20, 23], 1, Detect, [nc]] # Detect(P3, P4, P5)

というわけで、'model.0.' を名前に含むすべてのモジュールを含むように、フリーズリストを定義することができます。- model.9.'を含むすべてのモジュールをフリーズリストに含めることができます：

python train.py --freeze 10

すべてのレイヤーをフリーズ

Detect()の最終出力コンボリューションレイヤーを除くフルモデルをフリーズさせるために、フリーズリストに、名前に'model.0.''model.23.- model.23.'を含むすべてのモジュールを含むように設定する：

python train.py --freeze 24

結果

VOC上のYOLOv5mを、デフォルトモデル（凍結なし）とともに、上記の両方のシナリオで、公式COCOの事前学習から開始する。 --weights yolov5m.pt:

train.py --batch 48 --weights yolov5m.pt --data voc.yaml --epochs 50 --cache --img 512 --hyp hyp.finetune.yaml

精度比較

その結果、フリーズはトレーニングをスピードアップさせるが、最終的な精度はわずかに低下することがわかった。

冷凍トレーニングmAP50の結果

冷凍トレーニングmAP50-95の結果

表結果

GPU 利用率の比較

興味深いことに、より多くのモジュールをフリーズさせればさせるほど、学習に必要なGPU メモリは少なくなり、GPU の利用率は低くなる。このことは、より大きなモデルや、より大きな--image-sizeで訓練されたモデルは、より速く訓練するためにフリーズすることが有益であることを示している。

トレーニングGPU メモリ割り当て率

トレーニングGPU メモリ使用率

対応環境

Ultralytics をはじめとする必要不可欠な依存関係がプリインストールされた、さまざまなすぐに使える環境を提供する。 CUDAやCUDNN、 Pythonそして PyTorchなどがプリインストールされています。

プロジェクト状況

YOLOv5 CI

このバッジは、YOLOv5 GitHub ActionsContinuous Integration (CI) テストがすべて正常にパスしていることを示します。これらのCIテストは、トレーニング、検証、推論、エクスポート、ベンチマークといったさまざまな重要な側面にわたって、YOLOv5 の機能とパフォーマンスを厳密にチェックします。これらのテストは、macOS、Windows、Ubuntu上で、24時間ごとおよび新しいコミットごとに実施され、一貫した信頼性の高い動作を保証します。



作成日：2023-11-12 更新日：2024-06-10
作成者：glenn-jocher(7)

コメント