コンテンツにスキップ

YOLOv5におけるモデルの枝刈りとスパース性

📚 このガイドでは、パフォーマンスを維持しながら、より効率的なネットワークを作成するために、YOLOv5 🚀モデルに枝刈りを適用する方法について説明します。

モデルの枝刈りとは何ですか?

モデルの枝刈りは、重要度の低いパラメータ(重みと接続)を削除することにより、ニューラルネットワークのサイズと複雑さを軽減するために使用される手法です。このプロセスにより、いくつかの利点がある、より効率的なモデルが作成されます。

  • リソース制約のあるデバイスへのデプロイを容易にするためのモデルサイズの縮小
  • 精度への影響を最小限に抑えながら、より高速な推論速度を実現
  • メモリ使用量とエネルギー消費量の削減
  • リアルタイムアプリケーション向けの全体的な効率が向上

枝刈り(Pruning)は、モデルのパフォーマンスへの寄与が最小限のパラメータを特定して削除することで機能し、同様の精度でより軽量なモデルを実現します。

始める前に

requirements.txtをクローンして、Python>=3.8.0環境(PyTorch>=1.8を含む)にインストールします。モデルデータセットは、最新のYOLOv5 リリースから自動的にダウンロードされます。

git clone https://github.com/ultralytics/yolov5 # clone
cd yolov5
pip install -r requirements.txt # install

ベースラインパフォーマンスのテスト

枝刈りを行う前に、比較対象となるベースラインパフォーマンスを確立します。このコマンドは、画像サイズ640ピクセルでCOCO val2017に対するYOLOv5xをテストします。 yolov5x.pt が利用可能な中で最大かつ最も正確なモデルです。その他のオプションは yolov5s.pt, yolov5m.pt および yolov5l.pt、またはカスタムデータセットをトレーニングした独自のチェックポイントを直接渡すことができます。 ./weights/best.pt利用可能なすべてのモデルの詳細については、READMEをご覧ください。 テーブル.

python val.py --weights yolov5x.pt --data coco.yaml --img 640 --half

出力:

val: data=/content/yolov5/data/coco.yaml, weights=['yolov5x.pt'], batch_size=32, imgsz=640, conf_thres=0.001, iou_thres=0.65, task=val, device=, workers=8, single_cls=False, augment=False, verbose=False, save_txt=False, save_conf=False, save_json=True, project=runs/val, name=exp, exist_ok=False, half=True, dnn=False
YOLOv5 🚀 v6.0-224-g4c40933 torch 1.10.0+cu111 CUDA:0 (Tesla V100-SXM2-16GB, 16160MiB)

Fusing layers...
Model Summary: 444 layers, 86705005 parameters, 0 gradients
val: Scanning '/content/datasets/coco/val2017.cache' images and labels... 4952 found, 48 missing, 0 empty, 0 corrupt: 100% 5000/5000 [00:00<?, ?it/s]
               Class     Images     Labels          P          R     mAP@.5 mAP@.5:.95: 100% 157/157 [01:12<00:00,  2.16it/s]
                 all       5000      36335      0.732      0.628      0.683      0.496
Speed: 0.1ms pre-process, 5.2ms inference, 1.7ms NMS per image at shape (32, 3, 640, 640)  # <--- base speed

Evaluating pycocotools mAP... saving runs/val/exp2/yolov5x_predictions.json...
...
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.507  # <--- base mAP
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.689
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.552
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.345
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.559
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.652
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.381
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.630
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.682
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.526
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.731
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.829
Results saved to runs/val/exp

YOLOv5x に枝刈りを適用(30% のスパース性)

次のものを使用して、モデルに枝刈りを適用できます。 torch_utils.prune() コマンドを使用します。枝刈りされたモデルをテストするには、以下を更新します。 val.py YOLOv5xを0.3のスパース性(重みの30%をゼロに設定)にプルーニングするには:

YOLOv5xを30%のスパース性までプルーニングするコードを示すスクリーンショット

30%削減された出力:

val: data=/content/yolov5/data/coco.yaml, weights=['yolov5x.pt'], batch_size=32, imgsz=640, conf_thres=0.001, iou_thres=0.65, task=val, device=, workers=8, single_cls=False, augment=False, verbose=False, save_txt=False, save_conf=False, save_json=True, project=runs/val, name=exp, exist_ok=False, half=True, dnn=False
YOLOv5 🚀 v6.0-224-g4c40933 torch 1.10.0+cu111 CUDA:0 (Tesla V100-SXM2-16GB, 16160MiB)

Fusing layers...
Model Summary: 444 layers, 86705005 parameters, 0 gradients
Pruning model...  0.3 global sparsity
val: Scanning '/content/datasets/coco/val2017.cache' images and labels... 4952 found, 48 missing, 0 empty, 0 corrupt: 100% 5000/5000 [00:00<?, ?it/s]
               Class     Images     Labels          P          R     mAP@.5 mAP@.5:.95: 100% 157/157 [01:11<00:00,  2.19it/s]
                 all       5000      36335      0.724      0.614      0.671      0.478
Speed: 0.1ms pre-process, 5.2ms inference, 1.7ms NMS per image at shape (32, 3, 640, 640)  # <--- prune speed

Evaluating pycocotools mAP... saving runs/val/exp3/yolov5x_predictions.json...
...
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.489  # <--- prune mAP
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.677
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.537
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.334
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.542
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.635
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.370
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.612
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.664
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.496
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.722
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.803
Results saved to runs/val/exp3

結果分析

結果から、以下が観察できます。

  • 30%のスパース性を達成: モデルの重みパラメータの30% nn.Conv2d レイヤーがゼロになった
  • 推論時間は変わらず: プルーニングにもかかわらず、処理速度は基本的に同じです
  • 最小限のパフォーマンスへの影響: mAPは0.507から0.489にわずかに低下しました(わずか3.6%の低下)。
  • モデルサイズ削減: 枝刈りされたモデルは、ストレージに必要なメモリが少なくなります

これは、枝刈りによってモデルの複雑さを大幅に軽減できることを示しており、パフォーマンスへの影響はわずかであるため、リソースが限られた環境での展開に効果的な最適化手法となります。

Prunedモデルのファインチューニング

最良の結果を得るには、精度を回復するために、枝刈り後にモデルを微調整する必要があります。これを行うには、以下を実行します。

  1. 目的のスパース性レベルで枝刈りを適用
  2. 低い学習率でプルーニングされたモデルを数エポックトレーニングする
  3. 微調整された枝刈りモデルをベースラインに対して評価

このプロセスは、削除された接続を補うために残りのパラメータを適応させるのに役立ち、多くの場合、元の精度をほぼ完全に回復させます。

サポートされている環境

Ultralyticsは、CUDACUDNNPythonPyTorchなどの必須依存関係がプリインストールされた、すぐに使用できるさまざまな環境を提供し、プロジェクトをすぐに開始できます。

プロジェクトのステータス

YOLOv5 CI

このバッジは、すべてのYOLOv5 GitHub Actions継続的インテグレーション(CI)テストが正常に合格していることを示します。これらのCIテストでは、トレーニング検証推論エクスポートベンチマークなど、さまざまな重要な側面についてYOLOv5の機能と性能を厳密にチェックします。これらのテストは、macOS、Windows、Ubuntuでの一貫した信頼性の高い動作を保証し、24時間ごと、および新しいコミットごとに行われます。



📅 1年前に作成 ✏️ 2か月前に更新

コメント