YOLOv5におけるモデルのプルーニングとスパース性#
📚 本ガイドでは、YOLOv5 🚀モデルにプルーニングを適用し、パフォーマンスを維持しながらより効率的なネットワークを作成する方法を解説します。
モデルのプルーニングとは？#
モデルプルーニングは、重要度の低いパラメータ（重みと接続）を削除することでニューラルネットワークのサイズと複雑さを軽減するために使用されるテクニックです。このプロセスにより、いくつかの利点を持つ、より効率的なモデルが作成されます。
- リソースが制限されたデバイスへのデプロイを容易にするためのモデルサイズの縮小
- 精度への影響を最小限に抑えつつ、推論速度を高速化
- メモリ使用量とエネルギー消費の削減
- リアルタイムアプリケーションにおける全体的な効率の向上
プルーニングは、モデルのパフォーマンスにほとんど寄与しないパラメータを特定して削除することで、同等の精度を維持しつつ軽量なモデルを実現します。
始める前に#
リポジトリをクローンし、Python>=3.8.0 環境で requirements.txt をインストールします（PyTorch>=1.8 を含みます）。モデルとデータセットは、最新の YOLOv5 リリースから自動的にダウンロードされます。
git clone https://github.com/ultralytics/yolov5 # clone
cd yolov5
pip install -r requirements.txt # installベースラインパフォーマンスのテスト#
プルーニングを行う前に、比較の基準となるベースラインパフォーマンスを確立します。このコマンドは、画像サイズ640ピクセルでCOCO val2017上でYOLOv5xをテストします。yolov5x.ptは、利用可能な中で最大かつ最も精度の高いモデルです。その他のオプションには、yolov5s.pt、yolov5m.pt、yolov5l.pt、またはカスタムデータセットのトレーニングによる独自のチェックポイント./weights/best.ptがあります。利用可能なすべてのモデルの詳細については、READMEのテーブルをご覧ください。
python val.py --weights yolov5x.pt --data coco.yaml --img 640 --half出力：
val: data=/content/yolov5/data/coco.yaml, weights=['yolov5x.pt'], batch_size=32, imgsz=640, conf_thres=0.001, iou_thres=0.65, task=val, device=, workers=8, single_cls=False, augment=False, verbose=False, save_txt=False, save_conf=False, save_json=True, project=runs/val, name=exp, exist_ok=False, half=True, dnn=False
YOLOv5 🚀 v6.0-224-g4c40933 torch 1.10.0+cu111 CUDA:0 (Tesla V100-SXM2-16GB, 16160MiB)
Fusing layers...
Model Summary: 444 layers, 86705005 parameters, 0 gradients
val: Scanning '/content/datasets/coco/val2017.cache' images and labels... 4952 found, 48 missing, 0 empty, 0 corrupt: 100% 5000/5000 [00:00<?, ?it/s]
Class Images Labels P R mAP@.5 mAP@.5:.95: 100% 157/157 [01:12<00:00, 2.16it/s]
all 5000 36335 0.732 0.628 0.683 0.496
Speed: 0.1ms pre-process, 5.2ms inference, 1.7ms NMS per image at shape (32, 3, 640, 640) # <--- base speed
Evaluating pycocotools mAP... saving runs/val/exp-2/yolov5x_predictions.json...
...
Average Precision (AP) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.507 # <--- base mAP
Average Precision (AP) @[ IoU=0.50 | area= all | maxDets=100 ] = 0.689
Average Precision (AP) @[ IoU=0.75 | area= all | maxDets=100 ] = 0.552
Average Precision (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.345
Average Precision (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.559
Average Precision (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.652
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 1 ] = 0.381
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 10 ] = 0.630
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.682
Average Recall (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.526
Average Recall (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.731
Average Recall (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.829
Results saved to runs/val/expYOLOv5xへのプルーニングの適用（スパース性30%）#
utils/torch_utils.pyで定義されたtorch_utils.prune()コマンドを使用して、モデルにプルーニングを適用できます。プルーニングされたモデルをテストするには、val.pyを更新してYOLOv5xを0.3のスパース性（重みの30%をゼロに設定）にプルーニングします。
30%プルーニングされた出力結果：
val: data=/content/yolov5/data/coco.yaml, weights=['yolov5x.pt'], batch_size=32, imgsz=640, conf_thres=0.001, iou_thres=0.65, task=val, device=, workers=8, single_cls=False, augment=False, verbose=False, save_txt=False, save_conf=False, save_json=True, project=runs/val, name=exp, exist_ok=False, half=True, dnn=False
YOLOv5 🚀 v6.0-224-g4c40933 torch 1.10.0+cu111 CUDA:0 (Tesla V100-SXM2-16GB, 16160MiB)
Fusing layers...
Model Summary: 444 layers, 86705005 parameters, 0 gradients
Pruning model... 0.3 global sparsity
val: Scanning '/content/datasets/coco/val2017.cache' images and labels... 4952 found, 48 missing, 0 empty, 0 corrupt: 100% 5000/5000 [00:00<?, ?it/s]
Class Images Labels P R mAP@.5 mAP@.5:.95: 100% 157/157 [01:11<00:00, 2.19it/s]
all 5000 36335 0.724 0.614 0.671 0.478
Speed: 0.1ms pre-process, 5.2ms inference, 1.7ms NMS per image at shape (32, 3, 640, 640) # <--- prune speed
Evaluating pycocotools mAP... saving runs/val/exp-3/yolov5x_predictions.json...
...
Average Precision (AP) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.489 # <--- prune mAP
Average Precision (AP) @[ IoU=0.50 | area= all | maxDets=100 ] = 0.677
Average Precision (AP) @[ IoU=0.75 | area= all | maxDets=100 ] = 0.537
Average Precision (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.334
Average Precision (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.542
Average Precision (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.635
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 1 ] = 0.370
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 10 ] = 0.612
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.664
Average Recall (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.496
Average Recall (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.722
Average Recall (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.803
Results saved to runs/val/exp-3結果の分析#
結果から以下のことが観察できます：
- 30%のスパース性を達成:
nn.Conv2dレイヤー内のモデルの重みパラメータの30%がゼロになりました - 推論時間は変更なし：プルーニングを行っても、処理速度は本質的に変わりません
- パフォーマンスへの影響は最小限：mAPが0.507から0.489へわずかに低下しました（削減率はわずか3.6%です）
- モデルサイズの削減：プルーニングされたモデルは、ストレージに必要なメモリ容量が少なくなります
これは、プルーニングによってパフォーマンスへの影響を抑えながらモデルの複雑さを大幅に削減できることを示しており、リソースが制限された環境へのデプロイにおける効果的な最適化手法となります。
プルーニングされたモデルのファインチューニング#
最良の結果を得るには、精度を回復させるためにプルーニング後にモデルをファインチューニングする必要があります。これは以下の手順で行えます：
- 希望するスパース性レベルでプルーニングを適用する
- より低い学習率を使用して、プルーニングされたモデルを数エポック分学習させる
- ファインチューニングされたプルーニングモデルをベースラインと比較評価する
このプロセスにより、残りのパラメータが削除された接続を補うように適応し、多くの場合、元の精度のほとんどまたはすべてを回復させることができます。
サポートされている環境#
Ultralytics は、プロジェクトを迅速に開始できるように、CUDA、CUDNN、Python、PyTorch などの必須依存関係が事前にインストールされた、すぐに使用できるさまざまな環境を提供しています。
- 無料GPUノートブック:
- Google Cloud: GCPクイックスタートガイド
- Amazon: AWS Quickstart Guide
- Azure: AzureML Quickstart Guide
- Docker: Dockerクイックスタートガイド
プロジェクトの状態#
このバッジは、すべての YOLOv5 GitHub Actions 継続的インテグレーション（CI）テストが正常に合格していることを示しています。これらの CI テストは、学習、検証、推論、エクスポート、ベンチマークの主要な側面全体で、YOLOv5 の機能とパフォーマンスを厳格にチェックします。これらは、24 時間ごとおよび新しいコミットごとにテストが実施され、macOS、Windows、Ubuntu での一貫した信頼性の高い動作を保証します。