YOLOv5におけるモデルプルーニングとスパース性#
📚 このガイドでは、プルーニングをYOLOv5 🚀モデルに適用し、性能を維持しながらより効率的なネットワークを作成する方法を説明します。
モデルプルーニングとは？#
モデルプルーニングは、重要度の低いパラメーター（重みと接続）を削除してニューラルネットワークのサイズと複雑さを低減する技術です。このプロセスにより、次のような利点を持つ、より効率的なモデルを作成できます。
- リソースに制約のあるデバイスへのデプロイを容易にするモデルサイズの縮小
- 精度への影響を最小限に抑えた推論速度の向上
- メモリ使用量とエネルギー消費量の削減
- リアルタイムアプリケーションにおける全体的な効率の向上
プルーニングは、モデルの性能への寄与が小さいパラメーターを特定して削除することで機能し、同等の精度を持つ、より軽量なモデルを実現します。
開始する前に#
リポジトリをクローンし、Python>=3.8.0環境にrequirements.txtをインストールします。これにはPyTorch>=1.8も含まれます。モデルとデータセットは、最新のYOLOv5 リリースから自動的にダウンロードされます。
git clone https://github.com/ultralytics/yolov5 # clone
cd yolov5
pip install -r requirements.txt # installベースライン性能のテスト#
プルーニングの前に、比較対象となるベースライン性能を確立します。このコマンドは、画像サイズ640ピクセルでCOCO val2017に対してYOLOv5xをテストします。yolov5x.ptは、利用可能なモデルの中で最大かつ最も高精度なモデルです。その他の選択肢として、yolov5s.pt、yolov5m.pt、yolov5l.pt、またはカスタムデータセットのトレーニングで作成した独自のチェックポイント./weights/best.ptを使用できます。利用可能なすべてのモデルの詳細については、READMEの表を参照してください。
python val.py --weights yolov5x.pt --data coco.yaml --img 640 --half出力:
val: data=/content/yolov5/data/coco.yaml, weights=['yolov5x.pt'], batch_size=32, imgsz=640, conf_thres=0.001, iou_thres=0.65, task=val, device=, workers=8, single_cls=False, augment=False, verbose=False, save_txt=False, save_conf=False, save_json=True, project=runs/val, name=exp, exist_ok=False, half=True, dnn=False
YOLOv5 🚀 v6.0-224-g4c40933 torch 1.10.0+cu111 CUDA:0 (Tesla V100-SXM2-16GB, 16160MiB)
Fusing layers...
Model Summary: 444 layers, 86705005 parameters, 0 gradients
val: Scanning '/content/datasets/coco/val2017.cache' images and labels... 4952 found, 48 missing, 0 empty, 0 corrupt: 100% 5000/5000 [00:00<?, ?it/s]
Class Images Labels P R mAP@.5 mAP@.5:.95: 100% 157/157 [01:12<00:00, 2.16it/s]
all 5000 36335 0.732 0.628 0.683 0.496
Speed: 0.1ms pre-process, 5.2ms inference, 1.7ms NMS per image at shape (32, 3, 640, 640) # <--- base speed
Evaluating pycocotools mAP... saving runs/val/exp2/yolov5x_predictions.json...
...
Average Precision (AP) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.507 # <--- base mAP
Average Precision (AP) @[ IoU=0.50 | area= all | maxDets=100 ] = 0.689
Average Precision (AP) @[ IoU=0.75 | area= all | maxDets=100 ] = 0.552
Average Precision (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.345
Average Precision (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.559
Average Precision (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.652
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 1 ] = 0.381
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 10 ] = 0.630
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.682
Average Recall (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.526
Average Recall (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.731
Average Recall (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.829
Results saved to runs/val/exp2YOLOv5xにプルーニングを適用（スパース性30%）#
utils/torch_utils.pyで定義されているtorch_utils.prune()コマンドを使用して、モデルにプルーニングを適用できます。プルーニング済みモデルをテストするには、val.pyを更新して、YOLOv5xをスパース性0.3（重みの30%をゼロに設定）にプルーニングします。
30%プルーニング済みの出力：
val: data=/content/yolov5/data/coco.yaml, weights=['yolov5x.pt'], batch_size=32, imgsz=640, conf_thres=0.001, iou_thres=0.65, task=val, device=, workers=8, single_cls=False, augment=False, verbose=False, save_txt=False, save_conf=False, save_json=True, project=runs/val, name=exp, exist_ok=False, half=True, dnn=False
YOLOv5 🚀 v6.0-224-g4c40933 torch 1.10.0+cu111 CUDA:0 (Tesla V100-SXM2-16GB, 16160MiB)
Fusing layers...
Model Summary: 444 layers, 86705005 parameters, 0 gradients
Pruning model... 0.3 global sparsity
val: Scanning '/content/datasets/coco/val2017.cache' images and labels... 4952 found, 48 missing, 0 empty, 0 corrupt: 100% 5000/5000 [00:00<?, ?it/s]
Class Images Labels P R mAP@.5 mAP@.5:.95: 100% 157/157 [01:11<00:00, 2.19it/s]
all 5000 36335 0.724 0.614 0.671 0.478
Speed: 0.1ms pre-process, 5.2ms inference, 1.7ms NMS per image at shape (32, 3, 640, 640) # <--- prune speed
Evaluating pycocotools mAP... saving runs/val/exp3/yolov5x_predictions.json...
...
Average Precision (AP) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.489 # <--- prune mAP
Average Precision (AP) @[ IoU=0.50 | area= all | maxDets=100 ] = 0.677
Average Precision (AP) @[ IoU=0.75 | area= all | maxDets=100 ] = 0.537
Average Precision (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.334
Average Precision (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.542
Average Precision (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.635
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 1 ] = 0.370
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 10 ] = 0.612
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.664
Average Recall (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.496
Average Recall (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.722
Average Recall (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.803
Results saved to runs/val/exp3結果の分析#
結果から、次のことが確認できます。
- スパース性30%を達成：
nn.Conv2dのレイヤーにおけるモデルの重みパラメーターの30%がゼロになっています - 推論時間は変わらない：プルーニングを行っても、処理速度は実質的に同じです
- 性能への影響は最小限：mAPは0.507から0.489へわずかに低下しました（低下率はわずか3.6%です）
- モデルサイズの縮小：プルーニング済みモデルは、保存に必要なメモリが少なくなります
これは、プルーニングによって性能への影響をわずかに抑えながらモデルの複雑さを大幅に低減できることを示しており、リソースに制約のある環境へのデプロイに有効な最適化手法となります。
プルーニング済みモデルのファインチューニング#
最良の結果を得るには、精度を回復させるため、プルーニング後にプルーニング済みモデルをファインチューニングする必要があります。これには次の方法があります。
- 希望するスパース性レベルでプルーニングを適用する
- より低い学習率で、プルーニング済みモデルを数エポックトレーニングする
- ファインチューニングしたプルーニング済みモデルをベースラインと比較して評価する
このプロセスにより、残りのパラメーターが削除された接続を補うように適応し、元の精度の大部分またはすべてを回復できることがよくあります。
サポート対象の環境#
Ultralyticsは、プロジェクトをすぐに開始できるよう、CUDA、CUDNN、Python、PyTorchなどの主要な依存関係があらかじめインストールされた、すぐに使用できるさまざまな環境を提供しています。
- 無料のGPUノートブック:
- Google Cloud: GCPクイックスタートガイド
- Amazon: AWSクイックスタートガイド
- Azure: AzureMLクイックスタートガイド
- Docker: Docker クイックスタートガイド
プロジェクトのステータス#
このバッジは、すべてのYOLOv5 GitHub Actions継続的インテグレーション（CI）テストに正常に合格していることを示します。これらのCIテストでは、トレーニング、検証、推論、エクスポート、ベンチマークなど、さまざまな主要領域におけるYOLOv5の機能とパフォーマンスを厳密に確認します。24時間ごとおよび新しいコミットごとにテストを実施し、macOS、Windows、Ubuntuで一貫した信頼性の高い動作を保証します。