YOLOv5モデルアンサンブリング#
📚 このガイドでは、テストおよび推論時にUltralytics YOLOv5 🚀 モデルアンサンブリングを使用してmAPとリコールを向上させる方法を説明します。
アンサンブル学習より：
アンサンブルモデリングとは、複数の異なるモデリングアルゴリズムを使用するか、異なるトレーニングデータセットを使用して、結果を予測する複数の多様なモデルを作成するプロセスです。アンサンブルモデルは各ベースモデルの予測を集約し、未知のデータに対する最終的な予測を1つ生成します。アンサンブルモデルを使用する目的は、予測の汎化誤差を低減することです。ベースモデルが多様で独立している限り、アンサンブルアプローチを使用するとモデルの予測誤差は低下します。このアプローチでは、予測において群衆の英知を活用します。アンサンブルモデルには複数のベースモデルが含まれていますが、単一のモデルとして動作し、処理を実行します。
開始する前に#
リポジトリをクローンし、Python>=3.8.0環境にrequirements.txtをインストールします。これにはPyTorch>=1.8も含まれます。モデルとデータセットは、最新のYOLOv5 リリースから自動的にダウンロードされます。
git clone https://github.com/ultralytics/yolov5 # clone
cd yolov5
pip install -r requirements.txt # install通常のテスト#
アンサンブリングの前に、単一モデルのベースライン性能を確立します。このコマンドは、画像サイズ640ピクセルでCOCO val2017上のYOLOv5xをテストします。yolov5x.ptは、利用可能な中で最大かつ最も高精度なモデルです。その他のオプションとして、yolov5s.pt、yolov5m.pt、yolov5l.pt、またはカスタムデータセットのトレーニングで作成した独自のチェックポイント./weights/best.ptを使用できます。利用可能なすべてのモデルについては、事前トレーニング済みチェックポイントの表を参照してください。
python val.py --weights yolov5x.pt --data coco.yaml --img 640 --half出力:
val: data=./data/coco.yaml, weights=['yolov5x.pt'], batch_size=32, imgsz=640, conf_thres=0.001, iou_thres=0.65, task=val, device=, single_cls=False, augment=False, verbose=False, save_txt=False, save_conf=False, save_json=True, project=runs/val, name=exp, exist_ok=False, half=True
YOLOv5 🚀 v5.0-267-g6a3ee7c torch 1.9.0+cu102 CUDA:0 (Tesla P100-PCIE-16GB, 16280.875MB)
Fusing layers...
Model Summary: 476 layers, 87730285 parameters, 0 gradients
val: Scanning '../datasets/coco/val2017' images and labels...4952 found, 48 missing, 0 empty, 0 corrupted: 100% 5000/5000 [00:01<00:00, 2846.03it/s]
val: New cache created: ../datasets/coco/val2017.cache
Class Images Labels P R mAP@.5 mAP@.5:.95: 100% 157/157 [02:30<00:00, 1.05it/s]
all 5000 36335 0.746 0.626 0.68 0.49
Speed: 0.1ms pre-process, 22.4ms inference, 1.4ms NMS per image at shape (32, 3, 640, 640) # <--- baseline speed
Evaluating pycocotools mAP... saving runs/val/exp/yolov5x_predictions.json...
...
Average Precision (AP) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.504 # <--- baseline mAP
Average Precision (AP) @[ IoU=0.50 | area= all | maxDets=100 ] = 0.688
Average Precision (AP) @[ IoU=0.75 | area= all | maxDets=100 ] = 0.546
Average Precision (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.351
Average Precision (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.551
Average Precision (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.644
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 1 ] = 0.382
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 10 ] = 0.628
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.681 # <--- baseline mAR
Average Recall (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.524
Average Recall (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.735
Average Recall (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.826アンサンブルテスト#
既存のval.pyまたはdetect.pyコマンドで、--weights引数に追加のモデルを付け加えるだけで、テストおよび推論時に複数の事前トレーニング済みモデルを組み合わせられます。この例では、2つのモデルによるアンサンブルを同時にテストします。
- YOLOv5x
- YOLOv5l6
python val.py --weights yolov5x.pt yolov5l6.pt --data coco.yaml --img 640 --halfruns/train/exp5/weights/best.ptのようなカスタムウェイトを含め、必要な数のチェックポイントを指定できます。YOLOv5は各モデルを自動的に実行し、画像ごとに予測を整列させ、NMSを実行する前に出力を平均します。
出力:
val: data=./data/coco.yaml, weights=['yolov5x.pt', 'yolov5l6.pt'], batch_size=32, imgsz=640, conf_thres=0.001, iou_thres=0.6, task=val, device=, single_cls=False, augment=False, verbose=False, save_txt=False, save_conf=False, save_json=True, project=runs/val, name=exp, exist_ok=False, half=True
YOLOv5 🚀 v5.0-267-g6a3ee7c torch 1.9.0+cu102 CUDA:0 (Tesla P100-PCIE-16GB, 16280.875MB)
Fusing layers...
Model Summary: 476 layers, 87730285 parameters, 0 gradients # Model 1
Fusing layers...
Model Summary: 501 layers, 77218620 parameters, 0 gradients # Model 2
Ensemble created with ['yolov5x.pt', 'yolov5l6.pt'] # Ensemble notice
val: Scanning '../datasets/coco/val2017.cache' images and labels... 4952 found, 48 missing, 0 empty, 0 corrupted: 100% 5000/5000 [00:00<00:00, 49695545.02it/s]
Class Images Labels P R mAP@.5 mAP@.5:.95: 100% 157/157 [03:58<00:00, 1.52s/it]
all 5000 36335 0.747 0.637 0.692 0.502
Speed: 0.1ms pre-process, 39.5ms inference, 2.0ms NMS per image at shape (32, 3, 640, 640) # <--- ensemble speed
Evaluating pycocotools mAP... saving runs/val/exp3/yolov5x_predictions.json...
...
Average Precision (AP) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.515 # <--- ensemble mAP
Average Precision (AP) @[ IoU=0.50 | area= all | maxDets=100 ] = 0.699
Average Precision (AP) @[ IoU=0.75 | area= all | maxDets=100 ] = 0.557
Average Precision (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.356
Average Precision (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.563
Average Precision (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.668
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 1 ] = 0.387
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 10 ] = 0.638
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.689 # <--- ensemble mAR
Average Recall (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.526
Average Recall (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.743
Average Recall (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.844アンサンブル推論#
アンサンブル推論を実行するには、--weights引数に追加のモデルを付け加えます。
python detect.py --weights yolov5x.pt yolov5l6.pt --img 640 --source data/images出力:
YOLOv5 🚀 v5.0-267-g6a3ee7c torch 1.9.0+cu102 CUDA:0 (Tesla P100-PCIE-16GB, 16280.875MB)
Fusing layers...
Model Summary: 476 layers, 87730285 parameters, 0 gradients
Fusing layers...
Model Summary: 501 layers, 77218620 parameters, 0 gradients
Ensemble created with ['yolov5x.pt', 'yolov5l6.pt']
image 1/2 /content/yolov5/data/images/bus.jpg: 640x512 4 persons, 1 bus, 1 tie, Done. (0.063s)
image 2/2 /content/yolov5/data/images/zidane.jpg: 384x640 3 persons, 2 ties, Done. (0.056s)
Results saved to runs/detect/exp2
Done. (0.223s)
モデルアンサンブリングのメリット#
YOLOv5によるモデルアンサンブリングには、いくつかの利点があります。
- 精度の向上：上記の例で示したように、複数のモデルをアンサンブリングすると、mAPは0.504から0.515に、mARは0.681から0.689に向上します。
- 汎化性能の向上：多様なモデルを組み合わせることで、過学習を低減し、さまざまなデータに対する性能を向上させます。
- 堅牢性の向上：アンサンブルは通常、データ内のノイズや外れ値に対してより堅牢です。
- 相補的な強み：異なるモデルは、異なる種類の物体の検出や、異なる環境条件での検出において、それぞれ優れた性能を発揮する可能性があります。
主なトレードオフは推論時間の増加です。速度メトリクスに示されているように、単一モデルでは22.4msであるのに対し、アンサンブルでは39.5msかかります。
モデルアンサンブリングを使用するタイミング#
次のようなシナリオでは、モデルアンサンブリングの使用を検討してください。
- 推論速度よりも精度が重要な場合
- 偽陰性を最小限に抑える必要がある重要なアプリケーションの場合
- 照明、オクルージョン、スケールがさまざまな、処理が難しい画像を扱う場合
- 最大限の性能が求められるコンペティションやベンチマークの場合
厳格なレイテンシ要件があるリアルタイムアプリケーションでは、単一モデルによる推論の方が適している場合があります。
サポート対象の環境#
Ultralyticsは、プロジェクトをすぐに開始できるよう、CUDA、CUDNN、Python、PyTorchなどの主要な依存関係があらかじめインストールされた、すぐに使用できるさまざまな環境を提供しています。
- 無料のGPUノートブック:
- Google Cloud: GCPクイックスタートガイド
- Amazon: AWSクイックスタートガイド
- Azure: AzureMLクイックスタートガイド
- Docker: Docker クイックスタートガイド
プロジェクトのステータス#
このバッジは、すべてのYOLOv5 GitHub Actions継続的インテグレーション（CI）テストに正常に合格していることを示します。これらのCIテストでは、トレーニング、検証、推論、エクスポート、ベンチマークなど、さまざまな主要領域におけるYOLOv5の機能とパフォーマンスを厳密に確認します。24時間ごとおよび新しいコミットごとにテストを実施し、macOS、Windows、Ubuntuで一貫した信頼性の高い動作を保証します。