Tập hợp mô hình YOLOv5
📚 Hướng dẫn này giải thích cách sử dụng tập hợp mô hình Ultralytics YOLOv5 🚀 trong quá trình kiểm thử và suy luận để cải thiện mAP và Recall.
Từ học tập tập hợp:
Mô hình kết hợp là một quy trình tạo ra nhiều mô hình đa dạng để dự đoán một kết quả, bằng cách sử dụng nhiều thuật toán mô hình hóa khác nhau hoặc sử dụng các tập dữ liệu huấn luyện khác nhau. Mô hình kết hợp sau đó tổng hợp dự đoán của từng mô hình cơ sở và cho ra một dự đoán cuối cùng cho dữ liệu chưa thấy. Động lực để sử dụng các mô hình kết hợp là giảm lỗi tổng quát hóa của dự đoán. Miễn là các mô hình cơ sở đa dạng và độc lập, lỗi dự đoán của mô hình sẽ giảm khi sử dụng phương pháp kết hợp. Phương pháp này tìm kiếm sự thông thái của đám đông trong việc đưa ra dự đoán. Mặc dù mô hình kết hợp có nhiều mô hình cơ sở bên trong, nhưng nó hoạt động và thực hiện như một mô hình duy nhất.
Trước Khi Bắt Đầu
Sao chép kho lưu trữ và cài đặt requirements.txt trong môi trường Python>=3.8.0, bao gồm PyTorch>=1.8. Mô hình và bộ dữ liệu được tải xuống tự động từ phiên bản phát hành YOLOv5 mới nhất.
git clone https://github.com/ultralytics/yolov5 # clone
cd yolov5
pip install -r requirements.txt # install
Kiểm tra bình thường
Trước khi kết hợp, hãy thiết lập hiệu suất cơ bản của một mô hình duy nhất. Lệnh này kiểm tra YOLOv5x trên COCO val2017 ở kích thước ảnh 640 pixel. yolov5x.pt
là mô hình lớn nhất và chính xác nhất hiện có. Các tùy chọn khác là yolov5s.pt
, yolov5m.pt
và yolov5l.pt
, hoặc checkpoint của riêng bạn từ việc huấn luyện một bộ dữ liệu tùy chỉnh ./weights/best.pt
. Để biết chi tiết về tất cả các mô hình có sẵn, hãy xem Bảng checkpoint đã được huấn luyện trước.
python val.py --weights yolov5x.pt --data coco.yaml --img 640 --half
Đầu ra:
val: data=./data/coco.yaml, weights=['yolov5x.pt'], batch_size=32, imgsz=640, conf_thres=0.001, iou_thres=0.65, task=val, device=, single_cls=False, augment=False, verbose=False, save_txt=False, save_conf=False, save_json=True, project=runs/val, name=exp, exist_ok=False, half=True
YOLOv5 🚀 v5.0-267-g6a3ee7c torch 1.9.0+cu102 CUDA:0 (Tesla P100-PCIE-16GB, 16280.875MB)
Fusing layers...
Model Summary: 476 layers, 87730285 parameters, 0 gradients
val: Scanning '../datasets/coco/val2017' images and labels...4952 found, 48 missing, 0 empty, 0 corrupted: 100% 5000/5000 [00:01<00:00, 2846.03it/s]
val: New cache created: ../datasets/coco/val2017.cache
Class Images Labels P R mAP@.5 mAP@.5:.95: 100% 157/157 [02:30<00:00, 1.05it/s]
all 5000 36335 0.746 0.626 0.68 0.49
Speed: 0.1ms pre-process, 22.4ms inference, 1.4ms NMS per image at shape (32, 3, 640, 640) # <--- baseline speed
Evaluating pycocotools mAP... saving runs/val/exp/yolov5x_predictions.json...
...
Average Precision (AP) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.504 # <--- baseline mAP
Average Precision (AP) @[ IoU=0.50 | area= all | maxDets=100 ] = 0.688
Average Precision (AP) @[ IoU=0.75 | area= all | maxDets=100 ] = 0.546
Average Precision (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.351
Average Precision (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.551
Average Precision (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.644
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 1 ] = 0.382
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 10 ] = 0.628
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.681 # <--- baseline mAR
Average Recall (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.524
Average Recall (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.735
Average Recall (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.826
Kiểm thử kết hợp (Ensemble Test)
Nhiều mô hình được huấn luyện trước có thể được kết hợp với nhau tại thời điểm kiểm tra và suy luận bằng cách chỉ cần thêm các mô hình bổ sung vào --weights
đối số trong bất kỳ lệnh val.py hoặc detect.py hiện có nào. Ví dụ này kiểm tra một tập hợp gồm 2 mô hình với nhau:
- YOLOv5x
- YOLOv5l6
python val.py --weights yolov5x.pt yolov5l6.pt --data coco.yaml --img 640 --half
Đầu ra:
val: data=./data/coco.yaml, weights=['yolov5x.pt', 'yolov5l6.pt'], batch_size=32, imgsz=640, conf_thres=0.001, iou_thres=0.6, task=val, device=, single_cls=False, augment=False, verbose=False, save_txt=False, save_conf=False, save_json=True, project=runs/val, name=exp, exist_ok=False, half=True
YOLOv5 🚀 v5.0-267-g6a3ee7c torch 1.9.0+cu102 CUDA:0 (Tesla P100-PCIE-16GB, 16280.875MB)
Fusing layers...
Model Summary: 476 layers, 87730285 parameters, 0 gradients # Model 1
Fusing layers...
Model Summary: 501 layers, 77218620 parameters, 0 gradients # Model 2
Ensemble created with ['yolov5x.pt', 'yolov5l6.pt'] # Ensemble notice
val: Scanning '../datasets/coco/val2017.cache' images and labels... 4952 found, 48 missing, 0 empty, 0 corrupted: 100% 5000/5000 [00:00<00:00, 49695545.02it/s]
Class Images Labels P R mAP@.5 mAP@.5:.95: 100% 157/157 [03:58<00:00, 1.52s/it]
all 5000 36335 0.747 0.637 0.692 0.502
Speed: 0.1ms pre-process, 39.5ms inference, 2.0ms NMS per image at shape (32, 3, 640, 640) # <--- ensemble speed
Evaluating pycocotools mAP... saving runs/val/exp3/yolov5x_predictions.json...
...
Average Precision (AP) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.515 # <--- ensemble mAP
Average Precision (AP) @[ IoU=0.50 | area= all | maxDets=100 ] = 0.699
Average Precision (AP) @[ IoU=0.75 | area= all | maxDets=100 ] = 0.557
Average Precision (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.356
Average Precision (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.563
Average Precision (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.668
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 1 ] = 0.387
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 10 ] = 0.638
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.689 # <--- ensemble mAR
Average Recall (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.526
Average Recall (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.743
Average Recall (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.844
Suy luận kết hợp (Ensemble Inference)
Nối thêm các mô hình vào --weights
đối số để chạy suy luận tập hợp:
python detect.py --weights yolov5x.pt yolov5l6.pt --img 640 --source data/images
Đầu ra:
YOLOv5 🚀 v5.0-267-g6a3ee7c torch 1.9.0+cu102 CUDA:0 (Tesla P100-PCIE-16GB, 16280.875MB)
Fusing layers...
Model Summary: 476 layers, 87730285 parameters, 0 gradients
Fusing layers...
Model Summary: 501 layers, 77218620 parameters, 0 gradients
Ensemble created with ['yolov5x.pt', 'yolov5l6.pt']
image 1/2 /content/yolov5/data/images/bus.jpg: 640x512 4 persons, 1 bus, 1 tie, Done. (0.063s)
image 2/2 /content/yolov5/data/images/zidane.jpg: 384x640 3 persons, 2 ties, Done. (0.056s)
Results saved to runs/detect/exp2
Done. (0.223s)
Lợi ích của việc kết hợp mô hình
Kết hợp mô hình với YOLOv5 mang lại một số lợi thế:
- Cải thiện độ chính xác: Như đã chứng minh trong các ví dụ trên, việc kết hợp nhiều mô hình làm tăng mAP từ 0,504 lên 0,515 và mAR từ 0,681 lên 0,689.
- Khả năng tổng quát hóa tốt hơn: Kết hợp các mô hình đa dạng giúp giảm tình trạng overfitting và cải thiện hiệu suất trên nhiều loại dữ liệu khác nhau.
- Tăng cường độ mạnh mẽ: Các tập hợp thường mạnh mẽ hơn đối với nhiễu và các giá trị ngoại lệ trong dữ liệu.
- Điểm mạnh bổ sung: Các mô hình khác nhau có thể vượt trội trong việc phát hiện các loại đối tượng khác nhau hoặc trong các điều kiện môi trường khác nhau.
Sự đánh đổi chính là thời gian suy luận tăng lên, như được hiển thị trong các số liệu về tốc độ (22,4ms cho mô hình đơn so với 39,5ms cho tập hợp).
Khi nào nên sử dụng Mô hình Ensembling
Cân nhắc sử dụng ensembling mô hình trong các trường hợp sau:
- Khi độ chính xác quan trọng hơn tốc độ suy luận
- Đối với các ứng dụng quan trọng, nơi phải giảm thiểu các kết quả âm tính giả
- Khi xử lý hình ảnh phức tạp với ánh sáng, độ che khuất hoặc tỷ lệ khác nhau
- Trong các cuộc thi hoặc điểm chuẩn, nơi yêu cầu hiệu suất tối đa
Đối với các ứng dụng thời gian thực có yêu cầu nghiêm ngặt về độ trễ, suy luận mô hình đơn có thể phù hợp hơn.
Môi trường được hỗ trợ
Ultralytics cung cấp một loạt các môi trường sẵn sàng sử dụng, mỗi môi trường được cài đặt sẵn các phần phụ thuộc thiết yếu như CUDA, CUDNN, Python và PyTorch, để khởi động các dự án của bạn.
- Sổ tay GPU miễn phí:
- Google Cloud: Hướng dẫn Bắt đầu Nhanh GCP
- Amazon: Hướng dẫn Bắt đầu Nhanh AWS
- Azure: Hướng dẫn Bắt đầu Nhanh AzureML
- Docker: Hướng dẫn Bắt đầu Nhanh Docker
Trạng thái dự án
Huy hiệu này cho biết rằng tất cả các thử nghiệm Tích hợp Liên tục (CI) YOLOv5 GitHub Actions đều vượt qua thành công. Các thử nghiệm CI này kiểm tra nghiêm ngặt chức năng và hiệu suất của YOLOv5 trên nhiều khía cạnh chính: huấn luyện, xác thực, suy luận, xuất và điểm chuẩn. Chúng đảm bảo hoạt động nhất quán và đáng tin cậy trên macOS, Windows và Ubuntu, với các thử nghiệm được thực hiện sau mỗi 24 giờ và sau mỗi cam kết mới.