Tiến hóa siêu tham số cho YOLOv5
📚 Hướng dẫn này giải thích về tiến hóa siêu tham số (hyperparameter evolution) cho YOLOv5 🚀. Tiến hóa siêu tham số là một phương pháp Tối ưu hóa siêu tham số sử dụng Thuật toán di truyền (GA) để tối ưu hóa.
Các siêu tham số trong học máy kiểm soát các khía cạnh khác nhau của quá trình huấn luyện, và việc tìm ra các giá trị tối ưu cho chúng có thể là một thách thức. Các phương pháp truyền thống như grid search có thể nhanh chóng trở nên không khả thi do:
- Không gian tìm kiếm có số chiều cao
- Các tương quan chưa biết giữa các chiều
- Tính chất tốn kém của việc đánh giá độ phù hợp (fitness) tại mỗi điểm
Điều này làm cho các thuật toán di truyền trở thành một ứng cử viên phù hợp cho các tìm kiếm siêu tham số.
Trước khi Bạn Bắt đầu
Sao chép repo và cài đặt requirements.txt trong môi trường Python>=3.8.0, bao gồm PyTorch>=1.8. Models và datasets sẽ tự động tải xuống từ bản YOLOv5 release mới nhất.
git clone https://github.com/ultralytics/yolov5 # clone
cd yolov5
pip install -r requirements.txt # install1. Khởi tạo siêu tham số
YOLOv5 có khoảng 30 siêu tham số được sử dụng cho các thiết lập huấn luyện khác nhau. Các tham số này được định nghĩa trong các tệp *.yaml trong thư mục /data/hyps. Những dự đoán khởi đầu tốt hơn sẽ tạo ra kết quả cuối cùng tốt hơn, vì vậy điều quan trọng là phải khởi tạo các giá trị này một cách hợp lý trước khi tiến hành tiến hóa. Nếu không chắc chắn, chỉ cần sử dụng các giá trị mặc định, vốn đã được tối ưu hóa cho việc huấn luyện YOLOv5 trên tập dữ liệu COCO từ đầu.
# YOLOv5 🚀 by Ultralytics, AGPL-3.0 license
# Hyperparameters for low-augmentation COCO training from scratch
# python train.py --batch 64 --cfg yolov5n6.yaml --weights '' --data coco.yaml --img 640 --epochs 300 --linear
# See tutorials for hyperparameter evolution https://github.com/ultralytics/yolov5#tutorials
lr0: 0.01 # initial learning rate (SGD=1E-2, Adam=1E-3)
lrf: 0.01 # final OneCycleLR learning rate (lr0 * lrf)
momentum: 0.937 # SGD momentum/Adam beta1
weight_decay: 0.0005 # optimizer weight decay 5e-4
warmup_epochs: 3.0 # warmup epochs (fractions ok)
warmup_momentum: 0.8 # warmup initial momentum
warmup_bias_lr: 0.1 # warmup initial bias lr
box: 0.05 # box loss gain
cls: 0.5 # cls loss gain
cls_pw: 1.0 # cls BCELoss positive_weight
obj: 1.0 # obj loss gain (scale with pixels)
obj_pw: 1.0 # obj BCELoss positive_weight
iou_t: 0.20 # IoU training threshold
anchor_t: 4.0 # anchor-multiple threshold
# anchors: 3 # anchors per output layer (0 to ignore)
fl_gamma: 0.0 # focal loss gamma (efficientDet default gamma=1.5)
hsv_h: 0.015 # image HSV-Hue augmentation (fraction)
hsv_s: 0.7 # image HSV-Saturation augmentation (fraction)
hsv_v: 0.4 # image HSV-Value augmentation (fraction)
degrees: 0.0 # image rotation (+/- deg)
translate: 0.1 # image translation (+/- fraction)
scale: 0.5 # image scale (+/- gain)
shear: 0.0 # image shear (+/- deg)
perspective: 0.0 # image perspective (+/- fraction), range 0-0.001
flipud: 0.0 # image flip up-down (probability)
fliplr: 0.5 # image flip left-right (probability)
mosaic: 1.0 # image mosaic (probability)
mixup: 0.0 # image mixup (probability)
copy_paste: 0.0 # segment copy-paste (probability)2. Xác định độ phù hợp (Fitness)
Fitness là giá trị mà chúng ta muốn tối đa hóa. Trong YOLOv5, chúng ta xác định hàm fitness mặc định là một sự kết hợp có trọng số của các chỉ số: mAP@0.5 đóng góp 10% trọng số và mAP@0.5:0.95 đóng góp 90% còn lại, với precision (P) và recall (R) không được tính đến. Bạn có thể điều chỉnh các giá trị này tùy ý hoặc sử dụng định nghĩa fitness mặc định trong utils/metrics.py (được khuyến nghị).
def fitness(x):
"""Return model fitness as the sum of weighted metrics [P, R, mAP@0.5, mAP@0.5:0.95]."""
w = [0.0, 0.0, 0.1, 0.9] # weights for [P, R, mAP@0.5, mAP@0.5:0.95]
return (x[:, :4] * w).sum(1)3. Tiến hóa
Quá trình tiến hóa được thực hiện dựa trên một kịch bản cơ sở mà chúng ta muốn cải thiện. Kịch bản cơ sở trong ví dụ này là fine-tuning COCO128 trong 10 epochs sử dụng YOLOv5s được huấn luyện trước. Lệnh huấn luyện cho kịch bản cơ sở là:
python train.py --epochs 10 --data coco128.yaml --weights yolov5s.pt --cacheĐể tiến hóa các siêu tham số đặc thù cho kịch bản này, bắt đầu từ các giá trị khởi tạo được định nghĩa trong Phần 1., và tối đa hóa độ phù hợp được định nghĩa trong Phần 2., hãy thêm --evolve:
# Single-GPU
python train.py --epochs 10 --data coco128.yaml --weights yolov5s.pt --cache --evolve
# Multi-GPU with delay
for i in {0..7}; do
sleep $((30 * i)) # 30-second delay (optional)
echo "Starting GPU $i..."
nohup python train.py --epochs 10 --data coco128.yaml --weights yolov5s.pt --cache --device $i --evolve > "evolve_gpu_$i.log" &
done
# Continuous training (use with caution)
# for i in {0..7}; do
# sleep $((30 * i)) # 30-second delay (optional)
# echo "Starting continuous training on GPU $i..."
# (
# while true; do
# python train.py --epochs 10 --data coco128.yaml --weights yolov5s.pt --cache --device $i --evolve > "evolve_gpu_$i.log"
# done
# ) &
# doneCác thiết lập tiến hóa mặc định sẽ chạy kịch bản cơ sở 300 lần, nghĩa là qua 300 thế hệ. Bạn có thể sửa đổi số thế hệ thông qua đối số --evolve, ví dụ: python train.py --evolve 1000.
Các toán tử di truyền chính là lai ghép (crossover) và đột biến (mutation). Trong công việc này, đột biến được sử dụng, với xác suất 80% và phương sai 0.04 để tạo ra thế hệ con mới dựa trên sự kết hợp của các thế hệ cha mẹ tốt nhất từ tất cả các thế hệ trước đó. Kết quả được ghi lại vào runs/evolve/exp/evolve.csv, và thế hệ con có độ phù hợp cao nhất được lưu lại sau mỗi thế hệ dưới dạng runs/evolve/hyp_evolved.yaml:
# YOLOv5 Hyperparameter Evolution Results
# Best generation: 287
# Last generation: 300
# metrics/precision, metrics/recall, metrics/mAP_0.5, metrics/mAP_0.5:0.95, val/box_loss, val/obj_loss, val/cls_loss
# 0.54634, 0.55625, 0.58201, 0.33665, 0.056451, 0.042892, 0.013441
lr0: 0.01 # initial learning rate (SGD=1E-2, Adam=1E-3)
lrf: 0.2 # final OneCycleLR learning rate (lr0 * lrf)
momentum: 0.937 # SGD momentum/Adam beta1
weight_decay: 0.0005 # optimizer weight decay 5e-4
warmup_epochs: 3.0 # warmup epochs (fractions ok)
warmup_momentum: 0.8 # warmup initial momentum
warmup_bias_lr: 0.1 # warmup initial bias lr
box: 0.05 # box loss gain
cls: 0.5 # cls loss gain
cls_pw: 1.0 # cls BCELoss positive_weight
obj: 1.0 # obj loss gain (scale with pixels)
obj_pw: 1.0 # obj BCELoss positive_weight
iou_t: 0.20 # IoU training threshold
anchor_t: 4.0 # anchor-multiple threshold
# anchors: 3 # anchors per output layer (0 to ignore)
fl_gamma: 0.0 # focal loss gamma (efficientDet default gamma=1.5)
hsv_h: 0.015 # image HSV-Hue augmentation (fraction)
hsv_s: 0.7 # image HSV-Saturation augmentation (fraction)
hsv_v: 0.4 # image HSV-Value augmentation (fraction)
degrees: 0.0 # image rotation (+/- deg)
translate: 0.1 # image translation (+/- fraction)
scale: 0.5 # image scale (+/- gain)
shear: 0.0 # image shear (+/- deg)
perspective: 0.0 # image perspective (+/- fraction), range 0-0.001
flipud: 0.0 # image flip up-down (probability)
fliplr: 0.5 # image flip left-right (probability)
mosaic: 1.0 # image mosaic (probability)
mixup: 0.0 # image mixup (probability)
copy_paste: 0.0 # segment copy-paste (probability)Chúng tôi khuyến nghị tối thiểu 300 thế hệ tiến hóa để đạt được kết quả tốt nhất. Lưu ý rằng tiến hóa thường tốn kém và mất nhiều thời gian, vì kịch bản cơ sở được huấn luyện hàng trăm lần, có khả năng tiêu tốn hàng trăm hoặc hàng nghìn giờ GPU.
Khi quá trình tiến hóa kết thúc, hãy tái sử dụng các thiết lập đã tìm thấy bằng cách trỏ quá trình huấn luyện đến tệp đã lưu, ví dụ: python train.py --hyp runs/evolve/hyp_evolved.yaml --data your.yaml --weights yolov5s.pt.
4. Trực quan hóa
evolve.csv được vẽ biểu đồ dưới dạng evolve.png bởi utils.plots.plot_evolve() sau khi tiến hóa kết thúc với một biểu đồ con cho mỗi siêu tham số hiển thị fitness (trục y) so với giá trị siêu tham số (trục x). Màu vàng biểu thị nồng độ cao hơn. Các phân phối theo chiều dọc cho biết tham số đã bị vô hiệu hóa và không bị đột biến. Điều này do người dùng tùy chọn trong từ điển meta trong train.py, và hữu ích để cố định các tham số và ngăn chúng tiến hóa.
Môi trường được hỗ trợ
Ultralytics cung cấp nhiều môi trường sẵn sàng sử dụng, mỗi môi trường đều được cài đặt sẵn các phụ thuộc thiết yếu như CUDA, CUDNN, Python, và PyTorch để giúp bạn bắt đầu dự án của mình.
- Notebook GPU miễn phí:
- Google Cloud: GCP Quickstart Guide
- Amazon: AWS Quickstart Guide
- Azure: AzureML Quickstart Guide
- Docker: Docker Quickstart Guide
Trạng thái dự án
Huy hiệu này cho biết tất cả các bài kiểm thử Tích hợp liên tục (CI) của YOLOv5 GitHub Actions đều đã vượt qua thành công. Các bài kiểm thử CI này kiểm tra nghiêm ngặt chức năng và hiệu suất của YOLOv5 trên nhiều khía cạnh quan trọng: huấn luyện, xác thực, suy luận, xuất mô hình, và điểm chuẩn. Chúng đảm bảo hoạt động nhất quán và tin cậy trên macOS, Windows và Ubuntu, với các bài kiểm thử được tiến hành mỗi 24 giờ và sau mỗi lần commit mới.