Tiến hóa Siêu tham số cho YOLOv5#
📚 Hướng dẫn này giải thích về tiến hóa siêu tham số (hyperparameter evolution) cho YOLOv5 🚀. Tiến hóa siêu tham số là một phương pháp Tối ưu hóa siêu tham số sử dụng Thuật toán di truyền (GA) để tối ưu hóa.
Các siêu tham số trong học máy kiểm soát nhiều khía cạnh khác nhau của quá trình huấn luyện và việc tìm ra các giá trị tối ưu cho chúng có thể là một thử thách. Các phương pháp truyền thống như tìm kiếm lưới (grid search) có thể nhanh chóng trở nên không khả thi do:
- Không gian tìm kiếm có số chiều cao
- Các mối tương quan chưa biết giữa các chiều
- Bản chất đắt đỏ của việc đánh giá độ thích nghi (fitness) tại mỗi điểm
Điều này làm cho các thuật toán di truyền trở thành một ứng cử viên phù hợp cho việc tìm kiếm siêu tham số.
Trước khi Bắt đầu#
Sao chép repo và cài đặt requirements.txt trong môi trường Python>=3.8.0, bao gồm PyTorch>=1.8. Models và datasets sẽ được tải xuống tự động từ release YOLOv5 mới nhất.
git clone https://github.com/ultralytics/yolov5 # clone
cd yolov5
pip install -r requirements.txt # install1. Khởi tạo Siêu tham số#
YOLOv5 có khoảng 30 siêu tham số được sử dụng cho các thiết lập huấn luyện khác nhau. Chúng được định nghĩa trong các tệp *.yaml trong thư mục /data/hyps. Các giá trị khởi tạo tốt hơn sẽ mang lại kết quả cuối cùng tốt hơn, vì vậy việc khởi tạo các giá trị này đúng cách trước khi tiến hóa là rất quan trọng. Nếu có thắc mắc, chỉ cần sử dụng các giá trị mặc định, đã được tối ưu hóa cho quá trình huấn luyện YOLOv5 trên COCO từ đầu.
# YOLOv5 🚀 by Ultralytics, AGPL-3.0 license
# Hyperparameters for low-augmentation COCO training from scratch
# python train.py --batch 64 --cfg yolov5n6.yaml --weights '' --data coco.yaml --img 640 --epochs 300 --linear
# See tutorials for hyperparameter evolution https://github.com/ultralytics/yolov5#tutorials
lr0: 0.01 # initial learning rate (SGD=1E-2, Adam=1E-3)
lrf: 0.01 # final OneCycleLR learning rate (lr0 * lrf)
momentum: 0.937 # SGD momentum/Adam beta1
weight_decay: 0.0005 # optimizer weight decay 5e-4
warmup_epochs: 3.0 # warmup epochs (fractions ok)
warmup_momentum: 0.8 # warmup initial momentum
warmup_bias_lr: 0.1 # warmup initial bias lr
box: 0.05 # box loss gain
cls: 0.5 # cls loss gain
cls_pw: 1.0 # cls BCELoss positive_weight
obj: 1.0 # obj loss gain (scale with pixels)
obj_pw: 1.0 # obj BCELoss positive_weight
iou_t: 0.20 # IoU training threshold
anchor_t: 4.0 # anchor-multiple threshold
# anchors: 3 # anchors per output layer (0 to ignore)
fl_gamma: 0.0 # focal loss gamma (efficientDet default gamma=1.5)
hsv_h: 0.015 # image HSV-Hue augmentation (fraction)
hsv_s: 0.7 # image HSV-Saturation augmentation (fraction)
hsv_v: 0.4 # image HSV-Value augmentation (fraction)
degrees: 0.0 # image rotation (+/- deg)
translate: 0.1 # image translation (+/- fraction)
scale: 0.5 # image scale (+/- gain)
shear: 0.0 # image shear (+/- deg)
perspective: 0.0 # image perspective (+/- fraction), range 0-0.001
flipud: 0.0 # image flip up-down (probability)
fliplr: 0.5 # image flip left-right (probability)
mosaic: 1.0 # image mosaic (probability)
mixup: 0.0 # image mixup (probability)
copy_paste: 0.0 # segment copy-paste (probability)2. Xác định Độ thích nghi (Fitness)#
Độ thích nghi (fitness) là giá trị chúng ta muốn tối đa hóa. Trong YOLOv5, chúng tôi định nghĩa một hàm độ thích nghi mặc định là sự kết hợp có trọng số của các số liệu: mAP@0.5 đóng góp 10% trọng số và mAP@0.5:0.95 đóng góp 90% còn lại, với độ chính xác (P) và độ thu hồi (R) không có mặt. Bạn có thể điều chỉnh các giá trị này theo ý muốn hoặc sử dụng định nghĩa độ thích nghi mặc định trong utils/metrics.py (được khuyến nghị).
def fitness(x):
"""Return model fitness as the sum of weighted metrics [P, R, mAP@0.5, mAP@0.5:0.95]."""
w = [0.0, 0.0, 0.1, 0.9] # weights for [P, R, mAP@0.5, mAP@0.5:0.95]
return (x[:, :4] * w).sum(1)3. Tiến hóa (Evolve)#
Quá trình tiến hóa được thực hiện dựa trên một kịch bản cơ sở mà chúng ta muốn cải thiện. Kịch bản cơ sở trong ví dụ này là fine-tuning COCO128 trong 10 epoch bằng cách sử dụng YOLOv5s đã được huấn luyện trước. Lệnh huấn luyện kịch bản cơ sở là:
python train.py --epochs 10 --data coco128.yaml --weights yolov5s.pt --cacheĐể tiến hóa các siêu tham số đặc thù cho kịch bản này, bắt đầu từ các giá trị ban đầu của chúng ta được định nghĩa trong Phần 1., và tối đa hóa độ thích nghi được định nghĩa trong Phần 2., hãy thêm --evolve vào:
# Single-GPU
python train.py --epochs 10 --data coco128.yaml --weights yolov5s.pt --cache --evolve
# Multi-GPU with delay
for i in {0..7}; do
sleep $((30 * i)) # 30-second delay (optional)
echo "Starting GPU $i..."
nohup python train.py --epochs 10 --data coco128.yaml --weights yolov5s.pt --cache --device $i --evolve > "evolve_gpu_$i.log" &
done
# Continuous training (use with caution)
# for i in {0..7}; do
# sleep $((30 * i)) # 30-second delay (optional)
# echo "Starting continuous training on GPU $i..."
# (
# while true; do
# python train.py --epochs 10 --data coco128.yaml --weights yolov5s.pt --cache --device $i --evolve > "evolve_gpu_$i.log"
# done
# ) &
# doneCác thiết lập tiến hóa mặc định sẽ chạy kịch bản cơ sở 300 lần, tức là trong 300 thế hệ. Bạn có thể sửa đổi số thế hệ thông qua đối số --evolve, tức là python train.py --evolve 1000.
Các toán tử di truyền chính là lai ghép (crossover) và đột biến (mutation). Trong công việc này, đột biến được sử dụng với xác suất 80% và phương sai 0,04 để tạo ra thế hệ con mới dựa trên sự kết hợp của các cá thể cha mẹ tốt nhất từ tất cả các thế hệ trước đó. Kết quả được ghi lại vào runs/evolve/exp/evolve.csv, và thế hệ con có độ thích nghi cao nhất được lưu lại ở mỗi thế hệ dưới dạng runs/evolve/exp/hyp_evolve.yaml:
# YOLOv5 Hyperparameter Evolution Results
# Best generation: 287
# Last generation: 300
# metrics/precision, metrics/recall, metrics/mAP_0.5, metrics/mAP_0.5:0.95, val/box_loss, val/obj_loss, val/cls_loss
# 0.54634, 0.55625, 0.58201, 0.33665, 0.056451, 0.042892, 0.013441
lr0: 0.01 # initial learning rate (SGD=1E-2, Adam=1E-3)
lrf: 0.2 # final OneCycleLR learning rate (lr0 * lrf)
momentum: 0.937 # SGD momentum/Adam beta1
weight_decay: 0.0005 # optimizer weight decay 5e-4
warmup_epochs: 3.0 # warmup epochs (fractions ok)
warmup_momentum: 0.8 # warmup initial momentum
warmup_bias_lr: 0.1 # warmup initial bias lr
box: 0.05 # box loss gain
cls: 0.5 # cls loss gain
cls_pw: 1.0 # cls BCELoss positive_weight
obj: 1.0 # obj loss gain (scale with pixels)
obj_pw: 1.0 # obj BCELoss positive_weight
iou_t: 0.20 # IoU training threshold
anchor_t: 4.0 # anchor-multiple threshold
# anchors: 3 # anchors per output layer (0 to ignore)
fl_gamma: 0.0 # focal loss gamma (efficientDet default gamma=1.5)
hsv_h: 0.015 # image HSV-Hue augmentation (fraction)
hsv_s: 0.7 # image HSV-Saturation augmentation (fraction)
hsv_v: 0.4 # image HSV-Value augmentation (fraction)
degrees: 0.0 # image rotation (+/- deg)
translate: 0.1 # image translation (+/- fraction)
scale: 0.5 # image scale (+/- gain)
shear: 0.0 # image shear (+/- deg)
perspective: 0.0 # image perspective (+/- fraction), range 0-0.001
flipud: 0.0 # image flip up-down (probability)
fliplr: 0.5 # image flip left-right (probability)
mosaic: 1.0 # image mosaic (probability)
mixup: 0.0 # image mixup (probability)
copy_paste: 0.0 # segment copy-paste (probability)Chúng tôi khuyến nghị tối thiểu 300 thế hệ tiến hóa để đạt được kết quả tốt nhất. Lưu ý rằng tiến hóa thường đắt đỏ và tốn thời gian, vì kịch bản cơ sở được huấn luyện hàng trăm lần, có thể tiêu tốn hàng trăm hoặc hàng nghìn giờ GPU.
Khi quá trình tiến hóa kết thúc, hãy tái sử dụng các thiết lập đã tìm thấy bằng cách trỏ quá trình huấn luyện tới tệp đã lưu, ví dụ: python train.py --hyp runs/evolve/exp/hyp_evolve.yaml --data your.yaml --weights yolov5s.pt.
Trực quan hóa#
evolve.csv được vẽ biểu đồ thành evolve.png bởi utils.plots.plot_evolve() sau khi quá trình tiến hóa kết thúc với một biểu đồ con cho mỗi siêu tham số hiển thị độ thích nghi (trục y) so với các giá trị siêu tham số (trục x). Màu vàng biểu thị mật độ cao hơn. Các phân phối theo chiều dọc cho biết một tham số đã bị vô hiệu hóa và không đột biến. Người dùng có thể lựa chọn điều này trong từ điển meta trong train.py, và tính năng này rất hữu ích để cố định các tham số và ngăn không cho chúng tiến hóa.
Các Môi trường được Hỗ trợ#
Ultralytics cung cấp nhiều loại môi trường sẵn sàng sử dụng, mỗi môi trường được cài đặt sẵn các phụ thuộc thiết yếu như CUDA, CUDNN, Python và PyTorch để khởi động các dự án của bạn.
- Free GPU Notebooks:
- Google Cloud: GCP Quickstart Guide
- Amazon: AWS Quickstart Guide
- Azure: AzureML Quickstart Guide
- Docker: Docker Quickstart Guide
Trạng thái Dự án#
Huy hiệu này cho biết tất cả các bài kiểm tra Tích hợp Liên tục (CI) của YOLOv5 GitHub Actions đã vượt qua thành công. Các bài kiểm tra CI này kiểm tra một cách nghiêm ngặt chức năng và hiệu suất của YOLOv5 qua nhiều khía cạnh quan trọng: training, validation, inference, export và benchmarks. Chúng đảm bảo hoạt động ổn định và đáng tin cậy trên macOS, Windows và Ubuntu, với các bài kiểm tra được thực hiện cứ sau 24 giờ và trên mỗi commit mới.