Link to this sectionHuấn luyện Multi-GPU với YOLOv5#

Hướng dẫn này giải thích cách huấn luyện YOLOv5 với nhiều GPU trên một máy đơn hoặc trên nhiều máy.

Link to this sectionTrước khi Bắt đầu#

Sao chép repo và cài đặt requirements.txt trong môi trường Python>=3.8.0, bao gồm PyTorch>=1.8. Các model và tập dữ liệu sẽ tự động tải xuống từ bản phát hành YOLOv5 mới nhất.

git clone https://github.com/ultralytics/yolov5 # clone
cd yolov5
pip install -r requirements.txt # install

Link to this sectionHuấn luyện#

Chọn một model đã được tiền huấn luyện để bắt đầu quá trình đào tạo. Tại đây, chúng tôi chọn YOLOv5s, một model nhỏ và nhanh. Xem bảng trong README của chúng tôi để so sánh đầy đủ tất cả các model. Chúng tôi sẽ huấn luyện model này với Multi-GPU trên tập dữ liệu COCO.

Link to this sectionGPU đơn#

python train.py --batch 64 --data coco.yaml --weights yolov5s.pt --device 0

Link to this sectionChế độ Multi-GPU DataParallel (⚠️ không khuyến khích)#

Truyền nhiều GPU ID vào --device để bật chế độ DataParallel:

python train.py --batch 64 --data coco.yaml --weights yolov5s.pt --device 0,1

DataParallel chậm và gần như không tăng tốc độ huấn luyện so với việc sử dụng một GPU đơn.

Link to this sectionChế độ Multi-GPU DistributedDataParallel (✅ khuyến khích)#

Thêm tiền tố vào lệnh huấn luyện với python -m torch.distributed.run --nproc_per_node, sau đó truyền các đối số thông thường:

python -m torch.distributed.run --nproc_per_node 2 train.py --batch 64 --data coco.yaml --weights yolov5s.pt --device 0,1

• --nproc_per_node là số lượng GPU cần sử dụng. Trong ví dụ trên, nó là 2.
• --batch là tổng kích thước batch, được chia đều cho mỗi GPU. Trong ví dụ trên, đó là 64 / 2 = 32 cho mỗi GPU.

Lệnh trên sử dụng các GPU 0...(N-1). Để kiểm soát khả năng hiển thị của thiết bị thông qua các biến môi trường thay vì cách trên, hãy thiết lập CUDA_VISIBLE_DEVICES=2,3 (hoặc bất kỳ danh sách nào khác) trước khi chạy.

python -m torch.distributed.run --nproc_per_node 2 train.py --batch 64 --data coco.yaml --cfg yolov5s.yaml --weights '' --device 2,3

python -m torch.distributed.run --nproc_per_node 2 train.py --batch 64 --data coco.yaml --cfg yolov5s.yaml --weights '' --sync-bn

# On master machine 0
python -m torch.distributed.run --nproc_per_node G --nnodes N --node_rank 0 --master_addr "192.168.1.1" --master_port 1234 train.py --batch 64 --data coco.yaml --cfg yolov5s.yaml --weights ''

# On machine R
python -m torch.distributed.run --nproc_per_node G --nnodes N --node_rank R --master_addr "192.168.1.1" --master_port 1234 train.py --batch 64 --data coco.yaml --cfg yolov5s.yaml --weights ''

Link to this sectionLưu ý#

• Hỗ trợ cho Windows chưa được thử nghiệm; khuyến khích sử dụng Linux.

• --batch phải là bội số của số lượng GPU.

• GPU 0 sử dụng nhiều bộ nhớ hơn một chút so với các GPU khác vì nó duy trì EMA và xử lý checkpointing.

• Nếu bạn gặp lỗi RuntimeError: Address already in use, điều đó thường có nghĩa là có nhiều phiên huấn luyện đang sử dụng cùng một cổng. Hãy chỉ định một cổng khác bằng --master_port:

  python -m torch.distributed.run --master_port 1234 --nproc_per_node 2 ...

Link to this sectionKết quả#

Kết quả profiling DDP trên một AWS EC2 P4d instance với 8x A100 SXM4-40GB cho YOLOv5l trong 1 epoch COCO.

# prepare
t=ultralytics/yolov5:latest && sudo docker pull $t && sudo docker run -it --runtime=nvidia --ipc=host --gpus all -v "$(pwd)"/coco:/usr/src/coco $t
pip3 install torch==1.9.0+cu111 torchvision==0.10.0+cu111 -f https://download.pytorch.org/whl/torch_stable.html
cd .. && rm -rf app && git clone https://github.com/ultralytics/yolov5 -b master app && cd app
cp data/coco.yaml data/coco_profile.yaml

# profile
python train.py --batch-size 16 --data coco_profile.yaml --weights yolov5l.pt --epochs 1 --device 0
python -m torch.distributed.run --nproc_per_node 2 train.py --batch-size 32 --data coco_profile.yaml --weights yolov5l.pt --epochs 1 --device 0,1
python -m torch.distributed.run --nproc_per_node 4 train.py --batch-size 64 --data coco_profile.yaml --weights yolov5l.pt --epochs 1 --device 0,1,2,3
python -m torch.distributed.run --nproc_per_node 8 train.py --batch-size 128 --data coco_profile.yaml --weights yolov5l.pt --epochs 1 --device 0,1,2,3,4,5,6,7

Như đã thấy trong kết quả, việc sử dụng DistributedDataParallel với nhiều GPU mang lại khả năng mở rộng tốc độ huấn luyện gần như tuyến tính. Với 8 GPU, quá trình huấn luyện hoàn thành nhanh hơn khoảng 6,5 lần so với sử dụng một GPU đơn, trong khi vẫn duy trì mức sử dụng bộ nhớ trên mỗi thiết bị.

Link to this sectionCâu hỏi thường gặp#

Đọc danh sách kiểm tra dưới đây trước khi mở một Issue — nó thường giúp tiết kiệm thời gian.

Link to this sectionCác Môi trường được Hỗ trợ#

Ultralytics cung cấp hàng loạt môi trường sẵn sàng sử dụng, mỗi môi trường được cài đặt sẵn các phụ thuộc thiết yếu như CUDA, CUDNN, Python và PyTorch, để khởi động dự án của bạn.

• Free GPU Notebooks:
• Google Cloud: GCP Quickstart Guide
• Amazon: AWS Quickstart Guide
• Azure: AzureML Quickstart Guide
• Docker: Docker Quickstart Guide

Link to this sectionTrạng thái Dự án#

Huy hiệu này cho biết tất cả các bài kiểm tra Tích hợp liên tục (CI) của YOLOv5 GitHub Actions đều đã vượt qua thành công. Các bài kiểm tra CI này kiểm tra nghiêm ngặt chức năng và hiệu suất của YOLOv5 trên nhiều khía cạnh chính: huấn luyện, xác thực, suy luận, xuất model và benchmarks. Chúng đảm bảo hoạt động nhất quán và đáng tin cậy trên macOS, Windows và Ubuntu, với các bài kiểm tra được thực hiện mỗi 24 giờ và sau mỗi commit mới.

Link to this sectionGhi nhận#

Chúng tôi xin cảm ơn @MagicFrogSJTU, người đã thực hiện công việc khó khăn nhất, và @glenn-jocher vì đã dẫn dắt chúng tôi trong suốt quá trình này.

Link to this sectionXem thêm#

• Train Mode - Tìm hiểu về cách huấn luyện các model YOLO với Ultralytics
• Hyperparameter Tuning - Tối ưu hóa hiệu suất model của bạn
• Docker Quickstart Guide - Thiết lập môi trường Docker để huấn luyện