Addestramento Multi-GPU con YOLOv5#

Questa guida spiega come addestrare YOLOv5 con più GPU su una singola macchina o su più macchine.

Prima di iniziare#

Clona il repository e installa requirements.txt in un ambiente Python>=3.8.0, inclusi PyTorch>=1.8. I modelli e i dataset vengono scaricati automaticamente dall'ultima release di YOLOv5.

git clone https://github.com/ultralytics/yolov5 # clone
cd yolov5
pip install -r requirements.txt # install

Addestramento#

Seleziona un modello pre-addestrato da cui iniziare l'addestramento. Qui selezioniamo YOLOv5s, un modello piccolo e veloce. Consulta la tabella nel nostro file README per un confronto completo di tutti i modelli. Addestreremo questo modello con più GPU sul dataset COCO.

Singola GPU#

python train.py --batch 64 --data coco.yaml --weights yolov5s.pt --device 0

Modalità Multi-GPU DataParallel (⚠️ non consigliata)#

Passa più ID GPU a --device per abilitare la modalità DataParallel:

python train.py --batch 64 --data coco.yaml --weights yolov5s.pt --device 0,1

DataParallel è lento e velocizza a malapena l'addestramento rispetto all'uso di una singola GPU.

Modalità Multi-GPU DistributedDataParallel (✅ consigliata)#

Anticipa il comando di addestramento con python -m torch.distributed.run --nproc_per_node, quindi passa gli argomenti consueti:

python -m torch.distributed.run --nproc_per_node 2 train.py --batch 64 --data coco.yaml --weights yolov5s.pt --device 0,1

• --nproc_per_node è il numero di GPU da utilizzare. Nell'esempio precedente, è 2.
• --batch è la dimensione totale del batch, suddivisa equamente tra ciascuna GPU. Nell'esempio precedente, corrisponde a 64 / 2 = 32 per GPU.

Il comando precedente utilizza le GPU 0...(N-1). Per controllare invece la visibilità dei dispositivi tramite le variabili d'ambiente, imposta CUDA_VISIBLE_DEVICES=2,3 (o qualsiasi altro elenco) prima di avviare.

python -m torch.distributed.run --nproc_per_node 2 train.py --batch 64 --data coco.yaml --cfg yolov5s.yaml --weights '' --device 2,3

python -m torch.distributed.run --nproc_per_node 2 train.py --batch 64 --data coco.yaml --cfg yolov5s.yaml --weights '' --sync-bn

# On master machine 0
python -m torch.distributed.run --nproc_per_node G --nnodes N --node_rank 0 --master_addr "192.168.1.1" --master_port 1234 train.py --batch 64 --data coco.yaml --cfg yolov5s.yaml --weights ''

# On machine R
python -m torch.distributed.run --nproc_per_node G --nnodes N --node_rank R --master_addr "192.168.1.1" --master_port 1234 train.py --batch 64 --data coco.yaml --cfg yolov5s.yaml --weights ''

Note#

• Il supporto per Windows non è testato; si consiglia Linux.

• --batch deve essere un multiplo del numero di GPU.

• La GPU 0 utilizza leggermente più memoria delle altre perché mantiene l'EMA e gestisce il checkpointing.

• Se ricevi RuntimeError: Address already in use, di solito significa che più processi di addestramento stanno usando la stessa porta. Specifica una porta diversa con --master_port:

  python -m torch.distributed.run --master_port 1234 --nproc_per_node 2 ...

Risultati#

Risultati della profilazione DDP su un'istanza AWS EC2 P4d con 8x A100 SXM4-40GB per YOLOv5l per 1 epoca COCO.

# prepare
t=ultralytics/yolov5:latest && sudo docker pull $t && sudo docker run -it --ipc=host --device nvidia.com/gpu=all -v "$(pwd)"/coco:/usr/src/coco $t
pip3 install torch==1.9.0+cu111 torchvision==0.10.0+cu111 -f https://download.pytorch.org/whl/torch_stable.html
cd .. && rm -rf app && git clone https://github.com/ultralytics/yolov5 -b master app && cd app
cp data/coco.yaml data/coco_profile.yaml

# profile
python train.py --batch-size 16 --data coco_profile.yaml --weights yolov5l.pt --epochs 1 --device 0
python -m torch.distributed.run --nproc_per_node 2 train.py --batch-size 32 --data coco_profile.yaml --weights yolov5l.pt --epochs 1 --device 0,1
python -m torch.distributed.run --nproc_per_node 4 train.py --batch-size 64 --data coco_profile.yaml --weights yolov5l.pt --epochs 1 --device 0,1,2,3
python -m torch.distributed.run --nproc_per_node 8 train.py --batch-size 128 --data coco_profile.yaml --weights yolov5l.pt --epochs 1 --device 0,1,2,3,4,5,6,7

Come mostrato nei risultati, l'utilizzo di DistributedDataParallel con più GPU offre una scalabilità quasi lineare nella velocità di addestramento. Con 8 GPU, l'addestramento si completa circa 6,5 volte più velocemente rispetto a una singola GPU, mantenendo lo stesso utilizzo di memoria per dispositivo.

Ambienti supportati#

Ultralytics offre una gamma di ambienti pronti all'uso, ciascuno preinstallato con dipendenze essenziali come CUDA, CUDNN, Python e PyTorch, per dare il via ai tuoi progetti.

• Notebook GPU Gratuiti:
• Google Cloud: Guida rapida a GCP
• Amazon: Guida rapida AWS
• Azure: Guida rapida AzureML
• Docker: Guida rapida a Docker

Stato del progetto#

Questo badge indica che tutti i test di Integrazione Continua (CI) di YOLOv5 GitHub Actions vengono superati con successo. Questi test CI verificano rigorosamente la funzionalità e le prestazioni di YOLOv5 su vari aspetti chiave: addestramento, validazione, inferenza, esportazione e benchmark. Garantiscono un funzionamento coerente e affidabile su macOS, Windows e Ubuntu, con test condotti ogni 24 ore e a ogni nuovo commit.

Crediti#

Vorremmo ringraziare @MagicFrogSJTU, che ha svolto tutto il lavoro pesante, e @glenn-jocher per averci guidato lungo il percorso.

Vedi anche#

• Modalità di addestramento - Scopri di più sull'addestramento dei modelli YOLO con Ultralytics
• Ottimizzazione degli iperparametri - Ottimizza le prestazioni del tuo modello
• Guida rapida a Docker - Configura il tuo ambiente Docker per l'addestramento

FAQ#

Consulta la lista di controllo qui sotto prima di aprire un issue: spesso fa risparmiare tempo.