Training mit mehreren GPUs und YOLOv5#

Dieser Leitfaden erklärt, wie du YOLOv5 mit mehreren GPUs auf einer einzelnen Maschine oder verteilt über mehrere Maschinen trainierst.

Bevor du beginnst#

Klone das Repository und installiere requirements.txt in einer Python>=3.8.0-Umgebung einschließlich PyTorch>=1.8. Modelle und Datensätze werden automatisch aus der neuesten YOLOv5-Version heruntergeladen.

git clone https://github.com/ultralytics/yolov5 # clone
cd yolov5
pip install -r requirements.txt # install

Training#

Wähle ein vortrainiertes Modell aus, mit dem du das Training starten möchtest. Hier wählen wir YOLOv5s, ein kleines und schnelles Modell. Eine vollständige Gegenüberstellung aller Modelle findest du in der Tabelle unserer README. Wir trainieren dieses Modell mit mehreren GPUs auf dem COCO-Datensatz.

Eine GPU#

python train.py --batch 64 --data coco.yaml --weights yolov5s.pt --device 0

Modus mit mehreren GPUs und DataParallel (⚠️ nicht empfohlen)#

Übergib --device mehrere GPU-IDs, um den DataParallel-Modus zu aktivieren:

python train.py --batch 64 --data coco.yaml --weights yolov5s.pt --device 0,1

DataParallel ist langsam und beschleunigt das Training im Vergleich zur Verwendung einer einzelnen GPU kaum.

Modus mit mehreren GPUs und DistributedDataParallel (✅ empfohlen)#

Setze python -m torch.distributed.run --nproc_per_node vor den Trainingsbefehl und übergib anschließend die üblichen Argumente:

python -m torch.distributed.run --nproc_per_node 2 train.py --batch 64 --data coco.yaml --weights yolov5s.pt --device 0,1

• --nproc_per_node ist die Anzahl der zu verwendenden GPUs. Im obigen Beispiel ist dies 2.
• --batch ist die gesamte Batchgröße, die gleichmäßig auf die einzelnen GPUs verteilt wird. Im obigen Beispiel sind das 64 / 2 = 32 pro GPU.

Der obige Befehl verwendet die GPUs 0...(N-1). Um die Sichtbarkeit der Geräte stattdessen über Umgebungsvariablen zu steuern, setze CUDA_VISIBLE_DEVICES=2,3 (oder eine andere Liste), bevor du den Befehl startest.

python -m torch.distributed.run --nproc_per_node 2 train.py --batch 64 --data coco.yaml --cfg yolov5s.yaml --weights '' --device 2,3

python -m torch.distributed.run --nproc_per_node 2 train.py --batch 64 --data coco.yaml --cfg yolov5s.yaml --weights '' --sync-bn

# On master machine 0
python -m torch.distributed.run --nproc_per_node G --nnodes N --node_rank 0 --master_addr "192.168.1.1" --master_port 1234 train.py --batch 64 --data coco.yaml --cfg yolov5s.yaml --weights ''

# On machine R
python -m torch.distributed.run --nproc_per_node G --nnodes N --node_rank R --master_addr "192.168.1.1" --master_port 1234 train.py --batch 64 --data coco.yaml --cfg yolov5s.yaml --weights ''

Hinweise#

• Die Unterstützung für Windows wurde nicht getestet; Linux wird empfohlen.

• --batch muss ein Vielfaches der Anzahl der GPUs sein.

• GPU 0 verwendet etwas mehr Speicher als die anderen, da sie die EMA verwaltet und Checkpoints verarbeitet.

• Wenn du RuntimeError: Address already in use erhältst, bedeutet das normalerweise, dass mehrere Trainingsläufe denselben Port verwenden. Gib mit --master_port einen anderen Port an:

  python -m torch.distributed.run --master_port 1234 --nproc_per_node 2 ...

Ergebnisse#

Ergebnisse der DDP-Profilerstellung auf einer AWS EC2 P4d-Instanz mit 8x A100 SXM4-40GB für YOLOv5l und 1 COCO-Epoche.

# prepare
t=ultralytics/yolov5:latest && sudo docker pull $t && sudo docker run -it --ipc=host --device nvidia.com/gpu=all -v "$(pwd)"/coco:/usr/src/coco $t
pip3 install torch==1.9.0+cu111 torchvision==0.10.0+cu111 -f https://download.pytorch.org/whl/torch_stable.html
cd .. && rm -rf app && git clone https://github.com/ultralytics/yolov5 -b master app && cd app
cp data/coco.yaml data/coco_profile.yaml

# profile
python train.py --batch-size 16 --data coco_profile.yaml --weights yolov5l.pt --epochs 1 --device 0
python -m torch.distributed.run --nproc_per_node 2 train.py --batch-size 32 --data coco_profile.yaml --weights yolov5l.pt --epochs 1 --device 0,1
python -m torch.distributed.run --nproc_per_node 4 train.py --batch-size 64 --data coco_profile.yaml --weights yolov5l.pt --epochs 1 --device 0,1,2,3
python -m torch.distributed.run --nproc_per_node 8 train.py --batch-size 128 --data coco_profile.yaml --weights yolov5l.pt --epochs 1 --device 0,1,2,3,4,5,6,7

Wie die Ergebnisse zeigen, ermöglicht DistributedDataParallel mit mehreren GPUs eine nahezu lineare Skalierung der Trainingsgeschwindigkeit. Mit 8 GPUs ist das Training etwa 6,5-mal schneller abgeschlossen als mit einer einzelnen GPU, während der Speicherverbrauch pro Gerät gleich bleibt.

Unterstützte Umgebungen#

Ultralytics stellt eine Reihe sofort einsatzbereiter Umgebungen bereit, in denen wichtige Abhängigkeiten wie CUDA, CUDNN, Python und PyTorch bereits installiert sind, damit du deine Projekte schnell starten kannst.

• Kostenlose GPU-Notebooks:
• Google Cloud: Kurzanleitung für GCP
• Amazon: Kurzanleitung für AWS
• Azure: Kurzanleitung für AzureML
• Docker: Docker-Schnellstartanleitung

Projektstatus#

Dieses Abzeichen zeigt an, dass alle GitHub-Actions für YOLOv5-Tests zur kontinuierlichen Integration (CI) erfolgreich durchlaufen. Diese CI-Tests prüfen die Funktionalität und Leistung von YOLOv5 in verschiedenen wichtigen Bereichen: Training, Validierung, Inferenz, Export und Benchmarks. Sie gewährleisten einen konsistenten und zuverlässigen Betrieb unter macOS, Windows und Ubuntu. Die Tests werden alle 24 Stunden sowie bei jedem neuen Commit durchgeführt.

Danksagungen#

Wir danken @MagicFrogSJTU, der den größten Teil der Arbeit übernommen hat, und @glenn-jocher für die Unterstützung auf diesem Weg.

Siehe auch#

• Trainingsmodus – Erfahre mehr über das Training von YOLO-Modellen mit Ultralytics
• Hyperparameter-Optimierung – Optimiere die Leistung deines Modells
• Docker-Schnellstartleitfaden – Richte deine Docker-Umgebung für das Training ein

FAQ#

Lies die folgende Checkliste, bevor du ein Issue eröffnest – das spart oft Zeit.