YOLOv5 모델 가지치기 및 희소성
이 가이드에서는 성능을 유지하면서 보다 효율적인 네트워크를 만들기 위해 YOLOv5 🚀 모델에 가지치기를 적용하는 방법을 설명합니다.
모델 가지치기란 무엇인가요?
모델 가지치기는 덜 중요한 매개변수(가중치 및 연결)를 제거하여 신경망의 크기와 복잡성을 줄이는 데 사용되는 기법입니다. 이 프로세스를 통해 여러 가지 이점이 있는 보다 효율적인 모델을 만들 수 있습니다:
- 리소스가 제한된 디바이스에 더 쉽게 배포할 수 있도록 모델 크기 축소
- 정확도에 미치는 영향은 최소화하면서 추론 속도 향상
- 메모리 사용량 및 에너지 소비 감소
- 실시간 애플리케이션의 전반적인 효율성 향상
가지치기는 모델 성능에 최소한의 영향을 미치는 매개변수를 식별하고 제거하여 비슷한 정확도를 가진 더 가벼운 모델을 만드는 방식으로 작동합니다.
시작하기 전에
리포지토리를 복제하고 요구사항.txt를 설치합니다. Python>=3.8.0 환경을 포함하여 PyTorch>=1.8. 모델 및 데이터 세트는 최신 YOLOv5 릴리스에서 자동으로 다운로드됩니다.
git clone https://github.com/ultralytics/yolov5 # clone
cd yolov5
pip install -r requirements.txt # install
기준 성능 테스트
가지치기를 하기 전에 비교할 기준 성능을 설정합니다. 이 명령은 이미지 크기 640픽셀의 COCO val2017에서 YOLOv5x를 테스트합니다. yolov5x.pt 은 가장 크고 정확한 모델입니다. 다른 옵션은 다음과 같습니다. yolov5s.pt, yolov5m.pt 그리고 yolov5l.pt또는 사용자 지정 데이터 세트 학습을 통한 자체 체크포인트 ./weights/best.pt. 사용 가능한 모든 모델에 대한 자세한 내용은 README를 참조하세요. 테이블.
출력:
val: data=/content/yolov5/data/coco.yaml, weights=['yolov5x.pt'], batch_size=32, imgsz=640, conf_thres=0.001, iou_thres=0.65, task=val, device=, workers=8, single_cls=False, augment=False, verbose=False, save_txt=False, save_hybrid=False, save_conf=False, save_json=True, project=runs/val, name=exp, exist_ok=False, half=True, dnn=False
YOLOv5 🚀 v6.0-224-g4c40933 torch 1.10.0+cu111 CUDA:0 (Tesla V100-SXM2-16GB, 16160MiB)
Fusing layers...
Model Summary: 444 layers, 86705005 parameters, 0 gradients
val: Scanning '/content/datasets/coco/val2017.cache' images and labels... 4952 found, 48 missing, 0 empty, 0 corrupt: 100% 5000/5000 [00:00<?, ?it/s]
Class Images Labels P R mAP@.5 mAP@.5:.95: 100% 157/157 [01:12<00:00, 2.16it/s]
all 5000 36335 0.732 0.628 0.683 0.496
Speed: 0.1ms pre-process, 5.2ms inference, 1.7ms NMS per image at shape (32, 3, 640, 640) # <--- base speed
Evaluating pycocotools mAP... saving runs/val/exp2/yolov5x_predictions.json...
...
Average Precision (AP) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.507 # <--- base mAP
Average Precision (AP) @[ IoU=0.50 | area= all | maxDets=100 ] = 0.689
Average Precision (AP) @[ IoU=0.75 | area= all | maxDets=100 ] = 0.552
Average Precision (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.345
Average Precision (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.559
Average Precision (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.652
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 1 ] = 0.381
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 10 ] = 0.630
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.682
Average Recall (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.526
Average Recall (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.731
Average Recall (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.829
Results saved to runs/val/exp
YOLOv5x에 가지치기 적용(30% 희소성)
다음을 사용하여 모델에 가지치기를 적용할 수 있습니다. torch_utils.prune() 명령을 실행합니다. 가지치기된 모델을 테스트하려면 val.py 를 0.3 희소성(가중치의 30%를 0으로 설정)으로 설정하여 YOLOv5x를 0.3으로 줄입니다:
30% 잘린 출력:
val: data=/content/yolov5/data/coco.yaml, weights=['yolov5x.pt'], batch_size=32, imgsz=640, conf_thres=0.001, iou_thres=0.65, task=val, device=, workers=8, single_cls=False, augment=False, verbose=False, save_txt=False, save_hybrid=False, save_conf=False, save_json=True, project=runs/val, name=exp, exist_ok=False, half=True, dnn=False
YOLOv5 🚀 v6.0-224-g4c40933 torch 1.10.0+cu111 CUDA:0 (Tesla V100-SXM2-16GB, 16160MiB)
Fusing layers...
Model Summary: 444 layers, 86705005 parameters, 0 gradients
Pruning model... 0.3 global sparsity
val: Scanning '/content/datasets/coco/val2017.cache' images and labels... 4952 found, 48 missing, 0 empty, 0 corrupt: 100% 5000/5000 [00:00<?, ?it/s]
Class Images Labels P R mAP@.5 mAP@.5:.95: 100% 157/157 [01:11<00:00, 2.19it/s]
all 5000 36335 0.724 0.614 0.671 0.478
Speed: 0.1ms pre-process, 5.2ms inference, 1.7ms NMS per image at shape (32, 3, 640, 640) # <--- prune speed
Evaluating pycocotools mAP... saving runs/val/exp3/yolov5x_predictions.json...
...
Average Precision (AP) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.489 # <--- prune mAP
Average Precision (AP) @[ IoU=0.50 | area= all | maxDets=100 ] = 0.677
Average Precision (AP) @[ IoU=0.75 | area= all | maxDets=100 ] = 0.537
Average Precision (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.334
Average Precision (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.542
Average Precision (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.635
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 1 ] = 0.370
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 10 ] = 0.612
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.664
Average Recall (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.496
Average Recall (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.722
Average Recall (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.803
Results saved to runs/val/exp3
결과 분석
결과에서 우리는 관찰할 수 있습니다:
- 30% 희소성 달성: 모델 무게 매개 변수의 30%
nn.Conv2d레이어는 이제 0입니다. - 추론 시간은 변경되지 않습니다: 가지치기에도 불구하고 처리 속도는 본질적으로 동일합니다.
- 성능에 미치는 영향 최소화: mAP가 0.507에서 0.489로 소폭 감소(3.6% 감소에 불과)
- 모델 크기 감소: 정리된 모델은 저장에 더 적은 메모리를 필요로 합니다.
이는 가지치기가 성능에 약간의 영향만 주면서 모델 복잡성을 크게 줄일 수 있어 리소스가 제한된 환경에서 배포하는 데 효과적인 최적화 기법임을 보여줍니다.
가지치기 모델 미세 조정
최상의 결과를 얻으려면 가지치기한 모델을 가지치기한 후 정확도를 회복하기 위해 미세 조정해야 합니다. 이 작업은 다음을 수행하면 됩니다:
- 원하는 희소성 수준으로 가지치기 적용하기
- 학습률이 낮은 몇 개의 에포크에 대해 가지치기된 모델 훈련하기
- 기준선과 비교하여 미세 조정된 가지치기 모델 평가하기
이 프로세스는 나머지 매개변수가 제거된 연결을 보정하도록 적응하여 원래 정확도의 대부분 또는 전부를 복구하는 데 도움이 됩니다.
지원 환경
Ultralytics 는 바로 사용할 수 있는 다양한 환경을 제공하며, 각 환경에는 다음과 같은 필수 종속성이 사전 설치되어 있습니다. CUDA, CUDNN, Python, 및 PyTorch와 같은 필수 종속 요소를 설치하여 프로젝트를 시작할 수 있습니다.
- 무료 GPU 노트북:
- Google Cloud: GCP 빠른 시작 가이드
- Amazon: AWS 빠른 시작 가이드
- Azure: AzureML 빠른 시작 가이드
- Docker: Docker 빠른 시작 가이드
프로젝트 상태
이 배지는 모든 YOLOv5 GitHub Actions 지속적 통합(CI) 테스트가 성공적으로 통과되었음을 나타냅니다. 이러한 CI 테스트는 교육, 검증, 추론, 내보내기 및 벤치마크 등 다양한 주요 측면에서 YOLOv5 의 기능과 성능을 엄격하게 확인합니다. 24시간마다 그리고 새로운 커밋이 있을 때마다 테스트를 수행하여 macOS, Windows 및 Ubuntu에서 일관되고 안정적인 작동을 보장합니다.
