Neural Magic딥스페이스 엔진으로 YOLOv8 추론 최적화하기

와 같은 객체 감지 모델을 다양한 하드웨어에 배포할 때 Ultralytics YOLOv8 과 같은 객체 감지 모델을 다양한 하드웨어에 배포할 때 최적화와 같은 고유한 문제에 부딪힐 수 있습니다. 바로 이때 YOLOv8과 Neural Magic의 DeepSparse 엔진이 통합됩니다. YOLOv8 모델이 실행되는 방식을 혁신하고 CPU에서 직접 GPU 수준의 성능을 구현할 수 있습니다.

이 가이드에서는 Neural Magic 의 DeepSparse를 사용하여 YOLOv8 를 배포하는 방법, 추론을 실행하는 방법, 성능을 벤치마킹하여 최적화하는 방법을 설명합니다.

Neural Magic의 딥스페이스

Neural Magic의 DeepSparse는 CPU에서 신경망의 실행을 최적화하도록 설계된 추론 런타임입니다. 희소성, 가지치기, 양자화와 같은 고급 기술을 적용하여 정확도를 유지하면서 계산 수요를 획기적으로 줄입니다. DeepSparse는 다양한 기기에서 효율적이고 확장 가능한 신경망 실행을 위한 민첩한 솔루션을 제공합니다.

Neural Magic의 DeepSparse를 다음과 통합할 때의 이점 YOLOv8

DeepSparse를 사용하여 YOLOV8 를 배포하는 방법을 살펴보기 전에, DeepSparse 사용의 이점을 이해해 보겠습니다. 몇 가지 주요 이점은 다음과 같습니다:

• 추론 속도 향상: 최대 525 FPS( YOLOv8n)를 달성하여 YOLOv8 의 추론 기능이 기존 방식에 비해 크게 빨라졌습니다.

• 최적화된 모델 효율성: 가지 치기 및 정량화를 사용하여 YOLOv8 의 효율성을 향상시켜 모델 크기와 계산 요구 사항을 줄이면서 정확도를 유지합니다.

• 표준 CPU에서 고성능: CPU에서 GPU와 같은 성능을 제공하여 다양한 애플리케이션에 보다 접근하기 쉽고 비용 효율적인 옵션을 제공합니다.

• 간소화된 통합 및 배포: 이미지 및 동영상 주석 기능을 포함하여 YOLOv8 을 애플리케이션에 쉽게 통합할 수 있는 사용자 친화적인 도구를 제공합니다.

• 다양한 모델 유형 지원: 표준 및 희소성에 최적화된 YOLOv8 모델과 모두 호환되므로 배포 유연성이 향상됩니다.

• 비용 효율적이고 확장 가능한 솔루션: 운영 비용을 절감하고 고급 객체 탐지 모델의 확장 가능한 배포를 제공합니다.

Neural Magic 의 딥스페이스 기술은 어떻게 작동하나요?

Neural Magic의 딥 스파스 기술은 인간 두뇌의 신경망 계산 효율성에서 영감을 받았습니다. 이 기술은 다음과 같은 두 가지 뇌의 핵심 원리를 채택하고 있습니다:

• 희소성: 스파스화 과정은 딥러닝 네트워크에서 중복 정보를 잘라내어 정확도 저하 없이 더 작고 빠른 모델을 만드는 것입니다. 이 기술은 네트워크의 크기와 계산 요구 사항을 크게 줄여줍니다.

• 참조 위치: DeepSparse는 네트워크를 Tensor 열로 분할하는 고유한 실행 방법을 사용합니다. 이러한 열은 CPU의 캐시 내에서 전적으로 깊이 단위로 실행됩니다. 이 접근 방식은 두뇌의 효율성을 모방하여 데이터 이동을 최소화하고 CPU의 캐시 사용을 최대화합니다.

Neural Magic 의 딥스페이스 기술 작동 방식에 대한 자세한 내용은 해당 블로그 게시물을 참조하세요.

사용자 지정 데이터 집합에서 학습된 YOLOv8 의 스파스 버전 만들기

Neural Magic 의 오픈 소스 모델 리포지토리인 SparseZoo는 미리 스파스화된 YOLOv8 모델 체크포인트 모음을 제공합니다. Ultralytics 와 원활하게 통합된 SparseML을 사용하면 간단한 명령줄 인터페이스를 사용하여 특정 데이터 세트에서 이러한 스파스 체크포인트를 손쉽게 미세 조정할 수 있습니다.

자세한 내용은 Neural Magic 의 SparseML YOLOv8 문서를 참조하세요.

사용법: DeepSparse를 사용하여 YOLOV8 배포

Neural Magic 의 DeepSparse로 YOLOv8 를 배포하려면 몇 가지 간단한 단계를 거쳐야 합니다. 사용 지침을 살펴보기 전에 Ultralytics 에서 제공하는 다양한 YOLOv8 모델을 확인하세요. 이렇게 하면 프로젝트 요구 사항에 가장 적합한 모델을 선택하는 데 도움이 됩니다. 시작하는 방법은 다음과 같습니다.

1단계: 설치

필요한 패키지를 설치하려면 실행합니다:

# Install the required packages
pip install deepsparse[yolov8]

2단계: ONNX 형식으로 YOLOv8 내보내기

DeepSparse 엔진에는 ONNX 형식의 YOLOv8 모델이 필요합니다. 모델을 이 형식으로 내보내는 것은 DeepSparse와의 호환성을 위해 필수적입니다. 다음 명령을 사용하여 YOLOv8 모델을 내보냅니다:

# Export YOLOv8 model to ONNX format
yolo task=detect mode=export model=yolov8n.pt format=onnx opset=13

이 명령은 yolov8n.onnx 모델을 디스크에 저장합니다.

3단계: 추론 배포 및 실행

ONNX 형식의 YOLOv8 모델을 사용하면 DeepSparse를 사용하여 추론을 배포하고 실행할 수 있습니다. 이 작업은 직관적인 Python API로 쉽게 수행할 수 있습니다:

from deepsparse import Pipeline

# Specify the path to your YOLOv8 ONNX model
model_path = "path/to/yolov8n.onnx"

# Set up the DeepSparse Pipeline
yolo_pipeline = Pipeline.create(task="yolov8", model_path=model_path)

# Run the model on your images
images = ["path/to/image.jpg"]
pipeline_outputs = yolo_pipeline(images=images)

4단계: 성능 벤치마킹

YOLOv8 모델이 DeepSparse에서 최적의 성능을 발휘하고 있는지 확인하는 것이 중요합니다. 모델의 성능을 벤치마킹하여 처리량과 지연 시간을 분석할 수 있습니다:

# Benchmark performance
deepsparse.benchmark model_path="path/to/yolov8n.onnx" --scenario=sync --input_shapes="[1,3,640,640]"

5단계: 추가 기능

DeepSparse는 이미지 주석 및 데이터 세트 평가와 같은 애플리케이션에서 YOLOv8 의 실질적인 통합을 위한 추가 기능을 제공합니다.

# For image annotation
deepsparse.yolov8.annotate --source "path/to/image.jpg" --model_filepath "path/to/yolov8n.onnx"

# For evaluating model performance on a dataset
deepsparse.yolov8.eval --model_path "path/to/yolov8n.onnx"

주석 달기 명령을 실행하면 지정된 이미지가 처리되고, 객체를 감지하고, 주석이 달린 이미지가 경계 상자 및 분류와 함께 저장됩니다. 주석이 달린 이미지는 주석 결과 폴더에 저장됩니다. 이렇게 하면 모델의 감지 기능을 시각적으로 표현하는 데 도움이 됩니다.

평가 명령을 실행하면 정확도, 회수율, 평균 정밀도(mAP)와 같은 자세한 출력 메트릭을 확인할 수 있습니다. 이를 통해 데이터 세트에 대한 모델의 성능을 종합적으로 파악할 수 있습니다. 이 기능은 특정 사용 사례에 맞게 YOLOv8 모델을 미세 조정하고 최적화하여 높은 정확도와 효율성을 보장하는 데 특히 유용합니다.

요약

이 가이드에서는 Ultralytics' YOLOv8 과 Neural Magic 의 딥스페어스 엔진 통합에 대해 살펴보았습니다. 이 통합을 통해 CPU 플랫폼에서 YOLOv8 의 성능을 향상시켜 GPU 수준의 효율성과 고급 신경망 희소성 기술을 제공하는 방법을 강조했습니다.

더 자세한 정보와 고급 사용법은 Neural Magic의 DeepSparse 설명서를 참조하세요. 또한 Neural Magic에서 YOLOv8 과의 통합에 대한 설명서를 확인하고 여기에서 이에 대한 훌륭한 세션을 시청하세요.

또한 다양한 YOLOv8 통합에 대한 보다 폭넓은 이해를 위해 Ultralytics 통합 가이드 페이지를 방문하면 다양하고 흥미로운 통합 가능성을 발견할 수 있습니다.

댓글