Neural Magic 딥스페이스 엔진으로 YOLO11 추론 최적화하기

와 같은 객체 감지 모델을 다양한 하드웨어에 배포할 때 Ultralytics YOLO11 과 같은 객체 감지 모델을 다양한 하드웨어에 배포할 때 최적화와 같은 고유한 문제에 부딪힐 수 있습니다. 바로 이때 YOLO11 와 Neural Magic 의 DeepSparse 엔진이 통합됩니다. YOLO11 모델이 실행되는 방식을 혁신하고 CPU에서 직접 GPU 수준의 성능을 구현할 수 있습니다.

이 가이드에서는 Neural Magic 의 DeepSparse를 사용하여 YOLO11 를 배포하는 방법, 추론을 실행하는 방법, 성능을 벤치마킹하여 최적화하는 방법을 설명합니다.

Neural Magic의 딥스페이스

Neural Magic의 DeepSparse는 CPU에서 신경망의 실행을 최적화하도록 설계된 추론 런타임입니다. 희소성, 가지치기, 양자화와 같은 고급 기술을 적용하여 정확도를 유지하면서 계산 수요를 획기적으로 줄입니다. DeepSparse는 다양한 기기에서 효율적이고 확장 가능한 신경망 실행을 위한 민첩한 솔루션을 제공합니다.

Neural Magic 의 DeepSparse를 다음과 통합할 때의 이점 YOLO11

DeepSparse를 사용하여 YOLOV8 배포하는 방법을 살펴보기 전에, DeepSparse 사용의 이점을 먼저 이해해 보겠습니다. 몇 가지 주요 이점은 다음과 같습니다:

• 추론 속도 향상: 최대 525 FPS(YOLO11n에서)를 달성하여 YOLO11 의 추론 기능이 기존 방식에 비해 크게 빨라졌습니다.

• 최적화된 모델 효율성: 가지 치기 및 정량화를 사용하여 YOLO11 의 효율성을 향상시켜 모델 크기와 계산 요구 사항을 줄이면서 정확도를 유지합니다.

• 표준 CPU에서 고성능: CPU에서 GPU-와 같은 성능을 제공하여 다양한 애플리케이션에 보다 접근하기 쉽고 비용 효율적인 옵션을 제공합니다.

• 간소화된 통합 및 배포: 이미지 및 동영상 주석 기능을 포함하여 YOLO11 을 애플리케이션에 쉽게 통합할 수 있는 사용자 친화적인 도구를 제공합니다.

• 다양한 모델 유형 지원: 표준 및 희소성에 최적화된 YOLO11 모델과 모두 호환되므로 배포 유연성이 향상됩니다.

• 비용 효율적이고 확장 가능한 솔루션: 운영 비용을 절감하고 고급 객체 탐지 모델의 확장 가능한 배포를 제공합니다.

Neural Magic 의 딥스페이스 기술은 어떻게 작동하나요?

Neural Magic의 딥 스파스 기술은 인간 두뇌의 신경망 계산 효율성에서 영감을 받았습니다. 이 기술은 다음과 같은 두 가지 뇌의 핵심 원리를 채택하고 있습니다:

• 희소성: 스파스화 과정은 딥러닝 네트워크에서 중복 정보를 잘라내어 정확도 저하 없이 더 작고 빠른 모델을 만드는 것입니다. 이 기술은 네트워크의 크기와 계산 요구 사항을 크게 줄여줍니다.

• 참조 위치: DeepSparse는 네트워크를 Tensor 열로 분할하는 고유한 실행 방법을 사용합니다. 이러한 열은 CPU 의 캐시 내에 완전히 들어맞도록 깊이 단위로 실행됩니다. 이 접근 방식은 두뇌의 효율성을 모방하여 데이터 이동을 최소화하고 CPU 의 캐시 사용을 최대화합니다.

Neural Magic 의 딥스페이스 기술 작동 방식에 대한 자세한 내용은 해당 블로그 게시물을 참조하세요.

사용자 지정 데이터 집합에서 학습된 YOLO11 의 스파스 버전 만들기

Neural Magic 의 오픈 소스 모델 리포지토리인 SparseZoo는 미리 스파스화된 YOLO11 모델 체크포인트 모음을 제공합니다. Ultralytics 와 원활하게 통합된 SparseML을 사용하면 간단한 명령줄 인터페이스를 사용하여 특정 데이터 세트에서 이러한 스파스 체크포인트를 손쉽게 미세 조정할 수 있습니다.

자세한 내용은 Neural Magic 의 SparseML YOLO11 문서를 참조하세요.

사용법: DeepSparse를 사용하여 YOLOV8 배포

Neural Magic 의 DeepSparse로 YOLO11 를 배포하려면 몇 가지 간단한 단계를 거쳐야 합니다. 사용 지침을 살펴보기 전에 Ultralytics 에서 제공하는 다양한 YOLO11 모델을 확인하세요. 이렇게 하면 프로젝트 요구 사항에 가장 적합한 모델을 선택하는 데 도움이 됩니다. 시작하는 방법은 다음과 같습니다.

1단계: 설치

필요한 패키지를 설치하려면 실행합니다:

# Install the required packages
pip install deepsparse[yolov8]

2단계: ONNX 형식으로 YOLO11 내보내기

DeepSparse 엔진에는 ONNX 형식의 YOLO11 모델이 필요합니다. 모델을 이 형식으로 내보내는 것은 DeepSparse와의 호환성을 위해 필수적입니다. 다음 명령을 사용하여 YOLO11 모델을 내보냅니다:

# Export YOLO11 model to ONNX format
yolo task=detect mode=export model=yolo11n.pt format=onnx opset=13

이 명령은 yolo11n.onnx 모델을 디스크에 저장합니다.

3단계: 추론 배포 및 실행

ONNX 형식의 YOLO11 모델을 사용하면 DeepSparse를 사용하여 추론을 배포하고 실행할 수 있습니다. 이 작업은 직관적인 Python API로 쉽게 수행할 수 있습니다:

from deepsparse import Pipeline

# Specify the path to your YOLO11 ONNX model
model_path = "path/to/yolo11n.onnx"

# Set up the DeepSparse Pipeline
yolo_pipeline = Pipeline.create(task="yolov8", model_path=model_path)

# Run the model on your images
images = ["path/to/image.jpg"]
pipeline_outputs = yolo_pipeline(images=images)

4단계: 성능 벤치마킹

YOLO11 모델이 DeepSparse에서 최적의 성능을 발휘하고 있는지 확인하는 것이 중요합니다. 모델의 성능을 벤치마킹하여 처리량과 지연 시간을 분석할 수 있습니다:

# Benchmark performance
deepsparse.benchmark model_path="path/to/yolo11n.onnx" --scenario=sync --input_shapes="[1,3,640,640]"

5단계: 추가 기능

DeepSparse는 이미지 주석 및 데이터 세트 평가와 같은 애플리케이션에서 YOLO11 의 실질적인 통합을 위한 추가 기능을 제공합니다.

# For image annotation
deepsparse.yolov8.annotate --source "path/to/image.jpg" --model_filepath "path/to/yolo11n.onnx"

# For evaluating model performance on a dataset
deepsparse.yolov8.eval --model_path "path/to/yolo11n.onnx"

주석 달기 명령을 실행하면 지정된 이미지가 처리되고, 객체를 감지하고, 주석이 달린 이미지가 경계 상자 및 분류와 함께 저장됩니다. 주석이 달린 이미지는 주석 결과 폴더에 저장됩니다. 이렇게 하면 모델의 감지 기능을 시각적으로 표현하는 데 도움이 됩니다.

평가 명령을 실행하면 정확도, 회수율, 평균 정밀도(mAP)와 같은 자세한 출력 메트릭을 확인할 수 있습니다. 이를 통해 데이터 세트에 대한 모델의 성능을 종합적으로 파악할 수 있습니다. 이 기능은 특정 사용 사례에 맞게 YOLO11 모델을 미세 조정하고 최적화하여 높은 정확도와 효율성을 보장하는 데 특히 유용합니다.

요약

이 가이드에서는 Ultralytics' YOLO11 과 Neural Magic 의 딥스페어스 엔진 통합에 대해 살펴보았습니다. 이 통합을 통해 CPU 플랫폼에서 YOLO11 의 성능을 향상시켜 GPU 수준의 효율성과 고급 신경망 희소성 기술을 제공하는 방법을 강조했습니다.

더 자세한 정보와 고급 사용법은 Neural Magic 의 DeepSparse 설명서를 참조하세요. 또한 Neural Magic에서 YOLO11 과의 통합에 대한 설명서를 확인하고 여기에서 이에 대한 훌륭한 세션을 시청하세요.

또한 다양한 YOLO11 통합에 대한 보다 폭넓은 이해를 위해 Ultralytics 통합 가이드 페이지를 방문하면 다양하고 흥미로운 통합 가능성을 발견할 수 있습니다.

자주 묻는 질문

Neural Magic 의 딥스페이스 엔진이란 무엇이며 YOLO11 성능을 어떻게 최적화하나요?

Neural Magic의 DeepSparse 엔진은 희소성, 가지치기, 양자화 등의 고급 기술을 통해 CPU에서 신경망의 실행을 최적화하도록 설계된 추론 런타임입니다. DeepSparse를 YOLO11 와 통합하면 표준 CPU에서 GPU 와 같은 성능을 달성하여 정확도를 유지하면서 추론 속도, 모델 효율성 및 전반적인 성능을 크게 향상시킬 수 있습니다. 자세한 내용은 Neural Magic 의 DeepSparse 섹션을 참조하세요.

Neural Magic 의 DeepSparse를 사용하여 YOLO11 를 배포하는 데 필요한 패키지를 설치하려면 어떻게 해야 하나요?

Neural Magic 의 DeepSparse와 함께 YOLO11 를 배포하는 데 필요한 패키지를 설치하는 것은 간단합니다. CLI 을 사용하여 쉽게 설치할 수 있습니다. 실행해야 하는 명령은 다음과 같습니다:

pip install deepsparse[yolov8]

설치가 완료되면 설치 섹션에 제공된 단계에 따라 환경을 설정하고 YOLO11 으로 DeepSparse 사용을 시작하세요.

YOLO11 모델을 ONNX 형식으로 변환하여 DeepSparse와 함께 사용하려면 어떻게 해야 하나요?

YOLO11 모델을 DeepSparse와의 호환성에 필요한 ONNX 형식으로 변환하려면 다음 CLI 명령을 사용할 수 있습니다:

yolo task=detect mode=export model=yolo11n.pt format=onnx opset=13

이 명령은 YOLO11 모델을 내보냅니다(yolo11n.pt)를 형식(yolo11n.onnx)를 사용하여 딥스페이스 엔진에서 활용할 수 있습니다. 모델 내보내기에 대한 자세한 내용은 모델 내보내기 섹션.

DeepSparse 엔진에서 YOLO11 성능을 벤치마킹하려면 어떻게 해야 하나요?

YOLO11 성능을 벤치마킹하면 처리량과 지연 시간을 분석하여 모델이 최적화되었는지 확인할 수 있습니다. 다음 CLI 명령을 사용하여 벤치마크를 실행할 수 있습니다:

deepsparse.benchmark model_path="path/to/yolo11n.onnx" --scenario=sync --input_shapes="[1,3,640,640]"

이 명령은 중요한 성능 메트릭을 제공합니다. 자세한 내용은 성능 벤치마킹 섹션을 참조하세요.

객체 감지 작업에 YOLO11 과 함께 Neural Magic 의 DeepSparse를 사용해야 하는 이유는 무엇인가요?

Neural Magic 의 DeepSparse를 YOLO11 와 통합하면 몇 가지 이점이 있습니다:

• 추론 속도 향상: 최대 525 FPS를 달성하여 YOLO11 의 성능을 크게 향상시켰습니다.
• 최적화된 모델 효율성: 희소성, 가지치기, 정량화 기술을 사용하여 정확도를 유지하면서 모델 크기와 계산 요구 사항을 줄입니다.
• 표준 CPU에서 높은 성능: 비용 효율적인 CPU 하드웨어에서 GPU-와 같은 성능을 제공합니다.
• 간소화된 통합: 간편한 배포 및 통합을 위한 사용자 친화적인 도구.
• 유연성: 표준 모델과 희소성에 최적화된 YOLO11 모델을 모두 지원합니다.
• 비용 효율적: 효율적인 리소스 활용을 통해 운영 비용을 절감합니다.

이러한 이점에 대해 자세히 알아보려면 Neural Magic 의 DeepSparse와 YOLO11 통합의 이점 섹션을 참조하세요.

11개월 전 생성됨 ✏️ 2개월 전 업데이트됨

댓글