Ultralytics YOLO NCNN 내보내기#

모바일이나 임베디드 시스템과 같이 연산 능력이 제한된 디바이스에 computer vision 모델을 배포하려면 신중한 포맷 선택이 필요합니다. 최적화된 포맷을 사용하면 리소스가 부족한 디바이스에서도 고성능 컴퓨터 비전 작업을 효율적으로 처리할 수 있습니다.

NCNN 포맷으로 내보내기를 수행하면 가벼운 디바이스 기반 애플리케이션에 맞게 Ultralytics YOLO26 모델을 최적화할 수 있습니다. 본 가이드에서는 모바일 및 임베디드 디바이스에서 향상된 성능을 얻기 위해 모델을 NCNN 포맷으로 변환하는 방법을 다룹니다.

왜 NCNN으로 내보내야 하나요?#

Tencent에서 개발한 NCNN 프레임워크는 스마트폰, 임베디드 디바이스, IoT 디바이스 등 모바일 플랫폼에 특화되어 최적화된 고성능 neural network 추론 컴퓨팅 프레임워크입니다. NCNN은 Linux, Android, iOS, macOS를 비롯한 다양한 플랫폼과 호환됩니다.

NCNN은 모바일 CPU에서 빠른 처리 속도로 잘 알려져 있으며 deep learning 모델을 모바일 플랫폼에 신속하게 배포할 수 있도록 지원하므로 AI 기반 애플리케이션을 구축하는 데 탁월한 선택입니다.

NCNN 모델의 주요 특징#

NCNN 모델은 온디바이스 machine learning을 지원하는 몇 가지 핵심 기능을 제공하여 개발자가 모바일, 임베디드, 엣지 디바이스에 모델을 배포할 수 있도록 돕습니다.

• 효율적이고 고성능: NCNN 모델은 가볍고 Raspberry Pi와 같이 리소스가 제한된 모바일 및 임베디드 디바이스에 최적화되어 있으면서도 컴퓨터 비전 작업에서 높은 accuracy를 유지합니다.

• 양자화(Quantization): NCNN은 모델 가중치와 활성화 함수의 precision을 낮추어 성능을 개선하고 메모리 사용량을 줄이는 기술인 양자화를 지원합니다.

• 호환성: NCNN 모델은 TensorFlow, Caffe, ONNX를 비롯한 널리 사용되는 딥러닝 프레임워크와 호환되므로 개발자가 기존 모델과 워크플로를 활용할 수 있습니다.

• 사용 편의성: NCNN은 모델 간 형식 변환을 위한 사용자 친화적인 도구를 제공하여 서로 다른 개발 환경 간의 원활한 상호 운용성을 보장합니다.

• Vulkan GPU 가속: NCNN은 AMD, Intel 및 기타 비-NVIDIA GPU를 포함한 여러 공급업체의 GPU 가속 추론을 위해 Vulkan을 지원하며, 더 넓은 범위의 하드웨어에서 고성능 배포를 가능하게 합니다.

NCNN을 이용한 배포 옵션#

NCNN 모델은 다양한 배포 플랫폼과 호환됩니다:

• 모바일 배포: Android 및 iOS에 최적화되어 효율적인 온디바이스 추론을 위해 모바일 애플리케이션에 원활하게 통합할 수 있습니다.

• 임베디드 시스템 및 IoT 디바이스: Raspberry Pi 및 NVIDIA Jetson과 같은 리소스 제약이 있는 디바이스에 이상적입니다. Ultralytics Guide를 사용한 Raspberry Pi의 표준 추론만으로 부족한 경우, NCNN은 상당한 성능 향상을 제공할 수 있습니다.

• 데스크톱 및 서버 배포: 개발, 학습 및 평가 워크플로우를 위해 Linux, Windows 및 macOS 전반의 배포를 지원합니다.

Vulkan GPU 가속#

NCNN은 Vulkan을 통해 GPU 가속을 지원하며, AMD, Intel 및 기타 비-NVIDIA 그래픽 카드를 포함한 광범위한 GPU에서 고성능 추론을 가능하게 합니다. 이는 특히 다음 상황에서 유용합니다:

• 교차 공급업체 GPU 지원: NVIDIA GPU로 제한되는 CUDA와 달리, Vulkan은 여러 GPU 공급업체에 걸쳐 작동합니다.
• 멀티 GPU 시스템: device="vulkan:0", device="vulkan:1" 등을 사용하여 여러 GPU가 있는 시스템에서 특정 Vulkan 디바이스를 선택합니다.
• 엣지 및 데스크톱 배포: CUDA를 사용할 수 없는 장치에서 GPU 가속을 활용할 수 있습니다.

Vulkan 가속을 사용하려면 추론 실행 시 Vulkan 장치를 지정하십시오:

from ultralytics import YOLO

# Load the exported NCNN model
ncnn_model = YOLO("./yolo26n_ncnn_model")

# Run inference with Vulkan GPU acceleration (first Vulkan device)
results = ncnn_model("https://ultralytics.com/images/bus.jpg", device="vulkan:0")

# Use second Vulkan device in multi-GPU systems
results = ncnn_model("https://ultralytics.com/images/bus.jpg", device="vulkan:1")

지원되는 작업#

NCNN 내보내기는 모든 7가지 Ultralytics 태스크를 지원합니다. 의미론적 분할(semantic segmentation) 및 깊이 추정(depth estimation)은 해당 헤드를 탑재한 유일한 패밀리인 YOLO26에서만 사용할 수 있습니다.

NCNN으로 내보내기: YOLO26 모델 변환하기#

YOLO26 모델을 NCNN 형식으로 변환하여 모델 호환성과 배포 유연성을 확장할 수 있습니다.

설치#

필수 패키지를 설치하려면 다음을 실행하십시오:

# Install the required package for YOLO26
pip install ultralytics

자세한 지침과 모범 사례는 Ultralytics Installation guide를 참조하십시오. 어려움이 있는 경우 Common Issues guide에서 해결 방법을 참조하십시오.

사용법#

모든 Ultralytics YOLO26 모델은 기본적으로 내보내기를 지원하도록 설계되어 선호하는 배포 워크플로에 쉽게 통합할 수 있습니다. 지원되는 내보내기 형식 및 구성 옵션 전체 목록 보기를 통해 애플리케이션에 가장 적합한 설정을 선택할 수 있습니다.

NCNN 포맷은 Export, Predict, Validate 모드를 지원합니다. 모델을 내보낸 후 내보낸 모델을 로드하여 추론을 실행하거나 정확도를 검증하십시오.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to NCNN format
model.export(format="ncnn")  # creates '/yolo26n_ncnn_model'

from ultralytics import YOLO

# Load the exported NCNN model
model = YOLO("./yolo26n_ncnn_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported NCNN model
model = YOLO("./yolo26n_ncnn_model")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

내보내기 인수#

내보내기 프로세스에 대한 자세한 내용은 내보내기에 관한 Ultralytics 문서 페이지를 방문하세요.

내보낸 YOLO26 NCNN 모델 배포하기#

Ultralytics YOLO26 모델을 NCNN 포맷으로 내보낸 후, 위 사용 예제에 표시된 대로 YOLO("yolo26n_ncnn_model/") 메서드를 사용하여 배포할 수 있습니다. 플랫폼별 배포 지침은 다음 리소스를 참조하십시오.

• Android: Android 애플리케이션에서 object detection을 위해 NCNN 모델을 빌드하고 통합합니다.

• macOS: macOS 시스템에 NCNN 모델을 배포합니다.

• Linux: Raspberry Pi 및 유사한 임베디드 시스템을 포함한 Linux 디바이스에 NCNN 모델을 배포합니다.

• Windows x64: Visual Studio를 사용하여 Windows x64에 NCNN 모델을 배포합니다.

요약#

이 가이드에서는 리소스가 제한된 장치에서 효율성과 속도를 높이기 위해 Ultralytics YOLO26 모델을 NCNN 형식으로 내보내는 방법을 다루었습니다.

자세한 내용은 official NCNN documentation을 참조하십시오. 기타 내보내기 옵션은 integration guide page를 방문하십시오.

FAQ#