Link to this sectionUltralytics YOLO NCNN 내보내기#
모바일이나 임베디드 시스템과 같이 컴퓨팅 성능이 제한된 장치에 컴퓨터 비전 모델을 배포하려면 신중한 형식 선택이 필요합니다. 최적화된 형식을 사용하면 리소스가 제한된 장치에서도 고급 컴퓨터 비전 작업을 효율적으로 처리할 수 있습니다.
NCNN 형식으로 내보내면 Ultralytics YOLO26 모델을 경량 장치 기반 애플리케이션에 맞게 최적화할 수 있습니다. 이 가이드에서는 모바일 및 임베디드 장치에서 더 나은 성능을 위해 모델을 NCNN 형식으로 변환하는 방법을 다룹니다.
Link to this sectionNCNN으로 내보내는 이유는 무엇입니까?#
NCNN 프레임워크는 Tencent에서 개발한 고성능 신경망 추론 컴퓨팅 프레임워크로, 휴대폰, 임베디드 장치, IoT 장치를 포함한 모바일 플랫폼에 특화되어 최적화되었습니다. NCNN은 Linux, Android, iOS 및 macOS를 포함한 다양한 플랫폼과 호환됩니다.
NCNN은 모바일 CPU에서 빠른 처리 속도를 내는 것으로 잘 알려져 있으며, 딥러닝 모델을 모바일 플랫폼에 빠르게 배포할 수 있게 하여 AI 기반 애플리케이션 구축에 탁월한 선택입니다.
Link to this sectionNCNN 모델의 주요 특징#
NCNN 모델은 온디바이스 머신러닝을 가능하게 하는 몇 가지 주요 기능을 제공하며, 개발자가 모바일, 임베디드 및 엣지 장치에 모델을 배포하도록 돕습니다:
-
효율성 및 고성능: NCNN 모델은 경량화되어 있으며, Raspberry Pi와 같이 리소스가 제한된 모바일 및 임베디드 장치에 최적화되어 있으면서도 컴퓨터 비전 작업에서 높은 정확도를 유지합니다.
-
양자화: NCNN은 양자화를 지원합니다. 이는 모델 가중치와 활성화의 정밀도를 낮추어 성능을 개선하고 메모리 사용량을 줄이는 기술입니다.
-
호환성: NCNN 모델은 TensorFlow, Caffe, ONNX를 포함한 대중적인 딥러닝 프레임워크와 호환되어 개발자가 기존 모델과 워크플로를 활용할 수 있습니다.
-
사용 편의성: NCNN은 형식 간 모델 변환을 위한 사용자 친화적인 도구를 제공하여 서로 다른 개발 환경 간의 원활한 상호 운용성을 보장합니다.
-
Vulkan GPU 가속: NCNN은 AMD, Intel 및 기타 NVIDIA가 아닌 GPU를 포함한 여러 공급업체의 GPU 가속 추론을 위한 Vulkan을 지원하며, 더 광범위한 하드웨어에서 고성능 배포를 가능하게 합니다.
Link to this sectionNCNN을 사용한 배포 옵션#
NCNN 모델은 다양한 배포 플랫폼과 호환됩니다:
-
모바일 배포: Android 및 iOS에 최적화되어 효율적인 온디바이스 추론을 위해 모바일 애플리케이션에 원활하게 통합할 수 있습니다.
-
임베디드 시스템 및 IoT 장치: Raspberry Pi 및 NVIDIA Jetson과 같이 리소스가 제한된 장치에 이상적입니다. Ultralytics 가이드를 사용한 Raspberry Pi의 표준 추론이 충분하지 않은 경우, NCNN을 사용하여 상당한 성능 향상을 얻을 수 있습니다.
-
데스크톱 및 서버 배포: 개발, 학습 및 평가 워크플로를 위해 Linux, Windows 및 macOS 전반의 배포를 지원합니다.
Link to this sectionVulkan GPU 가속#
NCNN은 Vulkan을 통해 GPU 가속을 지원하여 AMD, Intel 및 기타 NVIDIA가 아닌 그래픽 카드를 포함한 다양한 GPU에서 고성능 추론을 가능하게 합니다. 이는 특히 다음에 유용합니다:
- 공급업체 간 GPU 지원: NVIDIA GPU로 제한된 CUDA와 달리, Vulkan은 여러 GPU 공급업체에 걸쳐 작동합니다.
- 다중 GPU 시스템:
device="vulkan:0",device="vulkan:1"등을 사용하여 여러 GPU가 있는 시스템에서 특정 Vulkan 장치를 선택합니다. - 엣지 및 데스크톱 배포: CUDA를 사용할 수 없는 장치에서 GPU 가속을 활용합니다.
Vulkan 가속을 사용하려면 추론 실행 시 Vulkan 장치를 지정하십시오:
from ultralytics import YOLO
# Load the exported NCNN model
ncnn_model = YOLO("./yolo26n_ncnn_model")
# Run inference with Vulkan GPU acceleration (first Vulkan device)
results = ncnn_model("https://ultralytics.com/images/bus.jpg", device="vulkan:0")
# Use second Vulkan device in multi-GPU systems
results = ncnn_model("https://ultralytics.com/images/bus.jpg", device="vulkan:1")GPU에 Vulkan 드라이버가 설치되어 있는지 확인하십시오. 대부분의 최신 GPU 드라이버에는 기본적으로 Vulkan 지원이 포함되어 있습니다. Linux의 vulkaninfo 또는 Windows의 Vulkan SDK와 같은 도구를 사용하여 Vulkan 가용성을 확인할 수 있습니다.
Link to this sectionNCNN으로 내보내기: YOLO26 모델 변환#
YOLO26 모델을 NCNN 형식으로 변환하여 모델 호환성과 배포 유연성을 확장할 수 있습니다.
Link to this section지원되는 작업#
NCNN 내보내기는 표준 Ultralytics YOLO26 작업 세트를 지원합니다.
| 작업 | 지원됨 |
|---|---|
| 객체 탐지 | ✅ |
| 인스턴스 세그멘테이션 | ✅ |
| 시맨틱 세그멘테이션 | ✅ |
| 자세 추정 | ✅ |
| OBB 탐지 | ✅ |
| 분류 | ✅ |
Link to this section설치#
필수 패키지를 설치하려면 다음을 실행하십시오:
# Install the required package for YOLO26
pip install ultralytics자세한 지침과 모범 사례는 Ultralytics 설치 가이드를 참조하십시오. 어려움이 발생하면 일반 문제 가이드에서 해결책을 확인하십시오.
Link to this section사용법#
모든 Ultralytics YOLO26 모델은 즉시 내보내기를 지원하도록 설계되어 원하는 배포 워크플로에 쉽게 통합할 수 있습니다. 지원되는 내보내기 형식 및 구성 옵션 전체 목록을 확인하여 애플리케이션에 가장 적합한 설정을 선택할 수 있습니다.
NCNN 형식은 내보내기, 예측 및 검증 모드를 지원합니다. 모델을 내보낸 다음 내보낸 모델을 로드하여 추론을 실행하거나 정확도를 검증하십시오.
from ultralytics import YOLO
# Load a YOLO26 model
model = YOLO("yolo26n.pt")
# Export the model to NCNN format
model.export(format="ncnn") # creates '/yolo26n_ncnn_model'from ultralytics import YOLO
# Load the exported NCNN model
model = YOLO("./yolo26n_ncnn_model")
# Run inference
results = model("https://ultralytics.com/images/bus.jpg")from ultralytics import YOLO
# Load the exported NCNN model
model = YOLO("./yolo26n_ncnn_model")
# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")Link to this section내보내기 인수#
| 인자 | 유형 | 기본값 | 설명 |
|---|---|---|---|
format | str | 'ncnn' | 내보낸 모델의 대상 형식으로, 다양한 배포 환경과의 호환성을 정의합니다. |
imgsz | int 또는 tuple | 640 | 모델 입력에 필요한 이미지 크기입니다. 정사각형 이미지의 경우 정수를 사용할 수 있으며, 특정 치수의 경우 (height, width) 튜플을 사용할 수 있습니다. |
half | bool | False | FP16(반정밀도) 양자화를 활성화하여 모델 크기를 줄이고 지원되는 하드웨어에서 추론 속도를 높일 수 있습니다. |
batch | int | 1 | 내보낸 모델의 배치 추론 크기 또는 내보낸 모델이 predict 모드에서 동시에 처리할 최대 이미지 수를 지정합니다. |
device | str | None | 내보내기를 위한 장치를 지정합니다: GPU(device=0), CPU(device=cpu), Apple 실리콘용 MPS(device=mps). |
내보내기 과정에 대한 자세한 내용은 내보내기에 관한 Ultralytics 문서 페이지를 방문하십시오.
Link to this section내보낸 YOLO26 NCNN 모델 배포#
Ultralytics YOLO26 모델을 NCNN 형식으로 내보낸 후, 위 사용 예제와 같이 YOLO("yolo26n_ncnn_model/") 메서드를 사용하여 배포할 수 있습니다. 플랫폼별 배포 지침은 다음 리소스를 참조하십시오:
-
macOS: macOS 시스템에 NCNN 모델을 배포합니다.
-
Linux: Raspberry Pi 및 유사한 임베디드 시스템을 포함한 Linux 장치에 NCNN 모델을 배포합니다.
-
Windows x64: Visual Studio를 사용하여 Windows x64에 NCNN 모델을 배포합니다.
Link to this section요약#
이 가이드에서는 리소스가 제한된 장치에서 효율성과 속도를 높이기 위해 Ultralytics YOLO26 모델을 NCNN 형식으로 내보내는 방법을 다루었습니다.
자세한 내용은 공식 NCNN 문서를 참조하십시오. 다른 내보내기 옵션은 통합 가이드 페이지를 방문하십시오.
Link to this sectionFAQ#
Link to this sectionUltralytics YOLO26 모델을 NCNN 형식으로 내보내려면 어떻게 해야 합니까?#
Ultralytics YOLO26 모델을 NCNN 형식으로 내보내려면:
-
Python: YOLO 클래스의
export메서드를 사용하십시오.from ultralytics import YOLO # Load a YOLO26 model model = YOLO("yolo26n.pt") # Export to NCNN format model.export(format="ncnn") # creates '/yolo26n_ncnn_model' -
CLI:
yolo export명령을 사용하십시오.yolo export model=yolo26n.pt format=ncnn # creates '/yolo26n_ncnn_model'
자세한 내보내기 옵션은 내보내기 문서를 참조하십시오.
Link to this sectionYOLO26 모델을 NCNN으로 내보내면 어떤 이점이 있습니까?#
Ultralytics YOLO26 모델을 NCNN으로 내보내면 몇 가지 이점이 있습니다:
- 효율성: NCNN 모델은 모바일 및 임베디드 장치에 최적화되어 제한된 컴퓨팅 리소스에서도 높은 성능을 보장합니다.
- 양자화: NCNN은 모델 속도를 높이고 메모리 사용량을 줄이는 양자화와 같은 기술을 지원합니다.
- 광범위한 호환성: Android, iOS, Linux 및 macOS를 포함한 여러 플랫폼에 NCNN 모델을 배포할 수 있습니다.
- Vulkan GPU 가속: Vulkan을 통해 AMD, Intel 및 기타 NVIDIA가 아닌 GPU에서 GPU 가속을 활용하여 추론 속도를 높일 수 있습니다.
자세한 내용은 NCNN으로 내보내는 이유는 무엇입니까? 섹션을 참조하십시오.
Link to this section모바일 AI 애플리케이션에 NCNN을 사용해야 하는 이유는 무엇입니까?#
Tencent에서 개발한 NCNN은 모바일 플랫폼에 특히 최적화되어 있습니다. NCNN을 사용해야 하는 주요 이유는 다음과 같습니다:
- 고성능: 모바일 CPU에서 효율적이고 빠른 처리를 위해 설계되었습니다.
- 크로스 플랫폼: TensorFlow 및 ONNX와 같은 인기 있는 프레임워크와 호환되어 다양한 플랫폼에서 모델을 쉽게 변환하고 배포할 수 있습니다.
- 커뮤니티 지원: 활발한 커뮤니티 지원으로 지속적인 개선과 업데이트가 보장됩니다.
자세한 내용은 NCNN 모델의 주요 특징 섹션을 참조하십시오.
Link to this sectionNCNN 모델 배포는 어떤 플랫폼을 지원합니까?#
NCNN은 다재다능하며 다양한 플랫폼을 지원합니다:
- 모바일: Android, iOS.
- 임베디드 시스템 및 IoT 장치: Raspberry Pi 및 NVIDIA Jetson과 같은 장치.
- 데스크톱 및 서버: Linux, Windows 및 macOS.
Raspberry Pi에서 향상된 성능을 얻으려면 Raspberry Pi 가이드에 설명된 대로 NCNN 형식을 사용하는 것을 고려하십시오.
Link to this sectionAndroid에 Ultralytics YOLO26 NCNN 모델을 어떻게 배포합니까?#
Android에 YOLO26 모델을 배포하려면:
- Android용 빌드: NCNN Android용 빌드 가이드를 따르십시오.
- 앱과 통합: NCNN Android SDK를 사용하여 효율적인 온디바이스 추론을 위해 내보낸 모델을 애플리케이션에 통합하십시오.
자세한 지침은 내보낸 YOLO26 NCNN 모델 배포를 참조하십시오.
더 고급 가이드와 사용 사례를 보려면 Ultralytics 배포 가이드를 방문하십시오.
Link to this sectionNCNN 모델에서 Vulkan GPU 가속을 어떻게 사용합니까?#
NCNN은 AMD, Intel 및 기타 NVIDIA가 아닌 GPU에서 GPU 가속을 위한 Vulkan을 지원합니다. Vulkan을 사용하려면:
from ultralytics import YOLO
# Load NCNN model and run with Vulkan GPU
model = YOLO("yolo26n_ncnn_model")
results = model("image.jpg", device="vulkan:0") # Use first Vulkan device다중 GPU 시스템의 경우 장치 인덱스를 지정하십시오(예: 두 번째 GPU의 경우 vulkan:1). GPU에 Vulkan 드라이버가 설치되어 있는지 확인하십시오. 자세한 내용은 Vulkan GPU 가속 섹션을 참조하십시오.