Ultralytics YOLO 모델을 위한 DEEPX 내보내기#

특수 목적의 NPU 하드웨어에 컴퓨터 비전 모델을 배포하려면 호환되고 최적화된 모델 포맷이 필요합니다. Ultralytics YOLO 모델을 DEEPX 포맷으로 내보내면 DEEPX NPU 가속기에서 효율적인 INT8 양자화 추론을 수행할 수 있습니다. 본 가이드에서는 YOLO 모델을 DEEPX 포맷으로 변환하고 DEEPX 기반 하드웨어에 배포하는 방법을 안내합니다.

DEEPX란 무엇입니까?#

DEEPX는 엣지에서의 저전력 딥러닝 추론을 위해 설계된 신경망 처리 장치(NPU) 전문 AI 반도체 기업입니다. DEEPX NPU는 까다로운 임베디드 및 산업용 AI 애플리케이션용으로 제작되어 최소한의 전력 소비로 높은 처리량을 제공합니다. 이들의 하드웨어는 로보틱스, 스마트 카메라, 산업 자동화 시스템과 같이 클라우드 연결이 불안정하거나 바람직하지 않은 배포 시나리오에 적합합니다.

DEEPX 내보내기 형식#

DEEPX 내보내기는 DEEPX NPU 하드웨어에서 실행되도록 최적화된 컴파일된 .dxnn 모델 바이너리를 생성합니다. 컴파일 파이프라인은 dx_com 툴킷을 사용하여 INT8 양자화와 하드웨어 전용 최적화를 수행하며, 배포 준비가 완료된 독립형 모델 디렉터리를 생성합니다.

DEEPX 모델의 주요 특징#

DEEPX 모델은 엣지 배포를 위해 다음과 같은 몇 가지 장점을 제공합니다:

• INT8 양자화: 내보내기 중에 모델이 INT8 정밀도로 양자화되어 모델 크기를 크게 줄이고 NPU 처리량을 극대화합니다. 모델 양자화에 대해 자세히 알아보세요.
• NPU 최적화됨: .dxnn 포맷은 DEEPX NPU 하드웨어를 위해 특별히 컴파일되었으며, 빠르고 효율적인 추론을 위해 전용 가속 유닛을 활용합니다.
• 낮은 전력 소비: 추론을 NPU로 오프로딩함으로써 DEEPX 모델은 동일한 수준의 CPU 또는 GPU 추론보다 훨씬 적은 전력을 소비합니다.
• 보정 기반 정확도: 이 내보내기 과정은 실제 데이터셋 이미지를 사용하는 EMA 기반 보정을 사용하여 양자화 중 정확도 손실을 최소화합니다.
• 독립형 출력: 내보낸 모델 디렉토리에는 간편한 배포를 위해 컴파일된 바이너리, 보정 설정 및 메타데이터가 번들로 포함되어 있습니다.

지원되는 작업#

DEEPX export는 7가지 Ultralytics 태스크를 모두 지원합니다. 시맨틱 세그멘테이션과 깊이 추정은 해당 헤드가 포함된 유일한 패밀리인 YOLO26에서만 사용할 수 있습니다.

DEEPX로 내보내기: YOLO 모델 변환#

Ultralytics YOLO 모델을 DEEPX 형식으로 내보내고 내보낸 모델로 추론을 실행합니다.

설치#

필수 패키지를 설치하려면 다음을 실행하십시오:

# Install the required package for YOLO
pip install ultralytics

dx_com 컴파일러 패키지는 첫 번째 내보내기 시 DEEPX SDK 저장소에서 자동으로 설치됩니다. 설치 프로세스와 관련된 자세한 지침 및 모범 사례는 Ultralytics 설치 가이드를 확인하세요. YOLO에 필요한 패키지를 설치하는 동안 문제가 발생하는 경우 일반적인 문제 가이드에서 해결 방법과 팁을 참고하세요.

사용법#

DEEPX 포맷은 Export, Predict, Validate 모드를 지원합니다. 추론과 검증은 DEEPX NPU 하드웨어에서 실행됩니다. 모델을 내보낸 다음, 내보낸 모델을 로드하여 추론을 실행하거나 정확도를 검증하세요.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to DEEPX format (quantize=8 is enforced automatically)
model.export(format="deepx")  # creates 'yolo26n_deepx_model/'

from ultralytics import YOLO

# Load the exported DEEPX model
model = YOLO("yolo26n_deepx_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported DEEPX model
model = YOLO("yolo26n_deepx_model")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

내보내기 인수#

내보내기 프로세스에 대한 자세한 내용은 내보내기에 관한 Ultralytics 문서 페이지를 방문하세요.

출력 구조#

성공적으로 내보낸 후에는 다음 레이아웃의 모델 디렉토리가 생성됩니다:

yolo26n_deepx_model/
├── yolo26n.dxnn     # Compiled DEEPX model binary (NPU executable)
├── config.json      # Calibration and preprocessing configuration
└── metadata.yaml    # Model metadata (classes, image size, task, etc.)

.dxnn 파일은 dx_engine 런타임이 NPU에서 직접 로드하는 컴파일된 모델 바이너리입니다. metadata.yaml에는 Ultralytics 추론 파이프라인에서 사용하는 클래스 이름, 이미지 크기 및 기타 정보가 포함되어 있습니다.

내보낸 YOLO DEEPX 모델 배포#

Ultralytics YOLO 모델을 DEEPX 형식으로 성공적으로 내보냈다면, 다음 단계는 이러한 모델을 DEEPX NPU 하드웨어에 배포하는 것입니다.

런타임 설치#

추론을 수행하려면 DEEPX NPU 드라이버, libdxrt 런타임, 그리고 dx_engine Python 패키지가 필요합니다.

# Install the NPU driver and libdxrt runtime
sudo apt update
wget https://github.com/DEEPX-AI/dx_rt_npu_linux_driver/raw/main/release/2.4.1/dxrt-driver-dkms_2.4.1-2_all.deb
sudo apt install ./dxrt-driver-dkms_2.4.1-2_all.deb
wget https://github.com/DEEPX-AI/dx_rt/raw/main/release/3.3.2/libdxrt_3.3.2_all.deb
sudo apt install ./libdxrt_3.3.2_all.deb

# Create dx-engine wheel
cd /usr/share/libdxrt/python_package && sudo ./make_whl.sh

# Install the bundled dx_engine Python wheel
pip install dx_engine-*.whl

dxrt-cli --version(을)를 통해 런타임이 올바르게 설치되었는지 확인하세요. 다음과 유사한 출력이 표시되어야 합니다:

DXRT v3.3.2
Minimum Driver Versions
Device Driver: v2.4.0
PCIe Driver: v2.2.0
Firmware: v2.5.2
Minimum Compiler Versions
Compiler: v1.18.1
.dxnn File Format: v6

런타임이 설치되면 위의 사용법 섹션에 표시된 것과 정확히 동일하게 DEEPX 디바이스에서 추론 및 검증을 실행하세요. 내보낸 _deepx_model은 YOLO(...)(으)로 직접 로드됩니다.

dxtron으로 시각화#

dxtron은 컴파일된 .dxnn 모델을 검사하기 위한 DEEPX의 그래프 시각화 도구입니다.

x86-64 Linux 환경에서 DEEPX SDK로부터 .deb 패키지를 다운로드한 후 dpkg를 통해 dxtron을 설치합니다:

wget https://sdk.deepx.ai/release/dxtron/v2.0.1/dxtron_2.0.1_amd64.deb
sudo dpkg -i dxtron_2.0.1_amd64.deb

그런 다음 내보낸 모델을 엽니다:

dxtron yolo26n_deepx_model/yolo26n.dxnn

벤치마크#

Ultralytics 팀은 YOLO26 모델을 벤치마킹하여 PyTorch와 DEEPX 간의 속도와 정확도를 비교했습니다.

성능

Raspberry Pi 5 + DX-M1 M.2 모듈더 많은 장치가 곧 추가될 예정입니다!

모델	형식	상태	크기(MB)	metrics/mAP50-95(B)	추론 시간(ms/im)
YOLO26n	PyTorch	✅	5.3	0.4760	315.2
YOLO26n	DEEPX	✅	6.6	0.4660	34.6
YOLO26n-seg	PyTorch	✅	6.5	0.4080	485.4
YOLO26n-seg	DEEPX	✅	7.9	0.3920	53.8
YOLO26n-pose	PyTorch	✅	7.6	0.4230	506.3
YOLO26n-pose	DEEPX	✅	8.8	0.4590	37.6
YOLO26n-obb	PyTorch	✅	5.7	0.817	1094.4
YOLO26n-obb	DEEPX	✅	7.3	0.783	56.4

모델	형식	상태	크기(MB)	acc (top1)	acc (top5)	추론 시간(ms/im)
YOLO26n-cls	PyTorch	✅	5.6	0.431	0.716	23.8
YOLO26n-cls	DEEPX	✅	5.9	0.333	0.686	2.7

참고

상기 벤치마크 검증은 객체 탐지는 coco128, 세그멘테이션은 coco128-seg, 자세 추정은 coco8-pose, 분류는 imagenet100, OBB 모델은 dota128 데이터셋을 사용하여 수행되었습니다. 추론 시간은 전처리 및 후처리 시간을 포함하지 않습니다.

sudo nano /boot/firmware/config.txt

dtparam=pciex1
dtparam=pciex1_gen=3

sudo reboot

sudo lspci -vvv | grep -iA 33 accelerators | grep -E "LnkCap|LnkSta"

권장 워크플로우#

1. Ultralytics 학습 모드를 사용하여 모델 학습
2. model.export(format="deepx")을(를) 사용하여 DEEPX 포맷으로 내보내기(Export)
3. yolo val으로 정확도를 검증하여 최소한의 양자화 손실 확인
4. 정성적 검증을 위해 yolo predict을 사용하여 예측 수행
5. dx_engine 런타임을 사용하여 내보낸 _deepx_model/ 디렉터리를 DEEPX NPU 하드웨어에 배포합니다.

실제 활용 사례#

DEEPX NPU 하드웨어에 배포된 YOLO 모델은 다양한 엣지 AI 애플리케이션에 적합합니다:

• 스마트 감시: 저전력 소비와 클라우드 독립성을 갖춘 보안 및 모니터링 시스템을 위한 실시간 객체 감지.
• 산업 자동화: 공장 환경에서의 온디바이스 품질 관리, 결함 탐지 및 공정 모니터링.
• 로봇 공학: 자율 로봇 및 드론에서의 비전 기반 내비게이션, 장애물 회피 및 객체 인식.
• 스마트 농업: 농업 분야의 컴퓨터 비전을 활용한 작물 건강 모니터링, 해충 탐지, 수확량 추정.
• 리테일 분석: 실시간 엣지 추론을 통한 고객 흐름 분석, 선반 모니터링 및 재고 추적.

요약#

본 가이드에서는 Ultralytics YOLO 모델을 DEEPX 포맷으로 내보내고 DEEPX NPU 하드웨어에 배포하는 방법을 배웠습니다. 내보내기 파이프라인은 INT8 보정과 dx_com 컴파일러를 사용하여 하드웨어에 최적화된 .dxnn 바이너리를 생성하며, dx_engine 런타임은 디바이스에서의 추론을 처리합니다.

Ultralytics YOLO와 DEEPX의 NPU 기술 조합은 임베디드 및 엣지 디바이스에서 고급 컴퓨터 비전 워크로드를 실행하기 위한 효과적인 솔루션을 제공하며, 실시간 애플리케이션을 위해 낮은 전력 소비로 높은 처리량을 전달합니다.

사용법에 대한 자세한 내용은 DEEPX 공식 웹사이트를 방문하세요.

또한 다른 Ultralytics YOLO 통합에 대해 알아보려면 통합 가이드 페이지를 방문하세요. 유용한 리소스와 인사이트를 많이 찾으실 수 있습니다.

FAQ#