Ultralytics YOLO 모델의 DEEPX 내보내기#

특수 NPU 하드웨어에 컴퓨터 비전 모델을 배포하려면 호환되고 최적화된 모델 형식이 필요합니다. Ultralytics YOLO 모델을 DEEPX 형식으로 내보내면 DEEPX NPU 가속기에서 INT8 양자화 추론을 효율적으로 수행할 수 있습니다. 이 가이드에서는 YOLO 모델을 DEEPX 형식으로 변환하고 DEEPX 기반 하드웨어에 배포하는 방법을 안내합니다.

DEEPX란 무엇인가요?#

DEEPX는 엣지 환경에서 전력 효율적인 딥러닝 추론을 위해 설계된 신경망 처리 장치(NPU)를 전문으로 하는 AI 반도체 기업입니다. DEEPX NPU는 까다로운 임베디드 및 산업용 AI 애플리케이션을 위해 설계되었으며, 전력 소비를 최소화하면서 높은 처리량을 제공합니다. 이 하드웨어는 클라우드 연결이 불안정하거나 바람직하지 않은 로보틱스, 스마트 카메라 및 산업 자동화 시스템과 같은 배포 시나리오에 적합합니다.

DEEPX 내보내기 형식#

DEEPX로 내보내면 DEEPX NPU 하드웨어에서 실행하도록 최적화된 컴파일된 .dxnn 모델 바이너리가 생성됩니다. 컴파일 파이프라인은 dx_com 툴킷을 사용해 INT8 양자화 및 하드웨어별 최적화를 수행하고, 배포에 바로 사용할 수 있는 독립형 모델 디렉터리를 생성합니다.

DEEPX 모델의 주요 기능#

DEEPX 모델은 엣지 배포에 여러 이점을 제공합니다:

• INT8 양자화: 내보내는 동안 모델을 INT8 정밀도로 양자화하여 모델 크기를 크게 줄이고 NPU 처리량을 극대화합니다. 모델 양자화에 대해 자세히 알아보세요.
• NPU 최적화: .dxnn 형식은 DEEPX NPU 하드웨어용으로 특별히 컴파일되며, 전용 가속 장치를 활용해 빠르고 효율적인 추론을 수행합니다.
• 낮은 전력 소비: 추론을 NPU로 오프로드함으로써 DEEPX 모델은 동급 CPU 또는 GPU 추론보다 훨씬 적은 전력을 소비합니다.
• 캘리브레이션 기반 정확도: 내보내기 과정에서는 양자화로 인한 정확도 손실을 최소화하기 위해 실제 데이터셋 이미지로 EMA 기반 캘리브레이션을 수행합니다.
• 독립 실행형 출력: 내보낸 모델 디렉터리에는 컴파일된 바이너리, 캘리브레이션 설정, 메타데이터가 포함되어 있어 간편하게 배포할 수 있습니다.

지원 작업#

DEEPX 내보내기는 Ultralytics의 7개 작업을 모두 지원합니다. 시맨틱 분할과 깊이 추정은 해당 헤드를 제공하는 유일한 모델 제품군인 YOLO26에서만 사용할 수 있습니다.

DEEPX로 내보내기: YOLO 모델 변환#

Ultralytics YOLO 모델을 DEEPX 형식으로 내보내고, 내보낸 모델로 추론을 실행합니다.

설치#

필수 패키지를 설치하려면 다음을 실행하세요:

# Install the required package for YOLO
pip install ultralytics

dx_com 컴파일러는 첫 번째 내보내기 시 PyPI에서 자동으로 설치됩니다. DX-COM 2.4.1은 glibc 2.31 이상을 사용하는 x86-64 Linux에서 Python 3.8–3.14용 휠을 제공합니다. 내보내기 종속성을 미리 설치하려면 다음을 실행합니다.

pip install "ultralytics[export-deepx]"

편집 가능한 저장소 설치를 수행하려면 "ultralytics[export-deepx]"을 -e ".[export-base,export-deepx]"로 바꿉니다. Python 3.14 환경 및 CI에서 사용하는 스모크 내보내기를 재현하려면 저장소 루트에서 기존 환경 빌더를 실행합니다.

ULTRALYTICS_ISOLATED_VENVS="$PWD/.venvs" python .github/scripts/create-export-env.py --env isolated-deepx

환경 빌더를 사용하려면 uv와 설치된 Ultralytics 체크아웃이 필요합니다. 환경 빌더는 테스트된 종속성 제약 조건을 자동으로 적용합니다.

사용법#

DEEPX 형식은 내보내기, 예측, 검증 모드를 지원합니다. 추론과 검증은 DEEPX NPU 하드웨어에서 실행됩니다. 모델을 내보낸 다음 내보낸 모델을 로드하여 추론을 실행하거나 정확도를 검증합니다.

from ultralytics import YOLO

# YOLO26 모델 로드
model = YOLO("yolo26n.pt")

# DEEPX 형식으로 모델 내보내기(quantize=8이 자동으로 적용됨)
model.export(format="deepx")  # creates 'yolo26n_deepx_model/'

from ultralytics import YOLO

# 내보낸 DEEPX 모델 로드
model = YOLO("yolo26n_deepx_model")

# 추론 실행
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# 내보낸 DEEPX 모델 로드
model = YOLO("yolo26n_deepx_model")

# COCO8 데이터셋에서 정확도 검증
metrics = model.val(data="coco8.yaml")

내보내기 인수#

내보내기 프로세스에 관한 자세한 내용은 내보내기에 관한 Ultralytics 문서 페이지를 참조하세요.

출력 구조#

내보내기가 성공하면 다음과 같은 구조의 모델 디렉터리가 생성됩니다:

yolo26n_deepx_model/
├── yolo26n.dxnn     # Compiled DEEPX model binary (NPU executable)
├── config.json      # Calibration and preprocessing configuration
└── metadata.yaml    # Model metadata (classes, image size, task, etc.)

.dxnn 파일은 컴파일된 모델 바이너리로, dx_engine 런타임이 NPU에서 직접 로드합니다. metadata.yaml에는 Ultralytics 추론 파이프라인에서 사용하는 클래스 이름, 이미지 크기 등의 정보가 포함됩니다.

내보낸 YOLO DEEPX 모델 배포#

Ultralytics YOLO 모델을 DEEPX 형식으로 성공적으로 내보냈다면 다음 단계는 DEEPX NPU 하드웨어에 모델을 배포하는 것입니다.

런타임 설치#

추론을 실행하려면 DEEPX NPU 드라이버, libdxrt 런타임, dx_engine Python 패키지가 필요합니다.

# Install the NPU driver and libdxrt runtime
sudo apt update
wget https://github.com/DEEPX-AI/dx_rt_npu_linux_driver/raw/main/release/2.4.1/dxrt-driver-dkms_2.4.1-2_all.deb
sudo apt install ./dxrt-driver-dkms_2.4.1-2_all.deb
wget https://github.com/DEEPX-AI/dx_rt/raw/main/release/3.3.2/libdxrt_3.3.2_all.deb
sudo apt install ./libdxrt_3.3.2_all.deb

# Create dx-engine wheel
cd /usr/share/libdxrt/python_package && sudo ./make_whl.sh

# Install the bundled dx_engine Python wheel
pip install dx_engine-*.whl

dxrt-cli --version을 사용하여 런타임이 올바르게 설치되었는지 확인합니다. 다음과 비슷한 출력이 표시됩니다:

DXRT v3.3.2
Minimum Driver Versions
Device Driver: v2.4.0
PCIe Driver: v2.2.0
Firmware: v2.5.2
Minimum Compiler Versions
Compiler: v1.18.1
.dxnn File Format: v6

런타임이 설치되면 위의 사용법 섹션에 나온 대로 DEEPX 장치에서 추론과 검증을 실행합니다. 내보낸 _deepx_model은 YOLO(...)에서 직접 로드됩니다.

dxtron으로 시각화#

dxtron은 컴파일된 .dxnn 모델을 검사할 수 있는 DEEPX 그래프 시각화 도구입니다.

DEEPX SDK에서 .deb 패키지를 다운로드한 뒤 dpkg로 설치하여 x86-64 Linux에 dxtron을 설치합니다:

wget https://sdk.deepx.ai/release/dxtron/v2.0.1/dxtron_2.0.1_amd64.deb
sudo dpkg -i dxtron_2.0.1_amd64.deb

그런 다음 내보낸 모델을 엽니다:

dxtron yolo26n_deepx_model/yolo26n.dxnn

벤치마크#

Ultralytics 팀은 YOLO26 모델을 벤치마크하여 PyTorch와 DEEPX 간의 속도와 정확도를 비교했습니다.

성능

Raspberry Pi 5 + DX-M1 M.2 모듈곧 더 많은 장치를 추가할 예정입니다!

모델	형식	상태	크기(MB)	metrics/mAP50-95(B)	추론 시간(ms/이미지)
YOLO26n	PyTorch	✅	5.3	0.4760	315.2
YOLO26n	DEEPX	✅	6.6	0.4660	34.6
YOLO26n-seg	PyTorch	✅	6.5	0.4080	485.4
YOLO26n-seg	DEEPX	✅	7.9	0.3920	53.8
YOLO26n-pose	PyTorch	✅	7.6	0.4230	506.3
YOLO26n-pose	DEEPX	✅	8.8	0.4590	37.6
YOLO26n-obb	PyTorch	✅	5.7	0.817	1094.4
YOLO26n-obb	DEEPX	✅	7.3	0.783	56.4

모델	형식	상태	크기(MB)	정확도(top1)	정확도(top5)	추론 시간(ms/이미지)
YOLO26n-cls	PyTorch	✅	5.6	0.431	0.716	23.8
YOLO26n-cls	DEEPX	✅	5.9	0.333	0.686	2.7

참고

위 벤치마크의 검증에는 탐지용 COCO128, 분할용 COCO128-seg, 포즈 추정용 COCO8-pose, 분류용 ImageNet100, OBB 모델용 DOTA128을 사용했습니다. 추론 시간에는 전처리와 후처리가 포함되지 않습니다.

sudo nano /boot/firmware/config.txt

dtparam=pciex1
dtparam=pciex1_gen=3

sudo reboot

sudo lspci -vvv | grep -iA 33 accelerators | grep -E "LnkCap|LnkSta"

권장 워크플로#

1. Ultralytics Train Mode를 사용해 모델을 학습합니다.
2. model.export(format="deepx")을 사용하여 DEEPX 형식으로 내보내기
3. yolo val을 사용해 정확도를 검증하고 양자화 손실을 최소화합니다.
4. 정성적 검증을 위해 yolo predict을 사용해 예측합니다.
5. dx_engine 런타임을 사용하여 내보낸 _deepx_model/ 디렉터리를 DEEPX NPU 하드웨어에 배포

실제 애플리케이션#

DEEPX NPU 하드웨어에 배포된 YOLO 모델은 다양한 엣지 AI 애플리케이션에 적합합니다:

• 스마트 감시: 낮은 전력 소비와 클라우드 비종속성을 바탕으로 보안 및 모니터링 시스템에서 실시간 객체 탐지를 수행합니다.
• 산업 자동화: 공장 환경에서 장치 내 품질 관리, 결함 탐지, 공정 모니터링을 수행합니다.
• 로보틱스: 자율 로봇과 드론에서 비전 기반 내비게이션, 장애물 회피, 객체 인식을 수행합니다.
• 스마트 농업: 농업 분야 컴퓨터 비전을 활용해 작물 건강 상태를 모니터링하고 해충을 탐지하며 수확량을 추정합니다.
• 리테일 분석: 실시간 엣지 추론으로 고객 동선 분석, 진열대 모니터링, 재고 추적을 수행합니다.

요약#

이 가이드에서는 Ultralytics YOLO 모델을 DEEPX 형식으로 내보내고 DEEPX NPU 하드웨어에 배포하는 방법을 살펴봤습니다. 내보내기 파이프라인은 INT8 캘리브레이션과 dx_com 컴파일러를 사용해 하드웨어에 최적화된 .dxnn 바이너리를 생성하며, dx_engine 런타임은 장치에서 추론을 처리합니다.

Ultralytics YOLO와 DEEPX의 NPU 기술을 결합하면 임베디드 및 엣지 장치에서 고급 컴퓨터 비전 워크로드를 실행하는 효과적인 솔루션을 제공하며, 실시간 애플리케이션에 높은 처리량과 낮은 전력 소비를 구현합니다.

사용법에 대한 자세한 내용은 DEEPX 공식 웹사이트를 참조하세요.

다른 Ultralytics YOLO 통합 기능에 대해 더 알아보려면 통합 가이드 페이지를 방문하세요. 유용한 자료와 인사이트를 확인하실 수 있습니다.

자주 묻는 질문#