Export DEEPX cho model Ultralytics YOLO#

Việc triển khai các model thị giác máy tính trên phần cứng NPU chuyên dụng yêu cầu định dạng model tương thích và được tối ưu hóa. Export model Ultralytics YOLO sang định dạng DEEPX cho phép suy luận hiệu quả với lượng tử hóa INT8 trên các bộ tăng tốc NPU DEEPX. Hướng dẫn này sẽ giúp bạn chuyển đổi model YOLO sang định dạng DEEPX và triển khai chúng trên phần cứng hỗ trợ DEEPX.

DEEPX là gì?#

DEEPX là một công ty bán dẫn AI chuyên về các Bộ xử lý thần kinh (NPUs), được thiết kế để suy luận deep learning tiết kiệm điện năng tại edge. NPU DEEPX được thiết kế cho các ứng dụng AI nhúng và công nghiệp đòi hỏi cao, mang lại thông lượng lớn với mức tiêu thụ điện năng tối thiểu. Phần cứng của họ đặc biệt phù hợp với các kịch bản triển khai khi kết nối cloud không ổn định hoặc không mong muốn, chẳng hạn như robot, camera thông minh và hệ thống tự động hóa công nghiệp.

Định dạng Export DEEPX#

Export DEEPX tạo ra một binary model .dxnn đã biên dịch và được tối ưu hóa để thực thi trên phần cứng NPU DEEPX. Pipeline biên dịch sử dụng bộ công cụ dx_com để thực hiện lượng tử hóa INT8 và tối ưu hóa dành riêng cho phần cứng, tạo ra một thư mục model độc lập, sẵn sàng triển khai.

Các tính năng chính của model DEEPX#

Model DEEPX mang lại một số lợi thế cho việc triển khai tại edge:

• Lượng tử hóa INT8: Model được lượng tử hóa xuống độ chính xác INT8 trong quá trình export, giúp giảm đáng kể kích thước model và tối đa hóa thông lượng NPU. Tìm hiểu thêm về lượng tử hóa model.
• Tối ưu hóa cho NPU: Định dạng .dxnn được biên dịch riêng cho phần cứng NPU DEEPX, tận dụng các đơn vị tăng tốc chuyên dụng để suy luận nhanh và hiệu quả.
• Mức tiêu thụ điện năng thấp: Bằng cách chuyển tác vụ suy luận sang NPU, model DEEPX tiêu thụ ít điện năng hơn nhiều so với suy luận tương đương trên CPU hoặc GPU.
• Độ chính xác dựa trên calibration: Export sử dụng calibration dựa trên EMA với ảnh từ dataset thực để giảm thiểu việc suy giảm độ chính xác trong quá trình lượng tử hóa.
• Output độc lập: Thư mục model đã export bao gồm binary đã biên dịch, cấu hình calibration và metadata để triển khai đơn giản.

Các Task được hỗ trợ#

Export DEEPX hỗ trợ cả bảy tác vụ của Ultralytics. Phân đoạn ngữ nghĩa và ước tính độ sâu chỉ khả dụng với YOLO26, dòng duy nhất được phát hành cùng các head đó.

Export sang DEEPX: Chuyển đổi model YOLO của bạn#

Export model Ultralytics YOLO sang định dạng DEEPX và chạy suy luận với model đã export.

Cài đặt#

Để cài đặt các package bắt buộc, hãy chạy:

# Install the required package for YOLO
pip install ultralytics

Trình biên dịch dx_com được cài đặt tự động từ kho lưu trữ DEEPX SDK trong lần xuất đầu tiên. Quy trình xuất hiện tại sử dụng DX-COM 2.3.0, cung cấp các gói wheel cho Python 3.8–3.12 trên hệ thống x86-64 Linux chạy glibc 2.31 trở lên.

Các bản phát hành PyPI của trình biên dịch đã bị thu hồi. Để cài đặt trước các phụ thuộc xuất, hãy cung cấp trang wheel SDK với --find-links; cách này hoạt động với cả pip và uv pip:

pip install "ultralytics[export-deepx]" --find-links https://sdk.deepx.ai/release/dxcom/v2.3.0/index.html

Đối với quá trình cài đặt kho lưu trữ có thể chỉnh sửa, hãy thay thế "ultralytics[export-deepx]" bằng -e ".[export-base,export-deepx]". Để tái tạo môi trường Python 3.12 và quá trình kiểm tra xuất khói được CI sử dụng, hãy chạy trình xây dựng môi trường hiện có từ thư mục gốc của kho lưu trữ:

ULTRALYTICS_ISOLATED_VENVS="$PWD/.venvs" python .github/scripts/create-export-env.py --env isolated-deepx

Trình xây dựng môi trường yêu cầu uv và một bản sao Ultralytics đã được cài đặt. Trình xây dựng này sẽ cài đặt trình biên dịch từ mã nguồn SDK và tự động áp dụng các ràng buộc phụ thuộc đã được kiểm thử.

Cách sử dụng#

Định dạng DEEPX hỗ trợ các mode Export, Predict và Validate. Suy luận và validation chạy trên phần cứng NPU DEEPX. Hãy export model, sau đó load model đã export để chạy suy luận hoặc validation độ chính xác.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to DEEPX format (quantize=8 is enforced automatically)
model.export(format="deepx")  # creates 'yolo26n_deepx_model/'

from ultralytics import YOLO

# Load the exported DEEPX model
model = YOLO("yolo26n_deepx_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported DEEPX model
model = YOLO("yolo26n_deepx_model")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Đối số Export#

Để biết thêm chi tiết về quy trình export, hãy truy cập trang tài liệu Ultralytics về export.

Cấu trúc Output#

Sau khi export thành công, một thư mục model sẽ được tạo với cấu trúc sau:

yolo26n_deepx_model/
├── yolo26n.dxnn     # Compiled DEEPX model binary (NPU executable)
├── config.json      # Calibration and preprocessing configuration
└── metadata.yaml    # Model metadata (classes, image size, task, etc.)

File .dxnn là binary model đã biên dịch mà runtime dx_engine load trực tiếp trên NPU. File metadata.yaml chứa tên class, kích thước ảnh và các thông tin khác được pipeline suy luận của Ultralytics sử dụng.

Triển khai model YOLO DEEPX đã export#

Sau khi export thành công model Ultralytics YOLO sang định dạng DEEPX, bước tiếp theo là triển khai các model này trên phần cứng NPU DEEPX.

Cài đặt runtime#

Suy luận yêu cầu driver NPU DEEPX, runtime libdxrt và package Python dx_engine.

# Install the NPU driver and libdxrt runtime
sudo apt update
wget https://github.com/DEEPX-AI/dx_rt_npu_linux_driver/raw/main/release/2.4.1/dxrt-driver-dkms_2.4.1-2_all.deb
sudo apt install ./dxrt-driver-dkms_2.4.1-2_all.deb
wget https://github.com/DEEPX-AI/dx_rt/raw/main/release/3.3.2/libdxrt_3.3.2_all.deb
sudo apt install ./libdxrt_3.3.2_all.deb

# Create dx-engine wheel
cd /usr/share/libdxrt/python_package && sudo ./make_whl.sh

# Install the bundled dx_engine Python wheel
pip install dx_engine-*.whl

Xác minh runtime đã được cài đặt đúng bằng dxrt-cli --version. Bạn sẽ thấy output tương tự như sau:

DXRT v3.3.2
Minimum Driver Versions
Device Driver: v2.4.0
PCIe Driver: v2.2.0
Firmware: v2.5.2
Minimum Compiler Versions
Compiler: v1.18.1
.dxnn File Format: v6

Sau khi cài đặt runtime, hãy chạy suy luận và validation trên thiết bị DEEPX chính xác như trong phần Usage ở trên — model _deepx_model đã export sẽ được load trực tiếp bằng YOLO(...).

Trực quan hóa với dxtron#

dxtron là graph visualizer của DEEPX để kiểm tra model .dxnn đã biên dịch.

Cài đặt dxtron trên Linux x86-64 bằng cách tải package .deb từ DEEPX SDK và cài đặt package này qua dpkg:

wget https://sdk.deepx.ai/release/dxtron/v2.0.1/dxtron_2.0.1_amd64.deb
sudo dpkg -i dxtron_2.0.1_amd64.deb

Sau đó mở model đã export:

dxtron yolo26n_deepx_model/yolo26n.dxnn

Benchmark#

Đội ngũ Ultralytics đã benchmark các model YOLO26, so sánh tốc độ và độ chính xác giữa PyTorch và DEEPX.

Hiệu năng

Raspberry Pi 5 + Module DX-M1 M.2Sắp có thêm thiết bị!

Model	Định dạng	Trạng thái	Kích thước (MB)	metrics/mAP50-95(B)	Thời gian suy luận (ms/im)
YOLO26n	PyTorch	✅	5.3	0.4760	315.2
YOLO26n	DEEPX	✅	6.6	0.4660	34.6
YOLO26n-seg	PyTorch	✅	6.5	0.4080	485.4
YOLO26n-seg	DEEPX	✅	7.9	0.3920	53.8
YOLO26n-pose	PyTorch	✅	7.6	0.4230	506.3
YOLO26n-pose	DEEPX	✅	8.8	0.4590	37.6
YOLO26n-obb	PyTorch	✅	5.7	0.817	1094.4
YOLO26n-obb	DEEPX	✅	7.3	0.783	56.4

Model	Định dạng	Trạng thái	Kích thước (MB)	acc (top1)	acc (top5)	Thời gian suy luận (ms/im)
YOLO26n-cls	PyTorch	✅	5.6	0.431	0.716	23.8
YOLO26n-cls	DEEPX	✅	5.9	0.333	0.686	2.7

Lưu ý

Việc kiểm định cho các benchmark trên được thực hiện bằng cách sử dụng COCO128 cho bài toán phát hiện, COCO128-seg cho phân đoạn, COCO8-pose cho ước lượng tư thế, ImageNet100 cho phân loại và DOTA128 cho các model OBB. Thời gian suy luận không bao gồm quá trình tiền xử lý/hậu xử lý.

sudo nano /boot/firmware/config.txt

dtparam=pciex1
dtparam=pciex1_gen=3

sudo reboot

sudo lspci -vvv | grep -iA 33 accelerators | grep -E "LnkCap|LnkSta"

Workflow Khuyến nghị#

1. Train model bằng Ultralytics Train Mode
2. Export sang định dạng DEEPX bằng model.export(format="deepx")
3. Validate độ chính xác bằng yolo val để xác minh mức mất mát quantization tối thiểu
4. Predict bằng yolo predict để validation định tính
5. Triển khai thư mục _deepx_model/ đã export lên phần cứng NPU DEEPX bằng runtime dx_engine

Ứng dụng thực tế#

Các model YOLO được triển khai trên phần cứng NPU DEEPX rất phù hợp với nhiều ứng dụng AI tại edge:

• Giám sát thông minh: Phát hiện vật thể theo thời gian thực cho các hệ thống an ninh và giám sát, với mức tiêu thụ điện năng thấp và không phụ thuộc vào cloud.
• Tự động hóa công nghiệp: Kiểm soát chất lượng, phát hiện lỗi và giám sát quy trình ngay trên thiết bị trong môi trường nhà máy.
• Robot: Điều hướng dựa trên thị giác, tránh chướng ngại vật và nhận dạng vật thể trên robot tự hành và drone.
• Nông nghiệp thông minh: Giám sát sức khỏe cây trồng, phát hiện sâu bệnh và ước tính năng suất bằng thị giác máy tính trong nông nghiệp.
• Phân tích bán lẻ: Phân tích luồng khách hàng, giám sát kệ hàng và theo dõi tồn kho với suy luận tại edge theo thời gian thực.

Tóm tắt#

Trong hướng dẫn này, bạn đã tìm hiểu cách export model Ultralytics YOLO sang định dạng DEEPX và triển khai chúng trên phần cứng NPU DEEPX. Pipeline export sử dụng calibration INT8 và compiler dx_com để tạo binary .dxnn được tối ưu hóa cho phần cứng, trong khi runtime dx_engine xử lý suy luận trên thiết bị.

Sự kết hợp giữa Ultralytics YOLO và công nghệ NPU của DEEPX cung cấp một giải pháp hiệu quả để chạy các workload thị giác máy tính nâng cao trên thiết bị nhúng và edge — mang lại thông lượng cao với mức tiêu thụ điện năng thấp cho các ứng dụng thời gian thực.

Để biết thêm chi tiết về cách sử dụng, hãy truy cập website chính thức của DEEPX.

Ngoài ra, nếu muốn tìm hiểu thêm về các tích hợp Ultralytics YOLO khác, hãy truy cập trang hướng dẫn tích hợp của chúng tôi. Bạn sẽ tìm thấy nhiều tài nguyên và thông tin hữu ích tại đó.

FAQ#