Link to this sectionXuất Qualcomm QNN cho các model Ultralytics YOLO#

Việc triển khai các model thị giác máy tính trên thiết bị Qualcomm Snapdragon đòi hỏi một định dạng model được điều chỉnh cho runtime Qualcomm AI Engine Direct (QNN). Xuất các model Ultralytics YOLO sang định dạng QNN cho phép bạn chạy inference tăng tốc ngay trên thiết bị, tận dụng phần cứng CPU Snapdragon, GPU Adreno và Hexagon NPU có mặt trên hàng tỷ điện thoại di động, laptop, hệ thống ô tô và thiết bị IoT. Hướng dẫn này sẽ giải thích quy trình xuất YOLO sang Qualcomm QNN và cách triển khai để đạt được hiệu suất inference nhanh, tiêu thụ năng lượng thấp trên phần cứng Snapdragon.

Link to this sectionQualcomm QNN là gì?#

Qualcomm AI Engine Direct — thường được gọi là QNN và được phân phối như một phần của Qualcomm AI Runtime (QAIRT) SDK — là ngăn xếp suy luận cấp thấp của Qualcomm dành cho các bộ vi xử lý Snapdragon. Nó cung cấp một API thống nhất với các thư viện dành riêng cho backend nhắm mục tiêu đến CPU Snapdragon, GPU Adreno và Hexagon Tensor Processor (HTP), bộ xử lý mạng thần kinh (NPU) chuyên dụng bên trong các SoC Snapdragon hiện đại. QNN cung cấp cho các nhà phát triển quyền truy cập full-stack vào các bộ tăng tốc AI Snapdragon này và là phiên bản kế nhiệm hiện đại của SDK Snapdragon Neural Processing Engine (SNPE) cũ hơn. Nó hỗ trợ AI trên thiết bị cho các nền tảng di động Snapdragon 8 Gen 2, 8 Gen 3 và 8 Elite, máy tính xách tay Snapdragon X, cùng các sản phẩm ô tô và XR.

Link to this sectionTại sao cần xuất sang Qualcomm QNN?#

Snapdragon là nền tảng điện toán di động được triển khai rộng rãi nhất trên thế giới. Việc xuất Ultralytics YOLO sang định dạng Qualcomm QNN giúp mở khóa phần cứng AI chuyên dụng trên các thiết bị này:

• Tăng tốc Hexagon NPU: Chạy YOLO trên Hexagon Tensor Processor mang lại thông lượng cao hơn đáng kể và tiêu thụ năng lượng thấp hơn so với inference trên CPU — cực kỳ lý tưởng cho inference thời gian thực và các ứng dụng thị giác máy tính luôn hoạt động trên Snapdragon.
• Trên thiết bị và ngoại tuyến: QNN inference chạy hoàn toàn trên thiết bị Snapdragon, vì vậy không cần kết nối đám mây, độ trễ luôn thấp và dữ liệu không bao giờ rời khỏi thiết bị.
• Hiệu quả lượng tử hóa: Xuất QNN thực hiện lượng tử hóa model YOLO sang trọng số INT8 với các activation 16-bit, đây là sự cân bằng giữa độ chính xác/hiệu suất ưu tiên của Hexagon NPU, giúp thu nhỏ kích thước model và tối đa hóa khung hình trên giây (FPS) trên phần cứng chạy bằng pin.
• Một định dạng, nhiều thiết bị: Một lần xuất Qualcomm QNN duy nhất có thể nhắm mục tiêu vào CPU Snapdragon, GPU Adreno và Hexagon NPU trên các dòng chip Snapdragon 8 Gen 2, 8 Gen 3, 8 Elite và hơn thế nữa.
• Stack AI Qualcomm sẵn sàng cho sản xuất: QNN (Qualcomm AI Engine Direct / QAIRT) là runtime AI trên thiết bị hiện tại, được duy trì tích cực của Qualcomm và là giải pháp thay thế được khuyến nghị cho SNPE.

Link to this sectionĐịnh dạng xuất QNN#

Ultralytics biên dịch các model YOLO sang QNN tại chỗ (locally) bằng cách sử dụng ONNX Runtime QNN Execution Provider (gói onnxruntime-qnn có thể cài đặt qua pip, tích hợp sẵn các thư viện QAIRT). Trình xuất chuyển đổi model của bạn sang ONNX, lượng tử hóa nó bằng dữ liệu hiệu chỉnh sang các activation 16-bit và trọng số INT8 (sự cân bằng được khuyến nghị cho Hexagon NPU), sau đó khởi tạo phiên ONNX Runtime với tính năng bộ đệm context-binary được bật — quá trình này biên dịch biểu đồ đã lượng tử hóa thành một QNN context binary được nhúng trong <model>_qnn.onnx. Không cần tài khoản Qualcomm, upload lên đám mây hay tải xuống SDK riêng biệt.

Không giống như Qualcomm AI Hub dựa trên đám mây, nơi biên dịch và lập hồ sơ các mô hình trên các thiết bị Snapdragon được lưu trữ bởi Qualcomm và yêu cầu tài khoản Qualcomm, tính năng xuất QNN của Ultralytics chạy hoàn toàn trên máy cục bộ của bạn với một lệnh duy nhất export(format="qnn", imgsz=640) (imgsz=224 cho phân loại). Bạn nhận được cùng một mục tiêu runtime QNN/QAIRT — CPU Snapdragon, GPU Adreno và Hexagon NPU — mà không cần đăng ký, giới hạn tải lên hoặc thời gian chờ trong hàng đợi, và nó tích hợp thẳng vào quy trình xuất YOLO tiêu chuẩn.

Tệp *_qnn.onnx được xuất ra là một tệp độc lập: nó nhúng QNN context binary và các metadata ONNX như tên lớp, kích thước ảnh và tác vụ.

Link to this sectionCác tính năng chính của các model QNN#

• Lượng tử hóa: Model được lượng tử hóa sang các activation 16-bit và trọng số INT8 với luồng ONNX Runtime QNN QDQ và tập dữ liệu hiệu chỉnh, tạo ra sự cân bằng độ chính xác/hiệu suất được khuyến nghị cho Hexagon NPU. Tìm hiểu thêm về lượng tử hóa model.
• Biên dịch hoàn toàn tại chỗ: Context binary được tạo hoàn toàn trên máy chủ của bạn — không cần tài khoản Qualcomm, API token hoặc upload lên đám mây.
• Tăng tốc Snapdragon đầy đủ: Chạy inference trên Hexagon NPU (HTP), GPU Adreno hoặc CPU thông qua một runtime thống nhất duy nhất.
• Khả năng tiếp cận thiết bị rộng rãi: Nhắm mục tiêu đến phạm vi rộng lớn các nền tảng Snapdragon được tích hợp trong điện thoại, PC (Windows on Snapdragon), ô tô, XR và các sản phẩm nhúng.
• Context Binary được biên dịch trước: Việc vận chuyển một tệp context binary giúp giảm thiểu việc biên dịch biểu đồ trên thiết bị, giảm độ trễ khi tải model trên thiết bị mục tiêu.
• Đầu ra độc lập: Tệp ONNX đã xuất bao gồm QNN context binary được biên dịch trước và metadata để triển khai đơn giản.

Link to this sectionHiệu suất đo lường#

Link to this sectionĐiện thoại Android#

Phần cứng: Xiaomi 17 với bộ nhớ LPDDR5X 12 GB và Android 16 / API 36. Snapdragon 8 Elite Gen 5 (SM8850) 3 nm của nó có CPU Qualcomm Oryon 8 nhân (2 nhân Prime lên tới 4.6 GHz và 6 nhân Performance lên tới 3.62 GHz), GPU Adreno và Hexagon NPU (HTP v81).

• Speed values are single-image burst latencies — the mean of 15 runs after 3 warmup runs on bus.jpg, measured with the Flutter plugin's 0.6.10 on-device benchmark harness and the standardized v0.6.6 assets. Backend order rotated between tasks in one sequential sweep. Native logs confirmed that every CPU row used LiteRT CPU/XNNPACK, every GPU row delegated the complete graph to LiteRT OpenCL (LITERT_CL), and every NPU row used the QNN Hexagon HTP backend.
• Bản ghi kiểm tra hiệu năng chi tiết nằm trong tài liệu hiệu năng Flutter.
• So sánh các thiết bị Android khác trong tích hợp LiteRT và các thiết bị Apple trong tích hợp CoreML.

Link to this sectionMáy tính xách tay Windows on Snapdragon#

Đợt quét lịch sử này đã sử dụng các tệp nhị phân QNN v73 trước tiêu chuẩn; ngữ nghĩa và OBB đã sử dụng đầu vào 1024px. Nó chạy trên một máy tính xách tay Lenovo với bộ nhớ 32 GB và Windows 11. Snapdragon X Elite (X1E78100) của nó có CPU Qualcomm Oryon 12 nhân, GPU Adreno và Hexagon NPU (HTP v73); kiểu máy Lenovo chính xác không được ghi lại. So sánh Windows-on-Snapdragon này chạy đường cơ sở CPU PyTorch FP32 gốc mà hầu hết các nhà phát triển máy tính để bàn bắt đầu với đường dẫn ONNX Runtime QNN Hexagon HTP. Mỗi ô hiển thị tổng thời gian model.predict() với các thời gian tiền xử lý / suy luận / hậu xử lý được báo cáo bên dưới nó; tổng số có thể bao gồm chi phí chung của framework bên ngoài ba giai đoạn đó. Các số CPU là PyTorch FP32 (torch==2.10.0+cpu) và các số NPU là ONNX Runtime QNN (onnxruntime-qnn==2.2.0, trọng số INT8 / kích hoạt 16-bit).

• Các giá trị Tốc độ là độ trễ khi xử lý một ảnh trong thời gian ngắn — giá trị trung bình của 100 lần chạy sau 10 lần chạy khởi động trên bus.jpg, được đo bằng time.perf_counter() xung quanh toàn bộ lệnh gọi model.predict() trên một thiết bị đã ổn định nhiệt độ (ultralytics==8.4.67, Python 3.12.10).
• Hexagon NPU chạy nhanh hơn khoảng 2-4 lần so với baseline CPU PyTorch trên các tác vụ 640-1024 px (phát hiện đối tượng ~3.4 lần), thu hẹp xuống còn ~1.3 lần trên bộ phân loại 224 px nơi overhead tiền xử lý cố định chiếm ưu thế đối với khối lượng công việc nhỏ.

Link to this sectionCác tác vụ được hỗ trợ#

Xuất QNN hỗ trợ tập hợp tác vụ tiêu chuẩn có sẵn trong mỗi dòng model, bao gồm phân đoạn ngữ nghĩa YOLO26.

Link to this sectionXuất sang QNN: Chuyển đổi Model YOLO của bạn#

Xuất model Ultralytics YOLO sang định dạng QNN để triển khai trên phần cứng Snapdragon. Context binary được hoàn thiện cho một kiến trúc Hexagon Tensor Processor (HTP) mục tiêu mà bạn chọn bằng đối số name — cùng một đối số được sử dụng để nhắm mục tiêu chip trong xuất RKNN.

Link to this sectionCác kiến trúc HTP được hỗ trợ#

Truyền kiến trúc mục tiêu qua name (ví dụ: name="73"). Các giá trị hợp lệ:

Link to this sectionCài đặt#

Để cài đặt các gói cần thiết, hãy chạy:

# Install the required package for YOLO
pip install ultralytics

Gói onnxruntime-qnn (cung cấp ONNX Runtime QNN Execution Provider và đóng gói các thư viện QAIRT) được cài đặt tự động trong lần xuất đầu tiên. Để có hướng dẫn chi tiết và các phương pháp tốt nhất liên quan đến quy trình cài đặt, hãy kiểm tra hướng dẫn cài đặt Ultralytics của chúng tôi. Trong khi cài đặt các gói cần thiết cho YOLO, nếu bạn gặp bất kỳ khó khăn nào, hãy tham khảo hướng dẫn các vấn đề thường gặp để biết giải pháp và mẹo.

Link to this sectionCách sử dụng#

Định dạng QNN hỗ trợ các chế độ Export, Predict và Validate. Inference và validation chạy trên phần cứng Qualcomm Snapdragon thông qua ONNX Runtime's QNN Execution Provider (cùng gói onnxruntime-qnn được sử dụng để xuất). Hãy xuất model của bạn, sau đó tải model đã xuất trên thiết bị Snapdragon để chạy inference hoặc validate độ chính xác.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export to Qualcomm QNN format (INT8, enforced automatically), targeting an HTP architecture via 'name'
# 'name' can be one of 68, 69, 73, 75, 79, 81 (Snapdragon 888, 8 Gen 1, 8 Gen 2, 8 Gen 3, 8 Elite, 8 Elite Gen 5)
model.export(format="qnn", name="73", imgsz=640)  # use imgsz=224 for classification

from ultralytics import YOLO

# Load the exported QNN model (on a Snapdragon device with onnxruntime-qnn)
model = YOLO("yolo26n_qnn.onnx")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported QNN model (on a Snapdragon device with onnxruntime-qnn)
model = YOLO("yolo26n_qnn.onnx")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Link to this sectionĐối số xuất#

Để biết thêm chi tiết về quy trình xuất, hãy truy cập trang tài liệu của Ultralytics về việc xuất.

Link to this sectionCấu trúc đầu ra#

Sau khi xuất thành công, một tệp ONNX độc lập sẽ được tạo:

Tệp yolo26n_qnn.onnx nhúng QNN context binary và được tải bởi ONNX Runtime với QNN Execution Provider trên thiết bị Snapdragon. Nó cũng mang các metadata model như tên lớp, kích thước ảnh và tác vụ trong metadata_props của ONNX.

Link to this sectionTriển khai các Model YOLO QNN đã xuất#

Các model QNN chạy trên phần cứng Qualcomm Snapdragon, giúp triển khai model trên thiết bị trở nên đơn giản. Trên thiết bị Snapdragon đã cài đặt onnxruntime-qnn, hãy chạy trực tiếp model đã xuất bằng API Ultralytics (yolo predict/yolo val, xem Cách sử dụng ở trên) — Ultralytics tải context binary thông qua ONNX Runtime QNN Execution Provider và chọn backend HTP (NPU), GPU hoặc CPU.

Đối với các pipeline tùy chỉnh, bạn cũng có thể tải ONNX context-binary trực tiếp bằng ONNX Runtime. onnxruntime-qnn là một plugin Execution Provider, vì vậy hãy đăng ký nó khi chạy:

import onnxruntime as ort
import onnxruntime_qnn as qnn_ep

# On the Snapdragon device, register the QNN plugin EP and select its device(s)
ort.register_execution_provider_library("QNNExecutionProvider", qnn_ep.get_library_path())
devices = [d for d in ort.get_ep_devices() if d.ep_name == "QNNExecutionProvider"]

options = ort.SessionOptions()
options.add_provider_for_devices(devices, {"backend_path": qnn_ep.get_qnn_htp_path()})
session = ort.InferenceSession("yolo26n_qnn.onnx", sess_options=options)
input_info = session.get_inputs()[0]
outputs = session.run(None, {input_info.name: input_tensor})  # input_tensor: float32 NHWC

Vì QNN context binary được biên dịch trước, phiên làm việc sẽ tải nhanh chóng mà không cần biên dịch lại biểu đồ trên thiết bị.

Link to this sectionQuy trình làm việc được đề xuất#

1. Huấn luyện model của bạn bằng Train Mode của Ultralytics
2. Xuất sang định dạng QNN bằng cách sử dụng model.export(format="qnn", imgsz=640) trên một nền tảng được hỗ trợ (sử dụng imgsz=224 cho phân loại)
3. Triển khai tệp *_qnn.onnx đã xuất tới thiết bị Snapdragon của bạn
4. Chạy inference với ONNX Runtime và QNN Execution Provider, chọn backend HTP, GPU hoặc CPU

Link to this sectionỨng dụng trong thực tế#

Các model YOLO chạy trên phần cứng Qualcomm Snapdragon rất phù hợp cho nhiều ứng dụng edge AI:

• Điện thoại thông minh: Phát hiện đối tượng theo thời gian thực và hiểu cảnh trong các ứng dụng máy ảnh và ảnh với sự tăng tốc của NPU.
• Windows on Snapdragon: Thị giác máy tính trên thiết bị trong các PC Copilot+ mà không cần offload lên đám mây.
• Ô tô: Giám sát người lái, phát hiện hành khách và các tính năng ADAS trên nền tảng Snapdragon Digital Chassis.
• XR và Thiết bị đeo: Khả năng nhận thức độ trễ thấp, tiêu thụ năng lượng thấp cho kính AR/VR và kính thông minh.
• IoT và Robotics: Inference thị giác hiệu quả trên camera, máy bay không người lái và các hệ thống nhúng chạy bằng Snapdragon.

Link to this sectionTóm tắt#

Trong hướng dẫn này, bạn đã học cách xuất các model Ultralytics YOLO sang định dạng Qualcomm QNN tại chỗ với ONNX Runtime QNN Execution Provider. Pipeline xuất chuyển đổi model của bạn sang ONNX, sau đó biên dịch nó thành QNN context binary trên máy chủ của bạn — không cần tài khoản Qualcomm hoặc đám mây — tạo ra một tệp *_qnn.onnx được tối ưu hóa cho phần cứng CPU Snapdragon, GPU Adreno và Hexagon NPU thông qua runtime QNN/QAIRT.

Sự kết hợp giữa Ultralytics YOLO và stack AI trên thiết bị của Qualcomm cung cấp một giải pháp hiệu quả để chạy các khối lượng công việc thị giác máy tính tiên tiến trên toàn bộ hệ sinh thái Snapdragon rộng lớn.

Đối với các mục tiêu triển khai trên thiết bị và di động khác, hãy xem các hướng dẫn xuất ONNX, CoreML, NCNN, LiteRT, ExecuTorch, RKNN, Sony IMX500 và TensorRT liên quan. Để so sánh các định dạng trước khi triển khai, hãy sử dụng chế độ Benchmark. Để biết danh sách đầy đủ các định dạng và tùy chọn, hãy truy cập tài liệu về chế độ Export và trang hướng dẫn tích hợp.

Link to this sectionCâu hỏi thường gặp#

Link to this sectionLàm thế nào để tôi xuất model Ultralytics YOLO của mình sang định dạng QNN?#

Bạn có thể xuất mô hình của mình bằng cách sử dụng export(format="qnn", imgsz=640) (imgsz=224 cho phân loại) hoặc các đối số CLI tương đương. Thao tác xuất trước tiên tạo một mô hình ONNX, sau đó biên dịch nó cục bộ thành một tệp nhị phân ngữ cảnh QNN bằng cách sử dụng ONNX Runtime QNN Execution Provider. Gói onnxruntime-qnn được cài đặt tự động trong lần xuất đầu tiên.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(format="qnn", imgsz=640)  # use imgsz=224 for classification

Link to this sectionTôi có cần tài khoản Qualcomm hoặc quyền truy cập đám mây không?#

Không. Xuất QNN chạy hoàn toàn trên máy cục bộ của bạn bằng gói onnxruntime-qnn, gói này tích hợp các thư viện QAIRT. Không cần tài khoản Qualcomm, API token hoặc truy cập mạng.

Link to this sectionXuất Ultralytics QNN so với Qualcomm AI Hub như thế nào?#

Qualcomm AI Hub là dịch vụ đám mây của Qualcomm để biên dịch, profiling và benchmark các model trên các thiết bị Snapdragon được lưu trữ, và nó yêu cầu tài khoản Qualcomm. Xuất Ultralytics QNN nhắm mục tiêu vào cùng một runtime QNN/QAIRT (CPU Snapdragon, GPU Adreno và Hexagon NPU) nhưng biên dịch context binary tại chỗ với ONNX Runtime QNN Execution Provider — không tài khoản, không upload và không hàng đợi. Đây là cách nhanh nhất để đi từ một model .pt sang một bản build sẵn sàng cho Snapdragon trực tiếp bên trong quy trình xuất YOLO tiêu chuẩn.

Link to this sectionTôi có thể xuất trên những nền tảng nào?#

onnxruntime-qnn cung cấp các wheel xây dựng sẵn cho Windows (x64 và ARM64) và Linux ARM64 (aarch64); trên Linux x86-64, hãy tự build ONNX Runtime từ mã nguồn với --use_qnn (không có wheel xây dựng sẵn, và macOS không phải là host QNN được hỗ trợ). Việc tạo context-binary chạy trên host x64 — Windows x64 hoặc Linux x86-64 — và không yêu cầu thiết bị Snapdragon vật lý.

Link to this sectionLàm thế nào để tôi chạy YOLO trên Qualcomm Snapdragon NPU?#

Xuất với model.export(format="qnn", imgsz=640) (imgsz=224 cho phân loại), sao chép tệp yolo26n_qnn.onnx kết quả sang thiết bị Snapdragon của bạn và chạy yolo predict model=yolo26n_qnn.onnx source=image.jpg (hoặc yolo val). Ultralytics tải tệp nhị phân ngữ cảnh thông qua ONNX Runtime QNN Execution Provider và chạy nó trên Hexagon NPU — xem Triển khai Các mô hình YOLO QNN đã xuất.

Link to this sectionSự khác biệt giữa QNN và SNPE là gì?#

QNN (Qualcomm AI Engine Direct, một phần của QAIRT SDK) là stack inference hiện tại của Qualcomm và là giải pháp thay thế được khuyến nghị cho bộ SDK Snapdragon Neural Processing Engine (SNPE) cũ hơn. Các triển khai mới nên nhắm mục tiêu vào QNN.

Link to this sectionTôi có thể chạy một model QNN với yolo predict và yolo val không?#

Có, trên một thiết bị Qualcomm Snapdragon đã cài đặt onnxruntime-qnn — YOLO("yolo26n_qnn.onnx") sẽ tải context binary thông qua QNN Execution Provider và chạy predict/val giống như bất kỳ định dạng nào khác. Trên host x86 không có phần cứng QNN, model không thể thực thi vì context binary nhắm mục tiêu đến Snapdragon NPU.

Link to this sectionĐầu ra của một bản xuất QNN là gì?#

Quá trình xuất tạo ra một tệp ONNX context-binary độc lập (ví dụ: yolo26n_qnn.onnx) với tên lớp, kích thước ảnh, tác vụ và các metadata model khác được nhúng trong metadata_props của ONNX.