Exportación a Qualcomm QNN para modelos Ultralytics YOLO#

Para implementar modelos de visión artificial en dispositivos Qualcomm Snapdragon se necesita un formato de modelo adaptado al entorno de ejecución Qualcomm AI Engine Direct (QNN). Exportar modelos Ultralytics YOLO al formato QNN permite ejecutar inferencias aceleradas en el propio dispositivo, mediante CPU Snapdragon, GPU Adreno y hardware NPU Hexagon presente en miles de millones de teléfonos móviles, portátiles, sistemas de automoción y dispositivos IoT. Esta guía explica cómo exportar YOLO a Qualcomm QNN e implementarlo para obtener inferencias rápidas y de bajo consumo en hardware Snapdragon.

¿Qué es Qualcomm QNN?#

Qualcomm AI Engine Direct — conocido habitualmente como QNN y distribuido como parte del SDK Qualcomm AI Runtime (QAIRT) — es la pila de inferencia de bajo nivel de Qualcomm para procesadores Snapdragon. Ofrece una API unificada con bibliotecas específicas para cada backend, dirigidas a la CPU Snapdragon, la GPU Adreno y el procesador tensorial Hexagon (HTP), la unidad de procesamiento de redes neuronales (NPU) dedicada que incorporan los SoC Snapdragon modernos. QNN proporciona a los desarrolladores acceso a toda la pila de estos aceleradores de IA Snapdragon y es el sucesor moderno del antiguo SDK Snapdragon Neural Processing Engine (SNPE). Impulsa la IA en el propio dispositivo en las plataformas móviles Snapdragon 8 Gen 2, 8 Gen 3 y 8 Elite, los portátiles Snapdragon X y los productos de automoción y XR.

¿Por qué exportar a Qualcomm QNN?#

Snapdragon es la plataforma de computación móvil más extendida del mundo. Exportar Ultralytics YOLO al formato Qualcomm QNN permite aprovechar el hardware de IA dedicado de estos dispositivos:

• Aceleración de la NPU Hexagon: Ejecutar YOLO en el procesador tensorial Hexagon ofrece un rendimiento muy superior y un consumo menor que la inferencia en CPU, algo ideal para la inferencia en tiempo real y la visión artificial siempre activa en Snapdragon.
• En el dispositivo y sin conexión: La inferencia QNN se ejecuta íntegramente en el dispositivo Snapdragon, así que no hay comunicaciones de ida y vuelta con la nube, la latencia se mantiene baja y los datos nunca salen del dispositivo.
• Eficiencia de la cuantización: La exportación QNN cuantiza YOLO con pesos INT8 y activaciones de 16 bits, el equilibrio entre precisión y rendimiento preferido por la NPU Hexagon. Así reduce el tamaño del modelo y maximiza los fotogramas por segundo en hardware alimentado por batería.
• Un formato para muchos dispositivos: Una única exportación a Qualcomm QNN es compatible con la CPU Snapdragon, la GPU Adreno y la NPU Hexagon de las familias Snapdragon 8 Gen 2, 8 Gen 3 y 8 Elite, entre otras.
• Pila de IA de Qualcomm lista para producción: QNN (Qualcomm AI Engine Direct / QAIRT) es el entorno de ejecución de IA actual de Qualcomm para dispositivos, recibe mantenimiento activo y es la alternativa recomendada a SNPE.

Formato de exportación QNN#

Ultralytics compila los modelos YOLO a QNN localmente mediante el proveedor de ejecución QNN de ONNX Runtime (el paquete onnxruntime-qnn, instalable con pip, que incluye las bibliotecas QAIRT). El exportador convierte el modelo a ONNX, lo cuantiza con datos de calibración para obtener activaciones de 16 bits y pesos INT8 (el equilibrio recomendado para la NPU Hexagon) y, a continuación, inicializa una sesión de ONNX Runtime con el almacenamiento en caché del binario de contexto activado; esto compila el grafo cuantizado en un binario de contexto QNN integrado en <model>_qnn.onnx. No hace falta una cuenta de Qualcomm, subir archivos a la nube ni descargar un SDK por separado.

A diferencia de Qualcomm AI Hub, basado en la nube, que compila y perfila modelos en dispositivos Snapdragon alojados por Qualcomm y requiere una cuenta de Qualcomm, la exportación QNN de Ultralytics se ejecuta íntegramente en tu propio equipo con una sola llamada a export(format="qnn", imgsz=640) (imgsz=224 para clasificación). Obtienes el mismo destino de ejecución QNN/QAIRT — CPU Snapdragon, GPU Adreno y NPU Hexagon — sin registrarte, límites de carga ni tiempos de espera, y se integra directamente en el flujo de trabajo de exportación estándar de YOLO.

El archivo *_qnn.onnx exportado es autónomo: incluye el binario de contexto QNN y metadatos de ONNX, como los nombres de las clases, el tamaño de imagen y la tarea.

Funciones principales de los modelos QNN#

• Cuantización: El modelo se cuantiza con activaciones de 16 bits y pesos INT8 mediante el flujo QDQ de ONNX Runtime QNN y un conjunto de datos de calibración, el equilibrio entre precisión y rendimiento recomendado para la NPU Hexagon. Más información sobre la cuantización de modelos.
• Compilación íntegramente local: El binario de contexto se genera por completo en tu equipo anfitrión, sin cuenta de Qualcomm, token de API ni cargas a la nube.
• Aceleración completa de Snapdragon: Ejecuta inferencias en la NPU Hexagon (HTP), la GPU Adreno o la CPU mediante un único entorno de ejecución unificado.
• Amplia compatibilidad con dispositivos: Compatible con la amplia gama de plataformas Snapdragon que se encuentran en teléfonos, PC (Windows en Snapdragon), automoción, XR y productos integrados.
• Binario de contexto precompilado: Distribuir un binario de contexto minimiza la compilación del grafo en el dispositivo y reduce la latencia de carga del modelo en el dispositivo de destino.
• Resultado autónomo: El archivo ONNX exportado incluye el binario de contexto QNN precompilado y metadatos para facilitar la implementación.

Rendimiento medido#

Teléfono Android#

Hardware: Xiaomi 17 con 12 GB de memoria LPDDR5X y Android 16 / API 36. Su Snapdragon 8 Elite Gen 5 de 3 nm (SM8850) cuenta con una CPU Qualcomm Oryon de 8 núcleos (2 núcleos Prime de hasta 4,6 GHz y 6 núcleos Performance de hasta 3,62 GHz), GPU Adreno y NPU Hexagon (HTP v81).

• Los valores de velocidad son latencias de ráfaga de una sola imagen: la media de 15 ejecuciones tras 3 ejecuciones de calentamiento en bus.jpg, medida con el arnés de pruebas de rendimiento en el dispositivo 0.6.10 del complemento de Flutter y los recursos estandarizados v0.6.6. El orden de los backends fue rotando entre tareas en una única secuencia. Los registros nativos confirmaron que todas las filas de CPU utilizaron LiteRT CPU/XNNPACK, todas las filas de GPU delegaron el grafo completo a LiteRT OpenCL (LITERT_CL) y todas las filas de NPU utilizaron el backend QNN Hexagon HTP.
• El registro detallado de las pruebas de rendimiento está disponible en el documento de rendimiento de Flutter.
• Compara otros dispositivos Android en la integración con LiteRT y dispositivos Apple en la integración con CoreML.

Portátil con Windows en Snapdragon#

Esta prueba histórica utilizó binarios QNN v73 anteriores a la estandarización; la segmentación semántica y OBB utilizaron entradas de 1024 px. Se ejecutó en un portátil Lenovo con 32 GB de memoria y Windows 11. Su Snapdragon X Elite (X1E78100) cuenta con una CPU Qualcomm Oryon de 12 núcleos, GPU Adreno y NPU Hexagon (HTP v73); no se registró el modelo exacto de Lenovo. Esta comparación de Windows en Snapdragon ejecuta la referencia nativa de CPU PyTorch FP32 con la que empiezan la mayoría de los desarrolladores de equipos de sobremesa frente a la ruta ONNX Runtime QNN Hexagon HTP. Cada celda muestra el tiempo de ejecución total de model.predict() y, debajo, los tiempos comunicados de preprocesamiento / inferencia / posprocesamiento; el total puede incluir la sobrecarga del framework ajena a estas tres etapas. Los valores de CPU corresponden a PyTorch FP32 (torch==2.10.0+cpu) y los de NPU, a ONNX Runtime QNN (onnxruntime-qnn==2.2.0, pesos INT8 / activaciones de 16 bits).

• Los valores de Speed son latencias de ráfaga de una sola imagen: la media de 100 ejecuciones tras 10 ejecuciones de calentamiento en bus.jpg, medidas con time.perf_counter() alrededor de la llamada completa a model.predict() en un dispositivo que ha recuperado su temperatura normal (ultralytics==8.4.67, Python 3.12.10).
• La NPU Hexagon es aproximadamente 2-4 veces más rápida que la referencia de CPU con PyTorch en las tareas de 640-1024 px (~3.4 veces en detección); la diferencia se reduce a ~1.3 veces en el clasificador de 224 px, donde domina la sobrecarga fija del preprocesamiento frente a la pequeña carga de trabajo.

Tareas compatibles#

La exportación de Qualcomm QNN es compatible con las siete tareas de Ultralytics. La segmentación semántica y la estimación de profundidad solo están disponibles con YOLO26, la única familia que incluye esas cabezas.

Exportar a QNN: convertir tu modelo YOLO#

Exporta un modelo Ultralytics YOLO al formato QNN para implementarlo en hardware de Qualcomm. El binario de contexto se finaliza para una arquitectura Hexagon Tensor Processor (HTP) de destino o un SoC compatible, que se selecciona con el argumento name, el mismo argumento que se usa para seleccionar un chip al exportar a RKNN.

Destinos HTP compatibles#

Indica la arquitectura de destino o el SoC mediante name (por ejemplo, name="73" o name="iq-8275"). La compatibilidad depende del destino HTP, por lo que las filas de Snapdragon de abajo muestran plataformas representativas, no una lista exhaustiva de todos los SoC. Los dispositivos Dragonwing se indican explícitamente.

Dragonwing IQ-615 no puede usar la exportación de Ultralytics a binario de contexto QNN porque ONNX Runtime no expone su DSP v66 como destino HTP sin conexión. Aun así, puedes integrar por separado una exportación ONNX estándar con un proveedor de ejecución de CPU o GPU compatible con el BSP de la placa.

from ultralytics import YOLO

model = YOLO("best.pt")
model.export(format="qnn", name="iq-8275", imgsz=640)

Instalación#

Para instalar los paquetes necesarios, ejecuta:

# Install the required package for YOLO
pip install ultralytics

El paquete onnxruntime-qnn (que proporciona el proveedor de ejecución QNN de ONNX Runtime e incluye las bibliotecas QAIRT) se instala automáticamente en la primera exportación. Para obtener instrucciones detalladas y recomendaciones sobre el proceso de instalación, consulta nuestra guía de instalación de Ultralytics. Si tienes algún problema al instalar los paquetes necesarios para YOLO, consulta nuestra guía de problemas frecuentes, donde encontrarás soluciones y consejos.

Uso#

El formato QNN es compatible con los modos Export, Predict y Validate. La inferencia y la validación se ejecutan en hardware Qualcomm Snapdragon mediante el proveedor de ejecución QNN de ONNX Runtime (el mismo paquete onnxruntime-qnn que se usa para la exportación). Exporta tu modelo y, después, cárgalo en un dispositivo Snapdragon para ejecutar la inferencia o validar su precisión.

from ultralytics import YOLO

# Carga un modelo YOLO26
model = YOLO("yolo26n.pt")

# # Exportar al formato Qualcomm QNN (INT8, aplicado automáticamente) para el destino HTP v73 predeterminado
model.export(format="qnn", name="73", imgsz=640)  # usa imgsz=224 para clasificación

from ultralytics import YOLO

# # Cargar el modelo QNN exportado (en un dispositivo Snapdragon con onnxruntime-qnn)
model = YOLO("yolo26n_qnn.onnx")

# Ejecutar inferencia
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# # Cargar el modelo QNN exportado (en un dispositivo Snapdragon con onnxruntime-qnn)
model = YOLO("yolo26n_qnn.onnx")

# Valida la precisión con el conjunto de datos COCO8
metrics = model.val(data="coco8.yaml")

Argumentos de exportación#

Para obtener más información sobre el proceso de exportación, visita la página de documentación de Ultralytics sobre exportación.

Estructura de salida#

Tras una exportación correcta, se crea un archivo ONNX autónomo:

El archivo yolo26n_qnn.onnx incorpora el binario de contexto QNN y ONNX Runtime lo carga con el proveedor de ejecución QNN en el dispositivo Snapdragon. También contiene metadatos del modelo, como los nombres de las clases, el tamaño de imagen y la tarea, en ONNX metadata_props.

Implementar modelos YOLO QNN exportados#

Los modelos QNN se ejecutan en hardware Qualcomm compatible, lo que facilita la implementación de modelos en el dispositivo. En un dispositivo compatible con onnxruntime-qnn instalado, ejecuta directamente el modelo exportado con la API de Ultralytics (yolo predict/yolo val; consulta Uso más arriba): Ultralytics carga el binario de contexto HTP mediante el proveedor de ejecución QNN de ONNX Runtime.

Para tus propias canalizaciones, también puedes cargar directamente el ONNX del binario de contexto con ONNX Runtime. onnxruntime-qnn es un proveedor de ejecución (EP) de complemento, así que regístralo durante la ejecución:

import onnxruntime as ort
import onnxruntime_qnn as qnn_ep

# # En el dispositivo Snapdragon, registra el EP del complemento QNN y selecciona sus dispositivos
ort.register_execution_provider_library("QNNExecutionProvider", qnn_ep.get_library_path())
devices = [d for d in ort.get_ep_devices() if d.ep_name == "QNNExecutionProvider"]

options = ort.SessionOptions()
options.add_provider_for_devices(devices, {"backend_path": qnn_ep.get_qnn_htp_path()})
session = ort.InferenceSession("yolo26n_qnn.onnx", sess_options=options)
input_info = session.get_inputs()[0]
outputs = session.run(None, {input_info.name: input_tensor})  # input_tensor: float32 NHWC

Como el binario de contexto QNN está precompilado, la sesión se carga rápidamente sin recompilar el grafo en el dispositivo.

Requisitos de Linux y del BSP de Yocto#

La placa de destino debe proporcionar un entorno de ejecución de Qualcomm y un BSP mutuamente compatibles. Para la inferencia HTP, esto incluye el proveedor de ejecución QNN de ONNX Runtime, libQnnSystem.so, libQnnHtp.so, las bibliotecas stub y skeleton de HTP v75 para IQ-8275, compatibilidad con FastRPC en espacio de usuario, como libcdsprpc.so, el firmware DSP y los controladores FastRPC/kernel correspondientes. La biblioteca skeleton debe poder localizarse mediante la ruta de bibliotecas DSP del BSP.

Estos componentes del dispositivo de destino proceden del BSP del fabricante de la placa, habilitado para QAIRT/QNN; no están integrados en el modelo exportado. La ejecución en GPU requiere, en cambio, libQnnGpu.so y la pila de controladores de espacio de usuario Adreno correspondiente. La salida format=qnn de Ultralytics es un binario de contexto específico para HTP, por lo que la implementación en GPU o CPU debe partir de una exportación ONNX estándar y no del archivo *_qnn.onnx precompilado.

Flujo de trabajo recomendado#

1. Entrena tu modelo con el modo Train de Ultralytics
2. Exporta al formato QNN mediante model.export(format="qnn", name="iq-8275", imgsz=640) en una plataforma compatible (usa imgsz=224 para clasificación).
3. Implementa el archivo *_qnn.onnx exportado en tu dispositivo Qualcomm.
4. Ejecuta la inferencia con ONNX Runtime y el proveedor de ejecución QNN usando el backend HTP.

Aplicaciones en el mundo real#

Los modelos YOLO que se ejecutan en hardware Qualcomm Snapdragon son adecuados para una amplia variedad de aplicaciones de IA en el edge:

• Smartphones: Detección de objetos en tiempo real y comprensión de escenas en aplicaciones de cámara y fotografía con aceleración de NPU.
• Windows en Snapdragon: visión artificial en el dispositivo en PC Copilot+ sin transferir las tareas a la nube.
• Automoción: supervisión del conductor, detección de ocupantes y funciones ADAS en las plataformas Snapdragon Digital Chassis.
• XR y wearables: percepción de bajo consumo y baja latencia para gafas inteligentes y visores de AR/VR.
• IoT y robótica: inferencia visual eficiente en cámaras, drones y sistemas integrados con tecnología Snapdragon.

Resumen#

En esta guía has aprendido a exportar localmente modelos Ultralytics YOLO al formato Qualcomm QNN con el proveedor de ejecución QNN de ONNX Runtime. La canalización de exportación convierte tu modelo a ONNX y, después, lo compila en un binario de contexto QNN en tu equipo anfitrión, sin necesidad de una cuenta de Qualcomm ni de la nube. El resultado es un archivo *_qnn.onnx optimizado para CPU Snapdragon, GPU Adreno y hardware NPU Hexagon mediante el entorno de ejecución QNN/QAIRT.

La combinación de Ultralytics YOLO y la pila de IA en el dispositivo de Qualcomm ofrece una solución eficaz para ejecutar cargas de trabajo avanzadas de visión artificial en todo el amplio ecosistema Snapdragon.

Para otros destinos de implementación móvil y en el dispositivo, consulta las guías de exportación relacionadas con ONNX, CoreML, NCNN, LiteRT, ExecuTorch, RKNN, Sony IMX500 y TensorRT. Para comparar formatos antes de publicar, usa el modo Benchmark. Consulta la documentación del modo Export y la página de la guía de integraciones para ver la lista completa de formatos y opciones.

Preguntas frecuentes#