Exportación de ST Edge AI para modelos Ultralytics YOLO
Exporta modelos Ultralytics YOLO con format="stedgeai" para obtener un modelo ONNX adaptado a ST Edge AI Core, la cadena de herramientas de STMicroelectronics que compila redes neuronales para microcontroladores STM32, incluido STM32N6 con su acelerador Neural-ART. La exportación genera por defecto un modelo de coma flotante y un modelo INT8 totalmente cuantizado con quantize=8. Ultralytics ejecuta ambos archivos en tu ordenador con yolo predict y yolo val, para que puedas medir la precisión antes de compilar el modelo para el dispositivo.
Ultralytics valida estos modelos con ONNX Runtime en un ordenador, y STMicroelectronics ha compilado con ST Edge AI Core las exportaciones INT8 de las siete tareas para STM32N6. Medir la precisión, la latencia y la memoria en una placa STM32 son pasos que debes realizar con las herramientas de ST; consulta Implementar en STM32.
¿Por qué usar un formato específico de ST Edge AI?#
Los microcontroladores ejecutan modelos INT8, pero una exportación ONNX estándar no se cuantiza bien de principio a fin:
- Rangos mixtos en una misma salida. Una cabeza de detección YOLO combina en un único tensor las coordenadas de las cajas en píxeles (de aproximadamente
0a640) y las puntuaciones de clase (de0a1). La cuantización INT8 asigna una sola escala a ese tensor, por lo que las puntuaciones pierden casi toda su resolución. La exportación de ST Edge AI normaliza las coordenadas de las cajas y los puntos clave a[0, 1]según el tamaño de entrada, con la misma normalización que Ultralytics utiliza para Edge TPU, de modo que se pueda cuantizar todo el grafo. - Salidas densas de gran tamaño. Los modelos de segmentación semántica y profundidad suelen ampliar la resolución a la de entrada dentro del grafo. La exportación de ST Edge AI se detiene antes de ese paso, lo que reduce el búfer de salida 64 veces para la segmentación semántica y 16 veces para la profundidad, y mantiene la profundidad en el dominio logarítmico, donde los niveles INT8 se distribuyen uniformemente.
- Posprocesamiento en el grafo. NMS integrado y la cabeza sin NMS de YOLO26 añaden operadores TopK y gather después de la cabeza. La exportación los omite y siempre devuelve predicciones sin procesar, por lo que NMS se ejecuta en tu aplicación.
Si prefieres el diseño estándar (coordenadas en píxeles, mapas a resolución completa y NMS integrado opcional), usa la exportación ONNX.
Tareas compatibles#
Todas las tareas de Ultralytics YOLO se exportan y ejecutan en el equipo anfitrión. Las formas de salida corresponden a imgsz=640:
| Tarea | Salida |
|---|---|
| Detección | [1, 4 + nc, 8400]: cajas normalizadas a [0, 1], puntuaciones de clase |
| Segmentación de instancias | [1, 4 + nc + 32, 8400] con cajas normalizadas a [0, 1], además de prototipos de máscara [1, 32, 160, 160] |
| Segmentación semántica | Logits de clase [1, nc, 80, 80] a resolución 1/8; amplía la resolución y, después, calcula el argmáximo por píxel |
| Estimación de profundidad | Profundidad logarítmica [1, 1, 160, 160] a resolución 1/4; aplica exp(x) para obtener la profundidad métrica y, después, amplía la resolución |
| Clasificación | Probabilidades de clase [1, nc] |
| Estimación de pose | [1, 4 + nc + nk, 8400]: cajas y puntos clave normalizados a [0, 1] |
| Detección orientada | [1, 4 + nc + 1, 8400]: cajas normalizadas a [0, 1], ángulo en radianes; requiere un imgsz cuadrado |
Los modelos RT-DETR y YOLO-NAS no son compatibles.
Uso#
from ultralytics import YOLO
# Carga un modelo YOLO26
model = YOLO("yolo26n.pt")
# Exporta un modelo de coma flotante
model.export(format="stedgeai") # crea 'yolo26n_stedgeai.onnx'
# Exporta un modelo INT8 calibrado con COCO8
model.export(format="stedgeai", quantize=8, data="coco8.yaml") # crea 'yolo26n_int8_stedgeai.onnx'from ultralytics import YOLO
# Carga el modelo ST Edge AI exportado
model = YOLO("yolo26n_int8_stedgeai.onnx")
# Ejecutar inferencia
results = model("https://ultralytics.com/images/bus.jpg")
# Mide la precisión INT8 en el conjunto de datos COCO8
metrics = model.val(data="coco8.yaml")Cada exportación genera un archivo. Ultralytics reconoce los modelos ST Edge AI por la extensión _stedgeai.onnx y, a continuación, escala las coordenadas a píxeles, amplía la resolución de los mapas semánticos y de profundidad, y convierte la profundidad logarítmica en profundidad métrica. Conserva esa extensión al cambiar el nombre del archivo; si usas un nombre simple .onnx, se cargará como un modelo ONNX estándar y devolverá las cajas en [0, 1].
Argumentos de exportación#
| Argumento | Tipo | Predeterminado | Descripción |
|---|---|---|---|
format | str | 'stedgeai' | Formato de destino del modelo exportado. |
imgsz | int o tuple | 640 | Tamaño de entrada del modelo, como entero para imágenes cuadradas o como tupla (height, width). El modelo tiene un tamaño de lote fijo de 1 y formas estáticas. Los modelos OBB requieren un imgsz cuadrado. |
quantize | int o str | None | Precisión. Si no se especifica o se usa 32, se genera un modelo de coma flotante; 8 genera un modelo INT8. |
data | str | None | Conjunto de datos utilizado para la calibración INT8: un archivo YAML de conjunto de datos, o un directorio de conjunto de datos o el nombre de un conjunto de datos integrado para clasificación. Si no se indica, quantize=8 utiliza el conjunto de datos predeterminado de la tarea, como coco8.yaml para detección. |
fraction | float | 1.0 | Fracción del conjunto de datos de calibración que se utilizará. |
opset | int | None | Versión de opset de ONNX. De forma predeterminada, se usa la versión más reciente que tu versión de PyTorch exporta de forma fiable. |
simplify | bool | True | Simplifica el grafo ONNX con onnxslim. |
device | str | None | Dispositivo utilizado para la exportación: GPU (device=0) o CPU (device=cpu). |
batch y dynamic=True se rechazan, y nms=True recurre a salidas sin procesar con un aviso.
Cuantización INT8#
Con quantize=8, Ultralytics cuantiza el modelo mediante la cuantización estática de ONNX Runtime, con el método que recomienda ST Edge AI Core y que aplica STM32 AI Model Zoo Services:
- Formato QDQ (QuantizeLinear/DequantizeLinear), con entradas y salidas del modelo en coma flotante.
- Pesos INT8 con signo, simétricos y por canal, y activaciones INT8 con signo y asimétricas.
- Calibración MinMax en las imágenes
data, preprocesadas exactamente igual que durante la validación de Ultralytics.
A diferencia de la exportación ONNX estándar quantize=8, que mantiene la cabeza en coma flotante, se cuantizan todos los operadores. Para cuantizar con las herramientas de ST, exporta el modelo de coma flotante y pásalo a STM32 AI Model Zoo Services.
La precisión INT8 depende de cuánto se parezcan las imágenes de calibración a la escena de implementación. Pasa a data= un conjunto de datos con al menos 300 imágenes representativas; los conjuntos de datos de calibración predeterminados solo contienen unas pocas muestras públicas.
La tabla siguiente compara YOLO26n con el imgsz predeterminado de cada modelo (640, segmentación semántica 1024 y profundidad 768) en los pequeños conjuntos de datos de validación predeterminados, calibrados con las mismas imágenes. Estos conjuntos de datos tienen entre 4 y 8 imágenes cada uno, así que interpreta las cifras como una indicación de qué tareas son sensibles a INT8 y mide tu propio modelo con yolo val.
| Tarea | Métrica | ONNX de coma flotante | ST Edge AI de coma flotante | ST Edge AI INT8 |
|---|---|---|---|---|
| Detección | mAP50-95 | 0.686 | 0.686 | 0.639 |
| Segmentación | mAP50-95 de cajas/máscaras | 0.638 / 0.540 | 0.638 / 0.540 | 0.356 / 0.401 |
| Semántica | mIoU | 0.610 | 0.610 | 0.609 |
| Profundidad | delta1 | 0.852 | 0.852 | 0.840 |
| Pose | mAP50-95 de cajas/pose | 0.697 / 0.459 | 0.697 / 0.459 | 0.650 / 0.267 |
| OBB | mAP50-95 | 0.894 | 0.894 | 0.806 |
La exportación de coma flotante coincide con la exportación ONNX estándar en todas las tareas. La segmentación de instancias y la pose pierden más precisión al aplicar INT8 a todo el grafo, porque los coeficientes de máscara y los puntos clave comparten una escala de salida con las cajas; valida estas dos tareas cuidadosamente con tus propios datos antes de implementarlas.
Implementar en STM32#
-
Exporta el modelo con
format="stedgeai"alimgszque ejecutarás en el dispositivo. -
Valida los modelos de coma flotante e INT8 con tu conjunto de datos mediante
yolo val. -
Compila el modelo con ST Edge AI Core. Los comandos siguientes siguen la documentación de la línea de comandos de ST Edge AI Core y la guía de inicio de Neural-ART; consúltalas para ver los perfiles de memoria y las opciones de entrada.
# Report the model's memory and operator usage for an STM32 target stedgeai analyze -m yolo26n_int8_stedgeai.onnx --target stm32 # Generate the C model for an STM32N6 with the Neural-ART accelerator stedgeai generate -m yolo26n_int8_stedgeai.onnx --target stm32n6 --st-neural-art -
Implementa el modelo generado en tu aplicación STM32. STM32 AI Model Zoo Services ofrece código de aplicación y tutoriales para modelos Ultralytics YOLO en STM32N6.
El código que lea el modelo exportado fuera de Ultralytics, como el posprocesamiento en C en el dispositivo, debe multiplicar los valores x y w de las cajas y los puntos clave por el ancho de entrada, y los valores y y h por el alto de entrada; ejecutar NMS; ampliar la resolución de los logits semánticos antes de calcular el argmáximo; y aplicar exp a la salida de profundidad antes de ampliarla. Mantén imgsz idéntico durante el entrenamiento, la exportación y la implementación.
Preguntas frecuentes#
Ejecuta
yolo export model=yolo26n.pt format=stedgeai quantize=8 data=coco8.yamlpara generar el modelo INT8yolo26n_int8_stedgeai.onnx, o bien omitequantize=8para generar el modelo de coma flotanteyolo26n_stedgeai.onnx. Después, compila el archivo con ST Edge AI Core tal como se muestra en Implementar en STM32.La exportación de ST Edge AI normaliza las coordenadas de las cajas y los puntos clave según el tamaño de entrada para que compartan el rango
[0, 1]de las puntuaciones de clase, lo que permite cuantizar todo el grafo a INT8. Multiplicaxywpor el ancho de entrada, yyyhpor el alto de entrada para recuperar las coordenadas en píxeles. Ultralytics lo hace automáticamente al cargar un modelo_stedgeai.onnx.No. La exportación siempre devuelve predicciones sin procesar, así que ejecuta NMS en tu aplicación o utiliza el posprocesamiento de STM32 AI Model Zoo Services.
La exportación ONNX estándar devuelve coordenadas en píxeles y mapas semánticos y de profundidad a resolución completa, puede integrar NMS y, con
quantize=8, solo cuantiza las capas convolucionales y de multiplicación de matrices. La exportación de ST Edge AI devuelve coordenadas normalizadas, logits semánticos de baja resolución y profundidad logarítmica, tiene un tamaño de lote fijo de 1, nunca integra NMS y, conquantize=8, cuantiza todo el grafo.Sí.
yolo val model=yolo26n_int8_stedgeai.onnx data=coco8.yamlejecuta el modelo cuantizado con ONNX Runtime en tu ordenador e informa de las mismas métricas que cualquier otro modelo de Ultralytics. La precisión en el dispositivo aún puede variar ligeramente, así que confírmala con las herramientas de ST después de compilarlo.
Comentarios
Haz una pregunta, comparte tus resultados o ayuda a otra persona.