Exportação ST Edge AI para modelos Ultralytics YOLO
Exporte modelos Ultralytics YOLO com format="stedgeai" para obter um modelo ONNX preparado para o ST Edge AI Core, a cadeia de ferramentas da STMicroelectronics que compila redes neurais para microcontroladores STM32, incluindo o STM32N6 com seu acelerador Neural-ART. Por padrão, a exportação grava um modelo de ponto flutuante e um modelo INT8 totalmente quantizado com quantize=8. O Ultralytics executa qualquer um dos arquivos no seu computador com yolo predict e yolo val, para que você possa medir a precisão antes de compilar para o dispositivo.
O Ultralytics valida esses modelos com o ONNX Runtime em um computador, e a STMicroelectronics compilou as exportações INT8 das sete tarefas com o ST Edge AI Core para o STM32N6. Medir a precisão, a latência e o uso de memória em uma placa STM32 são etapas que você executa com as ferramentas ST; consulte Implantar no STM32.
Por que usar um formato ST Edge AI dedicado?#
Microcontroladores executam modelos INT8, e uma exportação ONNX padrão não quantiza bem de ponta a ponta:
- Intervalos mistos em uma saída. Uma cabeça de detecção YOLO reúne coordenadas de caixas em pixels (cerca de
0a640) e pontuações de classe (0a1) em um único tensor. A quantização INT8 atribui uma escala a esse tensor, fazendo com que as pontuações percam quase toda a resolução. A exportação ST Edge AI normaliza as coordenadas das caixas e dos pontos-chave para[0, 1], em função do tamanho da entrada, usando a mesma normalização que o Ultralytics utiliza para Edge TPU, para que o grafo inteiro possa ser quantizado. - Saídas densas grandes. Modelos de segmentação semântica e de profundidade normalmente aumentam a resolução até a resolução de entrada dentro do grafo. A exportação ST Edge AI para antes desse aumento, reduzindo o buffer de saída em 64 vezes para segmentação semântica e em 16 vezes para profundidade, além de manter a profundidade no domínio logarítmico, onde os níveis INT8 são distribuídos uniformemente.
- Pós-processamento no grafo. O NMS integrado e a cabeça sem NMS do YOLO26 adicionam operadores TopK e gather após a cabeça. A exportação os omite e sempre retorna previsões brutas, portanto, o NMS é executado na sua aplicação.
Se você quiser o layout padrão (coordenadas em pixels, mapas em resolução total, NMS integrado opcional), use a exportação ONNX.
Tarefas suportadas#
Todas as tarefas Ultralytics YOLO são exportadas e executadas no computador. Os formatos de saída são para imgsz=640:
| Tarefa | Saída |
|---|---|
| Detecção | [1, 4 + nc, 8400]: caixas normalizadas para [0, 1], pontuações de classe |
| Segmentação de instâncias | [1, 4 + nc + 32, 8400] com caixas normalizadas para [0, 1], além dos protótipos de máscara [1, 32, 160, 160] |
| Segmentação semântica | Logits de classe [1, nc, 80, 80] em resolução 1/8; aumente a resolução e, em seguida, obtenha o argmax por pixel |
| Estimativa de profundidade | Profundidade logarítmica [1, 1, 160, 160] em resolução 1/4; aplique exp(x) para obter a profundidade métrica e, em seguida, aumente a resolução |
| Classificação | Probabilidades de classe [1, nc] |
| Estimativa de pose | [1, 4 + nc + nk, 8400]: caixas e pontos-chave normalizados para [0, 1] |
| Detecção orientada | [1, 4 + nc + 1, 8400]: caixas normalizadas para [0, 1], ângulo em radianos; requer um imgsz quadrado |
Os modelos RT-DETR e YOLO-NAS não são compatíveis.
Uso#
from ultralytics import YOLO
# Carrega um modelo YOLO26
model = YOLO("yolo26n.pt")
# Exporte um modelo de ponto flutuante
model.export(format="stedgeai") # cria 'yolo26n_stedgeai.onnx'
# Exporte um modelo INT8 calibrado com COCO8
model.export(format="stedgeai", quantize=8, data="coco8.yaml") # cria 'yolo26n_int8_stedgeai.onnx'from ultralytics import YOLO
# Carregue o modelo ST Edge AI exportado
model = YOLO("yolo26n_int8_stedgeai.onnx")
# Executar inferência
results = model("https://ultralytics.com/images/bus.jpg")
# Meça a precisão INT8 no conjunto de dados COCO8
metrics = model.val(data="coco8.yaml")Cada exportação grava um arquivo. O Ultralytics identifica os modelos ST Edge AI pela extensão _stedgeai.onnx e, em seguida, redimensiona as coordenadas de volta para pixels, aumenta a resolução dos mapas semânticos e de profundidade e converte a profundidade logarítmica em profundidade métrica. Mantenha essa extensão ao renomear um arquivo; um nome simples .onnx é carregado como modelo ONNX padrão e retorna caixas em [0, 1].
Argumentos de exportação#
| Argumento | Tipo | Padrão | Descrição |
|---|---|---|---|
format | str | 'stedgeai' | Formato de destino do modelo exportado. |
imgsz | int ou tuple | 640 | Tamanho da entrada do modelo, como um número inteiro para imagens quadradas ou uma tupla (height, width). O modelo tem tamanho de lote fixo igual a 1 e formatos estáticos. Modelos OBB requerem um imgsz quadrado. |
quantize | int ou str | None | Precisão. Se não for definido ou for 32, grava um modelo de ponto flutuante; 8 grava um modelo INT8. |
data | str | None | Conjunto de dados usado para a calibração INT8: um YAML de conjunto de dados ou um diretório de conjunto de dados ou nome de conjunto de dados integrado para classificação. Se não for informado, quantize=8 usa o conjunto de dados padrão da tarefa, como coco8.yaml para detecção. |
fraction | float | 1.0 | Fração do conjunto de dados de calibração a ser usada. |
opset | int | None | Versão opset do ONNX. O padrão é a versão opset mais recente que sua versão do PyTorch exporta de forma confiável. |
simplify | bool | True | Simplifica o grafo ONNX com onnxslim. |
device | str | None | Dispositivo usado para a exportação: GPU (device=0) ou CPU (device=cpu). |
batch e dynamic=True são rejeitados, e nms=True recorre às saídas brutas com um aviso.
Quantização INT8#
Com quantize=8, o Ultralytics quantiza o modelo com a quantização estática do ONNX Runtime, usando o método que o ST Edge AI Core recomenda e que os STM32 AI Model Zoo Services aplicam:
- Formato QDQ (QuantizeLinear/DequantizeLinear) com entradas e saídas de modelo de ponto flutuante.
- Pesos INT8 simétricos assinados por canal e ativações INT8 assimétricas assinadas.
- Calibração MinMax com as imagens
data, pré-processadas exatamente como durante a validação do Ultralytics.
Ao contrário da exportação ONNX quantize=8 padrão, que mantém a cabeça em ponto flutuante, todos os operadores são quantizados. Para quantizar com as ferramentas ST, exporte o modelo de ponto flutuante e passe-o aos STM32 AI Model Zoo Services.
A precisão INT8 depende de quanto as imagens de calibração correspondem à cena de implantação. Passe um conjunto de dados com pelo menos 300 imagens representativas para data=; os conjuntos de dados de calibração padrão contêm apenas algumas amostras públicas.
A tabela abaixo compara YOLO26n no imgsz padrão de cada modelo (640, segmentação semântica 1024, profundidade 768), usando os pequenos conjuntos de dados de validação padrão e calibrando com as mesmas imagens. Esses conjuntos de dados têm de 4 a 8 imagens cada, então interprete os números como uma indicação das tarefas mais sensíveis a INT8 e meça seu próprio modelo com yolo val.
| Tarefa | Métrica | ONNX de ponto flutuante | ST Edge AI de ponto flutuante | ST Edge AI INT8 |
|---|---|---|---|---|
| Detecção | mAP50-95 | 0.686 | 0.686 | 0.639 |
| Segmentação | mAP50-95 de caixas / máscaras | 0.638 / 0.540 | 0.638 / 0.540 | 0.356 / 0.401 |
| Semântica | mIoU | 0.610 | 0.610 | 0.609 |
| Profundidade | delta1 | 0.852 | 0.852 | 0.840 |
| Pose | mAP50-95 de caixas / pose | 0.697 / 0.459 | 0.697 / 0.459 | 0.650 / 0.267 |
| OBB | mAP50-95 | 0.894 | 0.894 | 0.806 |
A exportação de ponto flutuante corresponde à exportação ONNX padrão em todas as tarefas. A segmentação de instâncias e a pose perdem mais precisão com a quantização INT8 do grafo inteiro, porque os coeficientes de máscara e os pontos-chave compartilham uma escala de saída com as caixas; valide essas duas tarefas cuidadosamente com seus próprios dados antes de implantar.
Implantar no STM32#
-
Exporte o modelo com
format="stedgeai"noimgszque você executará no dispositivo. -
Valide os modelos de ponto flutuante e INT8 com seu conjunto de dados usando
yolo val. -
Compile o modelo com o ST Edge AI Core. Os comandos abaixo seguem a documentação de linha de comando do ST Edge AI Core e o guia de introdução ao Neural-ART; consulte esses recursos para ver os perfis de memória e as opções de entrada.
# Report the model's memory and operator usage for an STM32 target stedgeai analyze -m yolo26n_int8_stedgeai.onnx --target stm32 # Generate the C model for an STM32N6 with the Neural-ART accelerator stedgeai generate -m yolo26n_int8_stedgeai.onnx --target stm32n6 --st-neural-art -
Implante o modelo gerado na sua aplicação STM32. Os STM32 AI Model Zoo Services oferecem código de aplicação e tutoriais para modelos Ultralytics YOLO no STM32N6.
O código que lê o modelo exportado fora do Ultralytics, como o pós-processamento em C no dispositivo, precisa multiplicar os valores x e w das caixas e dos pontos-chave pela largura da entrada, e os valores y e h pela altura da entrada; executar NMS; aumentar a resolução dos logits semânticos antes do argmax; e aplicar exp à saída de profundidade antes de aumentar sua resolução. Mantenha imgsz idêntico durante o treinamento, a exportação e a implantação.
Perguntas frequentes#
Execute
yolo export model=yolo26n.pt format=stedgeai quantize=8 data=coco8.yamlpara gravar o modelo INT8yolo26n_int8_stedgeai.onnxou omitaquantize=8para gravar o modelo de ponto flutuanteyolo26n_stedgeai.onnx. Em seguida, compile o arquivo com o ST Edge AI Core conforme mostrado em Implantar no STM32.A exportação ST Edge AI normaliza as coordenadas das caixas e dos pontos-chave pelo tamanho da entrada para que compartilhem o intervalo
[0, 1]das pontuações de classe, permitindo a quantização INT8 do grafo inteiro. Multipliquexewpela largura da entrada, eyehpela altura da entrada, para recuperar os valores em pixels. O Ultralytics faz isso automaticamente ao carregar um modelo_stedgeai.onnx.Não. A exportação sempre retorna previsões brutas, então execute NMS na sua aplicação ou use o pós-processamento dos STM32 AI Model Zoo Services.
A exportação ONNX padrão retorna coordenadas em pixels e mapas semânticos e de profundidade em resolução total, pode incorporar NMS e, com
quantize=8, quantiza apenas as camadas convolucionais e de multiplicação de matrizes. A exportação ST Edge AI retorna coordenadas normalizadas, logits semânticos de baixa resolução e profundidade logarítmica, tem tamanho de lote fixo igual a 1, nunca incorpora NMS e, comquantize=8, quantiza o grafo inteiro.Sim.
yolo val model=yolo26n_int8_stedgeai.onnx data=coco8.yamlexecuta o modelo quantizado com o ONNX Runtime no seu computador e informa as mesmas métricas de qualquer outro modelo Ultralytics. A precisão no dispositivo ainda pode variar um pouco, então confirme-a com as ferramentas ST após a compilação.
Comentários
Faz uma pergunta, partilha os teus resultados ou ajuda alguém.