Começar

Exportação ST Edge AI para modelos Ultralytics YOLO

Exporte modelos Ultralytics YOLO com format="stedgeai" para obter um modelo ONNX preparado para o ST Edge AI Core, a cadeia de ferramentas da STMicroelectronics que compila redes neurais para microcontroladores STM32, incluindo o STM32N6 com seu acelerador Neural-ART. Por padrão, a exportação grava um modelo de ponto flutuante e um modelo INT8 totalmente quantizado com quantize=8. O Ultralytics executa qualquer um dos arquivos no seu computador com yolo predict e yolo val, para que você possa medir a precisão antes de compilar para o dispositivo.

Validado no computador

O Ultralytics valida esses modelos com o ONNX Runtime em um computador, e a STMicroelectronics compilou as exportações INT8 das sete tarefas com o ST Edge AI Core para o STM32N6. Medir a precisão, a latência e o uso de memória em uma placa STM32 são etapas que você executa com as ferramentas ST; consulte Implantar no STM32.

Por que usar um formato ST Edge AI dedicado?#

Microcontroladores executam modelos INT8, e uma exportação ONNX padrão não quantiza bem de ponta a ponta:

  • Intervalos mistos em uma saída. Uma cabeça de detecção YOLO reúne coordenadas de caixas em pixels (cerca de 0 a 640) e pontuações de classe (0 a 1) em um único tensor. A quantização INT8 atribui uma escala a esse tensor, fazendo com que as pontuações percam quase toda a resolução. A exportação ST Edge AI normaliza as coordenadas das caixas e dos pontos-chave para [0, 1], em função do tamanho da entrada, usando a mesma normalização que o Ultralytics utiliza para Edge TPU, para que o grafo inteiro possa ser quantizado.
  • Saídas densas grandes. Modelos de segmentação semântica e de profundidade normalmente aumentam a resolução até a resolução de entrada dentro do grafo. A exportação ST Edge AI para antes desse aumento, reduzindo o buffer de saída em 64 vezes para segmentação semântica e em 16 vezes para profundidade, além de manter a profundidade no domínio logarítmico, onde os níveis INT8 são distribuídos uniformemente.
  • Pós-processamento no grafo. O NMS integrado e a cabeça sem NMS do YOLO26 adicionam operadores TopK e gather após a cabeça. A exportação os omite e sempre retorna previsões brutas, portanto, o NMS é executado na sua aplicação.

Se você quiser o layout padrão (coordenadas em pixels, mapas em resolução total, NMS integrado opcional), use a exportação ONNX.

Tarefas suportadas#

Todas as tarefas Ultralytics YOLO são exportadas e executadas no computador. Os formatos de saída são para imgsz=640:

TarefaSaída
Detecção[1, 4 + nc, 8400]: caixas normalizadas para [0, 1], pontuações de classe
Segmentação de instâncias[1, 4 + nc + 32, 8400] com caixas normalizadas para [0, 1], além dos protótipos de máscara [1, 32, 160, 160]
Segmentação semânticaLogits de classe [1, nc, 80, 80] em resolução 1/8; aumente a resolução e, em seguida, obtenha o argmax por pixel
Estimativa de profundidadeProfundidade logarítmica [1, 1, 160, 160] em resolução 1/4; aplique exp(x) para obter a profundidade métrica e, em seguida, aumente a resolução
ClassificaçãoProbabilidades de classe [1, nc]
Estimativa de pose[1, 4 + nc + nk, 8400]: caixas e pontos-chave normalizados para [0, 1]
Detecção orientada[1, 4 + nc + 1, 8400]: caixas normalizadas para [0, 1], ângulo em radianos; requer um imgsz quadrado

Os modelos RT-DETR e YOLO-NAS não são compatíveis.

Uso#

Exportar
from ultralytics import YOLO

# Carrega um modelo YOLO26
model = YOLO("yolo26n.pt")

# Exporte um modelo de ponto flutuante
model.export(format="stedgeai")  # cria 'yolo26n_stedgeai.onnx'

# Exporte um modelo INT8 calibrado com COCO8
model.export(format="stedgeai", quantize=8, data="coco8.yaml")  # cria 'yolo26n_int8_stedgeai.onnx'
Faça previsões e valide no computador
from ultralytics import YOLO

# Carregue o modelo ST Edge AI exportado
model = YOLO("yolo26n_int8_stedgeai.onnx")

# Executar inferência
results = model("https://ultralytics.com/images/bus.jpg")

# Meça a precisão INT8 no conjunto de dados COCO8
metrics = model.val(data="coco8.yaml")

Cada exportação grava um arquivo. O Ultralytics identifica os modelos ST Edge AI pela extensão _stedgeai.onnx e, em seguida, redimensiona as coordenadas de volta para pixels, aumenta a resolução dos mapas semânticos e de profundidade e converte a profundidade logarítmica em profundidade métrica. Mantenha essa extensão ao renomear um arquivo; um nome simples .onnx é carregado como modelo ONNX padrão e retorna caixas em [0, 1].

Argumentos de exportação#

ArgumentoTipoPadrãoDescrição
formatstr'stedgeai'Formato de destino do modelo exportado.
imgszint ou tuple640Tamanho da entrada do modelo, como um número inteiro para imagens quadradas ou uma tupla (height, width). O modelo tem tamanho de lote fixo igual a 1 e formatos estáticos. Modelos OBB requerem um imgsz quadrado.
quantizeint ou strNonePrecisão. Se não for definido ou for 32, grava um modelo de ponto flutuante; 8 grava um modelo INT8.
datastrNoneConjunto de dados usado para a calibração INT8: um YAML de conjunto de dados ou um diretório de conjunto de dados ou nome de conjunto de dados integrado para classificação. Se não for informado, quantize=8 usa o conjunto de dados padrão da tarefa, como coco8.yaml para detecção.
fractionfloat1.0Fração do conjunto de dados de calibração a ser usada.
opsetintNoneVersão opset do ONNX. O padrão é a versão opset mais recente que sua versão do PyTorch exporta de forma confiável.
simplifyboolTrueSimplifica o grafo ONNX com onnxslim.
devicestrNoneDispositivo usado para a exportação: GPU (device=0) ou CPU (device=cpu).

batch e dynamic=True são rejeitados, e nms=True recorre às saídas brutas com um aviso.

Quantização INT8#

Com quantize=8, o Ultralytics quantiza o modelo com a quantização estática do ONNX Runtime, usando o método que o ST Edge AI Core recomenda e que os STM32 AI Model Zoo Services aplicam:

  • Formato QDQ (QuantizeLinear/DequantizeLinear) com entradas e saídas de modelo de ponto flutuante.
  • Pesos INT8 simétricos assinados por canal e ativações INT8 assimétricas assinadas.
  • Calibração MinMax com as imagens data, pré-processadas exatamente como durante a validação do Ultralytics.

Ao contrário da exportação ONNX quantize=8 padrão, que mantém a cabeça em ponto flutuante, todos os operadores são quantizados. Para quantizar com as ferramentas ST, exporte o modelo de ponto flutuante e passe-o aos STM32 AI Model Zoo Services.

Calibre com seus próprios dados

A precisão INT8 depende de quanto as imagens de calibração correspondem à cena de implantação. Passe um conjunto de dados com pelo menos 300 imagens representativas para data=; os conjuntos de dados de calibração padrão contêm apenas algumas amostras públicas.

A tabela abaixo compara YOLO26n no imgsz padrão de cada modelo (640, segmentação semântica 1024, profundidade 768), usando os pequenos conjuntos de dados de validação padrão e calibrando com as mesmas imagens. Esses conjuntos de dados têm de 4 a 8 imagens cada, então interprete os números como uma indicação das tarefas mais sensíveis a INT8 e meça seu próprio modelo com yolo val.

TarefaMétricaONNX de ponto flutuanteST Edge AI de ponto flutuanteST Edge AI INT8
DetecçãomAP50-950.6860.6860.639
SegmentaçãomAP50-95 de caixas / máscaras0.638 / 0.5400.638 / 0.5400.356 / 0.401
SemânticamIoU0.6100.6100.609
Profundidadedelta10.8520.8520.840
PosemAP50-95 de caixas / pose0.697 / 0.4590.697 / 0.4590.650 / 0.267
OBBmAP50-950.8940.8940.806

A exportação de ponto flutuante corresponde à exportação ONNX padrão em todas as tarefas. A segmentação de instâncias e a pose perdem mais precisão com a quantização INT8 do grafo inteiro, porque os coeficientes de máscara e os pontos-chave compartilham uma escala de saída com as caixas; valide essas duas tarefas cuidadosamente com seus próprios dados antes de implantar.

Implantar no STM32#

  1. Exporte o modelo com format="stedgeai" no imgsz que você executará no dispositivo.

  2. Valide os modelos de ponto flutuante e INT8 com seu conjunto de dados usando yolo val.

  3. Compile o modelo com o ST Edge AI Core. Os comandos abaixo seguem a documentação de linha de comando do ST Edge AI Core e o guia de introdução ao Neural-ART; consulte esses recursos para ver os perfis de memória e as opções de entrada.

    # Report the model's memory and operator usage for an STM32 target
    stedgeai analyze -m yolo26n_int8_stedgeai.onnx --target stm32
    
    # Generate the C model for an STM32N6 with the Neural-ART accelerator
    stedgeai generate -m yolo26n_int8_stedgeai.onnx --target stm32n6 --st-neural-art
  4. Implante o modelo gerado na sua aplicação STM32. Os STM32 AI Model Zoo Services oferecem código de aplicação e tutoriais para modelos Ultralytics YOLO no STM32N6.

As saídas precisam de pós-processamento

O código que lê o modelo exportado fora do Ultralytics, como o pós-processamento em C no dispositivo, precisa multiplicar os valores x e w das caixas e dos pontos-chave pela largura da entrada, e os valores y e h pela altura da entrada; executar NMS; aumentar a resolução dos logits semânticos antes do argmax; e aplicar exp à saída de profundidade antes de aumentar sua resolução. Mantenha imgsz idêntico durante o treinamento, a exportação e a implantação.

Perguntas frequentes#

  • Execute yolo export model=yolo26n.pt format=stedgeai quantize=8 data=coco8.yaml para gravar o modelo INT8 yolo26n_int8_stedgeai.onnx ou omita quantize=8 para gravar o modelo de ponto flutuante yolo26n_stedgeai.onnx. Em seguida, compile o arquivo com o ST Edge AI Core conforme mostrado em Implantar no STM32.

  • A exportação ST Edge AI normaliza as coordenadas das caixas e dos pontos-chave pelo tamanho da entrada para que compartilhem o intervalo [0, 1] das pontuações de classe, permitindo a quantização INT8 do grafo inteiro. Multiplique x e w pela largura da entrada, e y e h pela altura da entrada, para recuperar os valores em pixels. O Ultralytics faz isso automaticamente ao carregar um modelo _stedgeai.onnx.

  • Não. A exportação sempre retorna previsões brutas, então execute NMS na sua aplicação ou use o pós-processamento dos STM32 AI Model Zoo Services.

  • A exportação ONNX padrão retorna coordenadas em pixels e mapas semânticos e de profundidade em resolução total, pode incorporar NMS e, com quantize=8, quantiza apenas as camadas convolucionais e de multiplicação de matrizes. A exportação ST Edge AI retorna coordenadas normalizadas, logits semânticos de baixa resolução e profundidade logarítmica, tem tamanho de lote fixo igual a 1, nunca incorpora NMS e, com quantize=8, quantiza o grafo inteiro.

  • Sim. yolo val model=yolo26n_int8_stedgeai.onnx data=coco8.yaml executa o modelo quantizado com o ONNX Runtime no seu computador e informa as mesmas métricas de qualquer outro modelo Ultralytics. A precisão no dispositivo ainda pode variar um pouco, então confirme-a com as ferramentas ST após a compilação.

Colaboradores

Comentários

Faz uma pergunta, partilha os teus resultados ou ajuda alguém.