Inizia

Esportazione ST Edge AI per i modelli Ultralytics YOLO

Esporta i modelli Ultralytics YOLO con format="stedgeai" per ottenere un modello ONNX configurato per ST Edge AI Core, la toolchain di STMicroelectronics che compila reti neurali per microcontrollori STM32, incluso STM32N6 con il suo acceleratore Neural-ART. Per impostazione predefinita, l'esportazione genera un modello float e un modello INT8 completamente quantizzato con quantize=8. Ultralytics esegue entrambi i file sul tuo computer con yolo predict e yolo val, così puoi misurare l'accuratezza prima di compilare per il dispositivo.

Convalidato sull'host

Ultralytics convalida questi modelli con ONNX Runtime su un computer e STMicroelectronics ha compilato con ST Edge AI Core le esportazioni INT8 di tutti e sette i task per STM32N6. La misurazione di accuratezza, latenza e memoria su una scheda STM32 è un'operazione che esegui con gli strumenti ST; consulta Deploy to STM32.

Perché un formato ST Edge AI dedicato?#

I microcontrollori eseguono modelli INT8 e un'esportazione ONNX standard non quantizza bene l'intero modello:

  • Intervalli misti in un unico output. Una testa di rilevamento YOLO combina in un unico tensore le coordinate dei box in pixel (circa da 0 a 640) e i punteggi di classe (da 0 a 1). La quantizzazione INT8 assegna un'unica scala a quel tensore, perciò i punteggi perdono quasi tutta la loro risoluzione. L'esportazione ST Edge AI normalizza le coordinate di box e keypoint a [0, 1] in base alla dimensione dell'input, applicando la stessa normalizzazione usata da Ultralytics per Edge TPU, così è possibile quantizzare l'intero grafo.
  • Output densi di grandi dimensioni. I modelli di segmentazione semantica e di profondità eseguono normalmente l'upsampling alla risoluzione dell'input all'interno del grafo. L'esportazione ST Edge AI si interrompe prima di quell'upsampling, riducendo di 64 volte il buffer di output per la segmentazione semantica e di 16 volte quello per la profondità; inoltre, mantiene la profondità nel dominio logaritmico, in cui i livelli INT8 sono distribuiti uniformemente.
  • Post-elaborazione nel grafo. L'NMS integrato e la testa YOLO26 senza NMS aggiungono operatori TopK e gather dopo la testa. L'esportazione li esclude e restituisce sempre predizioni grezze, quindi l'NMS viene eseguito nella tua applicazione.

Se invece vuoi il layout standard (coordinate in pixel, mappe a piena risoluzione, NMS integrato opzionale), usa l'esportazione ONNX.

Attività supportate#

Tutti i task Ultralytics YOLO vengono esportati ed eseguiti sull'host. Le forme degli output sono per imgsz=640:

AttivitàOutput
Rilevamento[1, 4 + nc, 8400]: box normalizzati a [0, 1], punteggi di classe
Segmentazione di istanze[1, 4 + nc + 32, 8400] con box normalizzati a [0, 1], più i prototipi delle maschere [1, 32, 160, 160]
Segmentazione semanticaLogit di classe [1, nc, 80, 80] a risoluzione 1/8; esegui l'upsampling, quindi calcola l'argmax per pixel
Stima della profonditàProfondità logaritmica [1, 1, 160, 160] a risoluzione 1/4; applica exp(x) per ottenere la profondità metrica, quindi esegui l'upsampling
ClassificazioneProbabilità di classe [1, nc]
Stima della posa[1, 4 + nc + nk, 8400]: box e keypoint normalizzati a [0, 1]
Rilevamento orientato[1, 4 + nc + 1, 8400]: box normalizzati a [0, 1], angolo in radianti; richiede un imgsz quadrato

I modelli RT-DETR e YOLO-NAS non sono supportati.

Utilizzo#

Esporta
from ultralytics import YOLO

# Carica un modello YOLO26
model = YOLO("yolo26n.pt")

# Esporta un modello float
model.export(format="stedgeai")  # crea 'yolo26n_stedgeai.onnx'

# Esporta un modello INT8 calibrato su COCO8
model.export(format="stedgeai", quantize=8, data="coco8.yaml")  # crea 'yolo26n_int8_stedgeai.onnx'
Esegui predizioni e convalida sull'host
from ultralytics import YOLO

# Carica il modello ST Edge AI esportato
model = YOLO("yolo26n_int8_stedgeai.onnx")

# Esegui l'inferenza
results = model("https://ultralytics.com/images/bus.jpg")

# Misura l'accuratezza INT8 sul dataset COCO8
metrics = model.val(data="coco8.yaml")

Ogni esportazione genera un file. Ultralytics riconosce i modelli ST Edge AI dall'estensione _stedgeai.onnx e riporta quindi le coordinate in pixel, esegue l'upsampling delle mappe semantiche e di profondità e converte la profondità logaritmica in profondità metrica. Mantieni tale estensione quando rinomini un file; un nome semplice .onnx viene caricato come modello ONNX standard e restituisce i box in [0, 1].

Argomenti di esportazione#

ArgomentoTipoPredefinitoDescrizione
formatstr'stedgeai'Formato di destinazione del modello esportato.
imgszint o tuple640Dimensione dell'input del modello, come intero per immagini quadrate o come tupla (height, width). Il modello ha una dimensione batch fissa pari a 1 e forme statiche. I modelli OBB richiedono un imgsz quadrato.
quantizeint o strNonePrecisione. Se non impostato o impostato su 32, genera un modello float; 8 genera un modello INT8.
datastrNoneDataset usato per la calibrazione INT8: un file YAML del dataset oppure una directory di dataset o il nome di un dataset integrato per la classificazione. Se non specificato, quantize=8 usa il dataset predefinito del task, ad esempio coco8.yaml per il rilevamento.
fractionfloat1.0Frazione del dataset di calibrazione da usare.
opsetintNoneOpset ONNX. Per impostazione predefinita, viene usato l'opset più recente esportato in modo affidabile dalla tua versione di PyTorch.
simplifyboolTrueSemplifica il grafo ONNX con onnxslim.
devicestrNoneDispositivo usato per l'esportazione: GPU (device=0) o CPU (device=cpu).

batch e dynamic=True non sono accettati e nms=True ripiega sugli output grezzi con un avviso.

Quantizzazione INT8#

Con quantize=8, Ultralytics quantizza il modello con la quantizzazione statica di ONNX Runtime, usando lo schema consigliato da ST Edge AI Core e applicato da STM32 AI Model Zoo Services:

  • Formato QDQ (QuantizeLinear/DequantizeLinear) con input e output del modello float.
  • Pesi INT8 con segno, simmetrici e per canale, e attivazioni INT8 con segno e asimmetriche.
  • Calibrazione MinMax sulle immagini data, preelaborate esattamente come durante la convalida Ultralytics.

A differenza dell'esportazione ONNX standard quantize=8, che mantiene la testa in formato float, ogni operatore viene quantizzato. Per quantizzare con gli strumenti ST, esporta il modello float e passalo a STM32 AI Model Zoo Services.

Esegui la calibrazione sui tuoi dati

L'accuratezza INT8 dipende da quanto le immagini di calibrazione rappresentano la scena di distribuzione. Passa a data= un dataset con almeno 300 immagini rappresentative; i dataset di calibrazione predefiniti contengono solo pochi campioni pubblici.

La tabella seguente confronta YOLO26n alla dimensione di input predefinita di ciascun modello imgsz (640, 1024 per la segmentazione semantica, 768 per la profondità) sui piccoli dataset di convalida predefiniti, calibrati sulle stesse immagini. Questi dataset contengono da 4 a 8 immagini ciascuno: considera quindi i valori come un'indicazione dei task sensibili a INT8 e misura il tuo modello con yolo val.

AttivitàMetricaONNX floatST Edge AI floatST Edge AI INT8
RilevamentomAP50-950.6860.6860.639
SegmentazionemAP50-95 di box / maschere0.638 / 0.5400.638 / 0.5400.356 / 0.401
SemanticamIoU0.6100.6100.609
Profonditàdelta10.8520.8520.840
PosamAP50-95 di box / pose0.697 / 0.4590.697 / 0.4590.650 / 0.267
OBBmAP50-950.8940.8940.806

L'esportazione float corrisponde all'esportazione ONNX standard per ogni task. La segmentazione di istanze e la stima della posa perdono più accuratezza con la quantizzazione INT8 dell'intero grafo, perché i coefficienti delle maschere e i keypoint condividono un'unica scala di output con i box; convalida attentamente questi due task sui tuoi dati prima della distribuzione.

Distribuzione su STM32#

  1. Esporta il modello con format="stedgeai" alla imgsz che userai sul dispositivo.

  2. Convalida i modelli float e INT8 sul tuo dataset con yolo val.

  3. Compila il modello con ST Edge AI Core. I comandi seguenti seguono la documentazione della riga di comando di ST Edge AI Core e la guida introduttiva a Neural-ART; consultali per informazioni sui profili di memoria e sulle opzioni di input.

    # Report the model's memory and operator usage for an STM32 target
    stedgeai analyze -m yolo26n_int8_stedgeai.onnx --target stm32
    
    # Generate the C model for an STM32N6 with the Neural-ART accelerator
    stedgeai generate -m yolo26n_int8_stedgeai.onnx --target stm32n6 --st-neural-art
  4. Distribuisci il modello generato nella tua applicazione STM32. STM32 AI Model Zoo Services fornisce codice applicativo e tutorial per i modelli Ultralytics YOLO su STM32N6.

Gli output richiedono post-elaborazione

Il codice che legge il modello esportato al di fuori di Ultralytics, ad esempio il codice C di post-elaborazione sul dispositivo, deve moltiplicare i valori x e w di box e keypoint per la larghezza dell'input e i valori y e h per l'altezza dell'input, eseguire NMS, effettuare l'upsampling dei logit semantici prima dell'argmax e applicare exp all'output di profondità prima di effettuarne l'upsampling. Mantieni imgsz identico durante addestramento, esportazione e distribuzione.

Domande frequenti#

  • Esegui yolo export model=yolo26n.pt format=stedgeai quantize=8 data=coco8.yaml per generare il modello INT8 yolo26n_int8_stedgeai.onnx, oppure ometti quantize=8 per generare il modello float yolo26n_stedgeai.onnx. Poi compila il file con ST Edge AI Core come mostrato in Deploy to STM32.

  • L'esportazione ST Edge AI normalizza le coordinate di box e keypoint in base alla dimensione dell'input, affinché condividano l'intervallo [0, 1] dei punteggi di classe e sia possibile quantizzare l'intero grafo in INT8. Moltiplica x e w per la larghezza dell'input e y e h per l'altezza dell'input per ottenere le coordinate in pixel. Ultralytics esegue questa operazione automaticamente quando carica un modello _stedgeai.onnx.

  • No. L'esportazione restituisce sempre predizioni grezze, quindi esegui NMS nella tua applicazione oppure usa la post-elaborazione di STM32 AI Model Zoo Services.

  • L'esportazione ONNX standard restituisce coordinate in pixel e mappe semantiche e di profondità a piena risoluzione, può integrare NMS e con quantize=8 quantizza solo gli strati convoluzionali e di moltiplicazione di matrici. L'esportazione ST Edge AI restituisce coordinate normalizzate, logit semantici a bassa risoluzione e profondità logaritmica, ha una dimensione batch fissa pari a 1, non integra mai NMS e con quantize=8 quantizza l'intero grafo.

  • Sì. yolo val model=yolo26n_int8_stedgeai.onnx data=coco8.yaml esegue il modello quantizzato con ONNX Runtime sul tuo computer e restituisce le stesse metriche di qualsiasi altro modello Ultralytics. L'accuratezza sul dispositivo può comunque differire leggermente, quindi verificala con gli strumenti ST dopo la compilazione.

Collaboratori

Commenti

Fai una domanda, condividi i tuoi risultati o aiuta qualcun altro.