Distribuzione di AMD Xilinx per Ultralytics YOLO con Vitis AI#

I dispositivi AMD Xilinx sono alla base di molte telecamere industriali, sistemi di visione per il settore automobilistico, robot, droni e prodotti di diagnostica per immagini nel mondo. Combinano processori Arm con logica programmabile e, nei dispositivi più recenti, AI Engine dedicati; così, un singolo chip può acquisire video, preelaborarlo, eseguire il rilevamento di oggetti e agire in base al risultato con una latenza di inferenza bassa e prevedibile.

Questa guida spiega cosa sono le diverse famiglie di dispositivi AMD Xilinx, come eseguono l'AI, quali operatori Ultralytics YOLO sono supportati da ciascun acceleratore e qual è il flusso di lavoro dettagliato per distribuire modelli YOLO su hardware Zynq UltraScale+, Kria e Versal.

Che cos'è AMD Xilinx?#

Xilinx ha inventato il field-programmable gate array (FPGA), ovvero l'array di gate programmabile sul campo, negli anni '80 ed è diventata un fornitore leader di SoC e FPGA adattivi. AMD ha completato l'acquisizione di Xilinx nel febbraio 2022 e ora commercializza queste linee di prodotti con il marchio AMD: AMD Zynq, AMD Kria, AMD Versal e AMD Vitis.

Termini e concetti chiave#

La distribuzione AMD Xilinx usa un vocabolario specifico. La tabella seguente spiega tutti i termini usati in questa guida.

Famiglie di dispositivi AMD Xilinx per l'AI edge#

I dispositivi AMD Xilinx per l'AI edge appartengono a tre famiglie. Zynq e Kria usano la DPU nella logica programmabile, mentre i dispositivi Versal AI Edge descritti qui usano la NPU sui rispettivi AI Engine.

MPSoC Zynq UltraScale+#

Ogni chip Zynq UltraScale+ abbina la logica FPGA a un sistema di elaborazione Arm, con core Cortex-A53 dual-core (CG) o quad-core (EG ed EV) e core Cortex-R5F in tempo reale. I dispositivi EV aggiungono un codec video H.264/H.265 integrato. Per eseguire reti neurali, i progettisti integrano una DPU nella logica, accanto alle pipeline della videocamera e del video. Nei dispositivi più piccoli la DPU deve condividere lo spazio con il resto del progetto.

System-on-Module Kria#

Il modulo Kria K26 integra un MPSoC Zynq UltraScale+, memoria e alimentazione in un modulo pronto per la produzione, così non devi progettare autonomamente il processore, la memoria e il sottosistema di alimentazione. Il modulo si collega a una scheda carrier, che può essere quella di un kit di sviluppo o una tua scheda. È alla base del KV260 Vision AI Starter Kit per le telecamere intelligenti e del KR260 Robotics Starter Kit per la robotica. Poiché il K26 è basato su Zynq UltraScale+, usa lo stesso flusso DPU. La gamma Kria comprende anche altri moduli: verifica quale processore usa il tuo modulo prima di scegliere un flusso.

SoC adattivi Versal#

Versal è la famiglia di SoC adattivi di AMD. Le serie AI Edge e AI Core aggiungono AI Engine integrati accanto ai core Arm e alla logica programmabile, mentre alcune altre serie Versal non dispongono di AI Engine. L'IP NPU di AMD usa insieme AI Engine e logica programmabile, e Vitis AI è destinato ai componenti AIE-ML della serie AI Edge, come VE2302 e VE2802. La serie Versal AI Edge (kit di valutazione VEK280) e la serie Versal AI Edge Gen 2 (kit di valutazione VEK385) sono gli attuali target di AMD per l'AI edge e l'obiettivo delle versioni correnti di Vitis AI.

Come funziona l'AI sui dispositivi AMD Xilinx: DPU e NPU a confronto#

La maggior parte delle distribuzioni AI AMD Xilinx segue lo stesso schema. L'acceleratore esegue i livelli supportati, la CPU Arm gestisce la preelaborazione, la post-elaborazione e gli eventuali livelli non supportati dall'acceleratore, mentre un runtime sulla scheda coordina le due componenti.

graph LR
    A[Camera / video input]:::start --> B[Arm CPU<br>Linux, preprocessing,<br>post-processing]:::proc
    B <--> C[AI accelerator<br>DPU in programmable logic<br>or NPU on AI Engines + PL]:::out
    B --> D[Application<br>alerts, control, display]:::start

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff

AMD ha distribuito due generazioni di acceleratori, ciascuna con la propria toolchain e il proprio file del modello compilato. Questa guida tratta Vitis AI 3.5 per la DPU e Vitis AI 6.3 per la NPU; consulta la documentazione AMD aggiornata per le versioni successive.

Quale flusso Vitis AI mi serve?#

Scegli il flusso in base al dispositivo presente sulla tua scheda:

graph TD
    A[Start: which AMD device<br>is on your board?]:::start --> B{Device family?}:::decide
    B -->|Zynq UltraScale+ MPSoC<br>or Kria K26| C[DPU flow<br>Vitis AI 3.5]:::proc
    B -->|Versal AI Edge<br>VEK280| D[NPU snapshot flow<br>Vitis AI 6.3]:::proc
    B -->|Versal AI Edge Gen 2<br>VEK385| E[NPU Quark flow<br>Vitis AI 6.3]:::proc
    C --> F[Train YOLO with Hard-Swish<br>then compile to .xmodel]:::out
    D --> G[Run your model on calibration<br>images to capture a snapshot]:::out
    E --> H[Quantize ONNX with Quark<br>then compile to .rai]:::out

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Compatibilità dei modelli YOLO e operatori supportati#

Un acceleratore velocizza solo gli operatori implementati nell'hardware. Se un modello contiene un operatore non supportato, il compilatore in genere assegna quella parte della rete alla CPU Arm e ogni passaggio tra acceleratore e CPU aggiunge latenza. Alcuni operatori non possono essere suddivisi: sulla NPU Versal AI Edge Gen 2, AMD indica operatori come NonZero e NonMaxSuppression che possono costringere l'intero modello a essere eseguito sulla CPU. Il supporto degli operatori è il fattore più importante per le prestazioni dei modelli YOLO sull'hardware AMD Xilinx.

graph LR
    subgraph S1 [Stock YOLO26 on the DPU]
        A1[Conv]:::out --> A2[SiLU<br>CPU]:::error --> A3[Conv]:::out --> A4[SiLU<br>CPU]:::error --> A5[...]:::proc
    end
    subgraph S2 [Hard-Swish YOLO26 on the DPU]
        B1[Backbone<br>Conv + Hard-Swish<br>DPU]:::out --> B2[C2PSA attention<br>CPU]:::error --> B3[Neck<br>DPU]:::out --> B4[C3k2 attention<br>CPU]:::error --> B5[Detect head<br>DPU]:::out --> B6[Sigmoid and<br>post-processing<br>CPU]:::error
    end

    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff
    classDef error fill:#F44336,color:#fff

La tabella mostra dove viene eseguito ciascun operatore in un modello YOLO26. Un'esportazione ONNX standard di YOLO26n contiene 87 attivazioni SiLU, ognuna esportata come Sigmoid e Mul, oltre a 4 operatori MatMul e 2 operatori Softmax dai suoi due blocchi di attenzione: il blocco C2PSA alla fine del backbone (layer 10) e il blocco C3k2 con attenzione abilitata che produce l'output P5 (layer 22).

Fonti: operatori supportati UG1414 di AMD, supporto degli operatori PyTorch e gli elenchi degli operatori supportati, partizionati sulla CPU e non supportati di Versal AI Edge Gen 2. Il supporto dipende anche dalla configurazione della DPU e dai pattern del grafo, quindi controlla sempre il rapporto di partizionamento del compilatore.

Rendi YOLO26 compatibile con la DPU usando Hard-Swish#

La DPU fonde nelle convoluzioni solo ReLU, ReLU6, LeakyReLU, Hard-Swish e Hard-Sigmoid. Hard-Swish è un'approssimazione di SiLU adatta all'hardware, perciò è la sostituzione più naturale. I file YAML dei modelli Ultralytics accettano una chiave activation che modifica l'attivazione predefinita dei blocchi Conv (Guida alla configurazione YAML del modello).

Copia yolo26.yaml in yolo26-hswish.yaml e aggiungi una riga sotto i parametri:

# Parameters
nc: 80 # number of classes
activation: nn.Hardswish() # default Conv activation, DPU-native
end2end: True # whether to use end-to-end mode

Quindi crea il modello, trasferisci i pesi YOLO26 preaddestrati e esegui il fine-tuning sul tuo dataset:

from ultralytics import YOLO

# # Crea YOLO26n con attivazioni Hard-Swish; la 'n' nel nome indica la scala nano
model = YOLO("yolo26n-hswish.yaml").load("yolo26n.pt")  # # trasferisci i pesi preaddestrati

# # Esegui il fine-tuning per adattare la rete a Hard-Swish
model.train(data="coco8.yaml", epochs=100, imgsz=640)

Le attivazioni non hanno pesi, quindi tutti i pesi preaddestrati vengono trasferiti. Il grafo ONNX esportato contiene quindi 87 operatori HardSwish e nessun SiLU. Sostituisci coco8.yaml con il tuo dataset e confronta la precisione con quella del modello SiLU usando Val mode prima della distribuzione.

Gestione dei blocchi di attenzione sulla DPU#

YOLO26 applica l'attenzione alla risoluzione più bassa (una griglia 20×20 con input 640) in due punti: il blocco C2PSA al layer 10 e il blocco C3k2 con attenzione abilitata al layer 22. YOLO11 ha un solo blocco C2PSA. Su una DPU, gli operatori MatMul e Softmax vengono eseguiti sulla CPU, suddividendo il modello in sottografi DPU e CPU alternati. Hai tre opzioni:

1. Accetta i blocchi sulla CPU. Il modello compilato .xmodel conterrà quindi sottografi CPU: eseguilo con il Graph Runner di AMD, che esegue insieme i sottografi DPU e CPU quando è disponibile un'implementazione CPU per ogni operatore; altrimenti devi implementare e registrare gli operatori mancanti. Con una griglia 20×20, il calcolo dell'attenzione è ridotto, ma ogni trasferimento aggiuntivo tra DPU e CPU introduce latenza, quindi misurala sulla tua scheda.

2. Usa un file YAML senza attenzione. Nel tuo file YAML Hard-Swish, sostituisci il layer C2PSA con nn.Identity affinché gli indici dei layer usati da Concat e Detect restino validi, quindi disabilita l'attenzione nel layer 22:

   backbone:
       # ... layers 0-9 unchanged
       - [-1, 1, nn.Identity, []] # 10 C2PSA removed; keeps later layer indices valid
   
   head:
       # ... layers 11-21 unchanged
       - [-1, 1, C3k2, [1024, True, 0.5, False]] # 22 (P5/32-large), attention disabled
       - [[16, 19, 22], 1, Detect, [nc]] # Detect(P3, P4, P5)

   Il grafo ONNX esportato non contiene quindi operatori MatMul o Softmax. I pesi dell'attenzione non sono più applicabili (vengono trasferiti 624 dei 666 pesi di YOLO26n), quindi esegui il fine-tuning più a lungo e confronta la precisione con Val mode.

3. Usa un modello senza attenzione, come YOLOv8, che AMD ha utilizzato nei propri esempi DPU.

Su Versal AI Edge Gen 2, gli operatori di attenzione sono elencati tra quelli supportati dalla NPU, quindi di solito queste modifiche non sono necessarie. Verifica il posizionamento nel rapporto del compilatore, perché AMD segnala che gli operatori supportati possono comunque essere eseguiti sulla CPU a causa di vincoli di configurazione o memoria.

Compatibilità dei modelli a colpo d'occhio#

Distribuisci YOLO26 su AMD Xilinx oggi#

Finché non sarà disponibile l'esportazione nativa, la distribuzione prevede quattro passaggi:

graph LR
    A[1. Train or fine-tune<br>Ultralytics YOLO]:::start --> B{Target?}:::decide
    B -->|Versal NPU| C[2. Export to ONNX<br>model.export]:::proc
    B -->|Zynq or Kria DPU| D[2. Keep the trained<br>PyTorch checkpoint]:::proc
    C --> E[3. Quantize and compile<br>Vitis AI 6.3 Docker]:::proc
    D --> F[3. Quantize and compile<br>Vitis AI 3.5 Docker]:::proc
    E --> G[4. Run on the board<br>VART-ML or ONNX Runtime]:::out
    F --> H[4. Run on the board<br>VART]:::out
    G -.->|accuracy check| A
    H -.->|accuracy check| A

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Passaggio 1: addestra o esegui il fine-tuning del modello#

Addestra sui tuoi dati con Train mode o sulla Ultralytics Platform. Per i target DPU, parti dal file YAML Hard-Swish. Registra una baseline con Val mode, così potrai misurare in seguito l'impatto della quantizzazione sulla precisione.

Passaggio 2: esporta in ONNX per i target NPU#

ONNX è l'input comune ai flussi NPU di AMD. Il flusso DPU quantizza direttamente il checkpoint PyTorch addestrato nell'immagine Docker di Vitis AI 3.5, quindi chi usa una DPU può saltare questo passaggio. Esporta con una dimensione batch fissa pari a 1 e un opset supportato da AMD; il tutorial YOLOv8m di AMD per Versal AI Edge Gen 2 usa opset 17.

from ultralytics import YOLO

# # Carica il modello addestrato nel passaggio 1
model = YOLO("runs/detect/train/weights/best.pt")

# # Esporta in ONNX con una forma statica per il compilatore AMD
model.export(format="onnx", opset=17, imgsz=640)  # # crea 'best.onnx' accanto a 'best.pt'

Consulta l'integrazione ONNX e gli argomenti di esportazione per tutte le opzioni. Se nms non è impostato, esegui NMS sulla CPU dopo l'inferenza; per YOLO26, nms=False seleziona invece la testa senza NMS. Non incorporare NMS con nms=True, perché AMD include NonMaxSuppression tra gli operatori che possono costringere l'intero modello a essere eseguito sulla CPU.

Passaggio 3: quantizza e compila con Vitis AI#

I flussi seguenti utilizzano le immagini Docker di AMD su un host Linux x86-64. Per questo passaggio non ti serve la scheda. Scegli la scheda corrispondente al tuo dispositivo:

Passaggio 4: esegui e convalida sulla scheda#

Prepara prima la scheda. Deve eseguire un progetto hardware e un'immagine Linux che includano la configurazione dell'acceleratore per cui hai compilato, oltre al runtime Vitis AI corrispondente. Consulta le guide di configurazione AMD per i target DPU Zynq UltraScale+ e Kria, Versal AI Edge (VEK280) e Versal AI Edge Gen 2 (VEK385).

Quindi copia gli artefatti richiesti dal runtime:

Nei flussi NPU, il grafo ONNX esportato decodifica già i riquadri e applica la funzione sigmoide ai punteggi delle classi; all'host spetta quindi solo interpretare l'output:

• nms non impostato: i modelli di rilevamento producono un tensore (1, 4 + nc, anchors) con xywh riquadri e punteggi per classe. Seleziona la classe migliore per ogni ancora, converti i riquadri in coordinate degli angoli, filtra in base alla confidenza ed esegui NMS; la funzione Ultralytics non_max_suppression esegue tutti questi passaggi.
• nms=False (YOLO26): il modello produce un tensore (1, max_det, 6) con [x1, y1, x2, y2, score, class] righe, per cui è sufficiente applicare una soglia di confidenza.

In entrambi i casi, riporta i riquadri dall'immagine di input con letterboxing alle dimensioni dell'immagine originale. Solo i grafi interrotti prima del passaggio di decodifica richiedono la decodifica dei riquadri sull'host. Sulla DPU, i buffer VART contengono valori INT8 in virgola fissa: interroga la forma e la scala fix_point di ogni tensore, quantizza gli input e dequantizza gli output prima di applicare i passaggi descritti sopra. Graph Runner restituisce gli output del grafo completo, mentre un runner solo DPU restituisce gli output intermedi dei sottografi DPU che il tuo codice deve completare. I layout descritti sopra sono quelli ONNX (vista CPU): per impostazione predefinita VART-ML usa viste dei tensori hardware, la cui forma, tipo di dati e layout di memoria possono essere diversi; configura quindi i tipi dei tensori di input e output del runner come viste CPU oppure converti autonomamente il formato hardware (consulta la panoramica dell'architettura VART-ML di AMD).

Confronta la precisione sul dispositivo con la baseline FP32 del Passaggio 1 usando il tuo set di convalida e le stesse metriche di prestazione, ad esempio mAP. I risultati pubblicati da AMD per YOLOv8m su VEK385 mostrano il costo in termini di precisione della distribuzione INT8:

Fonte: tutorial di AMD su YOLOv8m per Versal AI Edge Gen 2, che riporta anche un tempo medio di inferenza di 10.69 ms su 100 esecuzioni VART a dp_size=1.

Applicazioni nel mondo reale#

I dispositivi AMD Xilinx sono comuni in tutti i contesti in cui l'IA visiva deve funzionare in tempo reale, a basso consumo e vicino al sensore:

• Sicurezza industriale e nei cantieri: rileva persone e macchinari intorno ad attrezzature pesanti e monitora le zone di lavoro con il rilevamento di oggetti e il conteggio degli oggetti.
• Visione per il settore automobilistico e i veicoli fuoristrada: esegui la percezione basata su telecamere su componenti qualificati per il settore automobilistico, a supporto dei veicoli autonomi e dei sistemi di assistenza alla guida.
• Telecamere intelligenti e analisi video: combina acquisizione video, codifica e inferenza YOLO su un unico chip per i sistemi di sicurezza e l'analisi video.
• Visione artificiale e controllo qualità: abbina l'acquisizione di immagini ad alta velocità basata su FPGA alla segmentazione delle istanze o alla classificazione YOLO per rilevare difetti in linea.
• Robotica e droni: usa i moduli Kria KR260 o Versal per la stima della posa, il rilevamento di oggetti orientati e la navigazione con latenza deterministica.

Riepilogo#

I dispositivi AMD Xilinx eseguono i modelli YOLO tramite due generazioni di acceleratori. La DPU di Zynq UltraScale+ e Kria usa il flusso Vitis AI 3.5, ormai congelato, e genera file .xmodel. Richiede attivazioni native DPU, come Hard-Swish, ed esegue l'attenzione sulla CPU. La NPU di Versal AI Edge e Versal AI Edge Gen 2 usa le versioni correnti di Vitis AI. La NPU Gen 2 supporta SiLU e gli operatori di attenzione ed esegue l'esempio AMD di YOLOv8m su VEK385 quasi interamente sulla NPU, mentre la copertura degli operatori sulla precedente NPU VEK280 dipende dalla versione di Vitis AI e dalla precisione.

L'esportazione nativa di Ultralytics per i dispositivi AMD Xilinx sarà disponibile a breve. Nel frattempo, addestra con Ultralytics, esporta in ONNX per i target NPU Versal oppure conserva il checkpoint PyTorch per i target DPU, quindi compila con Vitis AI come descritto sopra. Per altri target di distribuzione, consulta la guida alle opzioni di distribuzione dei modelli, le best practice per la distribuzione e le integrazioni con acceleratori come Hailo, Rockchip RKNN e Axelera.

Domande frequenti#