Esportazione e distribuzione con Axelera AI#

Ultralytics collabora con Axelera AI per abilitare inferenze ad alte prestazioni e a basso consumo energetico sui dispositivi Edge AI. Esporta e distribuisci i modelli Ultralytics YOLO direttamente sull'AIPU Metis® utilizzando il Voyager SDK.

Axelera AI offre un'accelerazione hardware dedicata per la visione artificiale all'edge, utilizzando un'architettura proprietaria basata sul flusso dei dati e il calcolo in memoria per offrire fino a 856 TOPS con un basso consumo energetico.

Scegliere l'hardware giusto#

Axelera AI offre diversi fattori di forma per soddisfare i vari vincoli di distribuzione. Il grafico seguente aiuta a identificare l'hardware ottimale per la distribuzione di Ultralytics YOLO.

Gamma di hardware#

La gamma di hardware Axelera è ottimizzata per eseguire Ultralytics YOLO26 e le versioni precedenti con un'elevata efficienza in termini di FPS per watt.

Schede acceleratrici#

Queste schede consentono di accelerare l'AI sui dispositivi host esistenti, facilitando le distribuzioni in ambienti esistenti.

Sistemi integrati#

Per offrire soluzioni chiavi in mano, Axelera collabora con i produttori per fornire sistemi convalidati in anticipo per l'AIPU Metis.

• Scheda di calcolo Metis: un dispositivo edge autonomo che abbina l'AIPU Metis a una CPU ARM Rockchip RK3588.
• Workstation: tower aziendali di Dell (Precision 3460XE) e Lenovo (ThinkStation P360 Ultra).
• PC industriali: sistemi rinforzati di Advantech e Aetina, progettati per l'automazione della produzione.

Attività supportate#

L’esportazione Axelera supporta tutti e sette i task Ultralytics. La segmentazione semantica e la stima della profondità sono disponibili solo con YOLO26, l’unica famiglia che include queste head.

I modelli YOLO26 di rilevamento, segmentazione di istanze, stima della posa e OBB esportano per impostazione predefinita la loro head one-to-one senza NMS, che viene decodificata dall’host dal runtime Axelera. Passando nms=True si esporta invece la head one-to-many, che ottiene risultati inferiori su Metis: in questo modo, il rilevamento YOLO26n raggiunge mAP50-95 0.212 su COCO128, contro 0.453 con la head senza NMS.

Installazione#

Installazione di Ultralytics#

pip install ultralytics

Per istruzioni dettagliate, consulta la nostra guida all'installazione di Ultralytics. Se riscontri difficoltà, consulta la nostra guida ai problemi comuni.

Installazione del driver Axelera#

1. Aggiungi la chiave del repository Axelera:

   sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

2. Aggiungi il repository ad apt:

   Scegli lo snippet appropriato qui sotto in base al sistema operativo in uso.

   # Ubuntu 22.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

   # Ubuntu 24.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu24 main' > /etc/apt/sources.list.d/axelera.list"

3. Installa il driver e caricalo. SDK 1.9 richiede metis-dkms 1.7.0 o versione successiva; qui viene installata la versione più recente:

   sudo apt update
   sudo apt install -y metis-dkms
   sudo modprobe metis

[libaxldev.c:285] Found kernel driver version 1.6.2, but at least version 1.7.0 is required. Please update the kernel driver
ERROR: AXR_ERROR_CONNECTION_ERROR: Failed to open device metis-0:4:0

sudo apt update
sudo apt install -y metis-dkms
sudo rmmod metis
sudo modprobe metis

pip install axelera-devkit==1.9.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple
pip install axelera-rt==1.9.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple

Error: Unsupported model version: 4.0, expected at least 5.0
Please re-deploy or re-download the model.

Esportazione dei modelli YOLO per Axelera#

Il formato Axelera supporta le modalità Esporta, Predici e Valida. L'inferenza e la convalida vengono eseguite sull'hardware AIPU Metis di Axelera. Esporta il modello, quindi carica il modello esportato per eseguire l'inferenza o convalidarne l'accuratezza.

from ultralytics import YOLO

# Carica un modello YOLO26
model = YOLO("yolo26n.pt")

# # Esporta il modello nel formato Axelera
model.export(format="axelera")  # creates 'yolo26n_axelera_model'

from ultralytics import YOLO

# # Carica il modello Axelera esportato
model = YOLO("yolo26n_axelera_model")

# Esegui l'inferenza
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# # Carica il modello Axelera esportato
model = YOLO("yolo26n_axelera_model")

# # Convalida l'accuratezza sul dataset COCO8
metrics = model.val(data="coco8.yaml")

Argomenti di esportazione#

* I modelli vengono compilati per una singola immagine, quindi l’opzione di esportazione batch imposta solo la dimensione del batch di calibrazione. Passa invece batch a predict per inviare più immagini contemporaneamente allo scheduler Axelera (Voyager SDK 1.8.0 o versione successiva): vedi Prestazioni massime.

Per tutte le opzioni di esportazione, consulta la documentazione della modalità Esporta.

Struttura dell'output#

yolo26n_axelera_model/
├── yolo26n.axm                  # Axelera model file
├── compiler_config_final.toml  # Compiler configuration used for the build
└── metadata.yaml               # Model metadata (classes, image size, etc.)

Benchmark di Axelera AI#

L'AIPU Metis massimizza la velocità di elaborazione riducendo al minimo il consumo energetico.

Benchmark basati sui dati di Axelera AI. Gli FPS effettivi dipendono dalle dimensioni del modello, dal batching e dalla risoluzione di input.

Questi sono valori di throughput dell'host, misurati dal model zoo con la pipeline di streaming del Voyager SDK su un file video a 720p. Una singola chiamata predict riporta invece la latenza per immagine, che è una grandezza diversa.

Applicazioni nel mondo reale#

Ultralytics YOLO su hardware Axelera consente soluzioni avanzate di edge computing:

• Vendita al dettaglio intelligente: Conteggio degli oggetti in tempo reale e analisi delle mappe di calore per ottimizzare i negozi.
• Sicurezza industriale: Rilevamento dei DPI a bassa latenza negli ambienti di produzione.
• Analisi con droni: Rilevamento degli oggetti ad alta velocità sui UAV per l'agricoltura e le operazioni di ricerca e soccorso.
• Sistemi di gestione del traffico: Riconoscimento delle targhe e stima della velocità tramite edge computing.

Flusso di lavoro consigliato#

1. Addestra il tuo modello usando la modalità Train di Ultralytics
2. Esporta nel formato Axelera usando model.export(format="axelera")
3. Convalida l'accuratezza con yolo val per verificare che la perdita dovuta alla quantizzazione sia minima
4. Esegui la predizione usando yolo predict per la convalida qualitativa
5. Distribuisci in una pipeline end-to-end ad alte prestazioni senza dipendenze da PyTorch — consulta gli esempi YOLO con Voyager SDK per pipeline Python componibili che usano axelera-rt

Controllo dello stato del dispositivo#

Verifica che il dispositivo Axelera funzioni correttamente:

# if axdevice cannot be found, please run at least one inference (see above) to ensure the required packages are installed
axdevice

Per una diagnostica dettagliata, consulta la documentazione di AxDevice.

Prestazioni massime#

I modelli vengono compilati per una singola immagine e una singola immagine viene eseguita su un core AIPU. Passare più immagini a Predict le invia insieme allo scheduler Axelera, che le distribuisce sui core del dispositivo:

yolo predict model=yolo26n_axelera_model source=path/to/images batch=32

yolo26n a imgsz=640 sulle 128 immagini COCO128 contenute in una directory, Metis PCIe, mediana di tre esecuzioni:

Con SDK 1.9, il batch è ciò che aumenta il throughput: di 2,7 volte a batch=32, mentre la versione 1.8 resta intorno a 40 img/s con qualsiasi dimensione del batch. Usa un batch grande per il throughput offline e batch=1 quando conta la latenza per immagine. Un secondo dispositivo aggiunge poco a predict: a batch=32 ogni immagine trascorre già circa 4 ms nella preelaborazione sull’host, tanto quanto il tempo trascorso sul dispositivo.

Oltre predict#

Per la produzione che richiede il massimo throughput, Axelera Voyager SDK offre:

• Pipeline di inferenza in streaming che mantengono più fotogrammi in elaborazione contemporaneamente
• Compilazione di un modello su più core
• Inferenza suddivisa in riquadri per telecamere ad alta risoluzione

Questi percorsi saltano la preelaborazione e la postelaborazione PyTorch che predict esegue sull’host. Consulta lo zoo di modelli per i benchmark FPS oppure contatta Axelera per il supporto in produzione.

Problemi noti#

Per ricevere assistenza, visita la community di Axelera.

Domande frequenti#