Esportazione e distribuzione con Axelera AI#

Ultralytics collabora con Axelera AI per abilitare inferenze ad alte prestazioni e a basso consumo energetico sui dispositivi Edge AI. Esporta e distribuisci i modelli Ultralytics YOLO direttamente sull'AIPU Metis® utilizzando il Voyager SDK.

Axelera AI offre un'accelerazione hardware dedicata per la visione artificiale all'edge, utilizzando un'architettura proprietaria basata sul flusso dei dati e il calcolo in memoria per offrire fino a 856 TOPS con un basso consumo energetico.

Scegliere l'hardware giusto#

Axelera AI offre diversi fattori di forma per soddisfare i vari vincoli di distribuzione. Il grafico seguente aiuta a identificare l'hardware ottimale per la distribuzione di Ultralytics YOLO.

graph TD
    A[Start: Select Deployment Target]:::start --> B{Device Type?}:::decide
    B -->|Edge Server / Workstation| C{Throughput Needs?}:::decide
    B -->|Embedded / Robotics| D{Space Constraints?}:::decide
    B -->|Standalone / R&D| E[Dev Kits & Systems]:::proc

    C -->|Max Density <br> 30+ Streams| F[**Metis PCIe x4**<br>856 TOPS]:::out
    C -->|Standard PC <br> Low Profile| G[**Metis PCIe x1**<br>214 TOPS]:::out

    D -->|Drones & Handhelds| H[**Metis M.2**<br>2280 M-Key]:::out
    D -->|High Performance Embedded| I[**Metis M.2 MAX**<br>Extended Thermal]:::out

    E -->|ARM-based All-in-One| J[**Metis Compute Board**<br>RK3588 + AIPU]:::out
    E -->|Prototyping| K[**Arduino Portenta x8**<br>Integration Kit]:::out

    click F "https://store.axelera.ai/"
    click G "https://store.axelera.ai/"
    click H "https://store.axelera.ai/"
    click J "https://store.axelera.ai/"

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Gamma di hardware#

La gamma di hardware Axelera è ottimizzata per eseguire Ultralytics YOLO26 e le versioni precedenti con un'elevata efficienza in termini di FPS per watt.

Schede acceleratrici#

Queste schede consentono di accelerare l'AI sui dispositivi host esistenti, facilitando le distribuzioni in ambienti esistenti.

Sistemi integrati#

Per offrire soluzioni chiavi in mano, Axelera collabora con i produttori per fornire sistemi convalidati in anticipo per l'AIPU Metis.

• Scheda di calcolo Metis: un dispositivo edge autonomo che abbina l'AIPU Metis a una CPU ARM Rockchip RK3588.
• Workstation: tower aziendali di Dell (Precision 3460XE) e Lenovo (ThinkStation P360 Ultra).
• PC industriali: sistemi rinforzati di Advantech e Aetina, progettati per l'automazione della produzione.

Attività supportate#

La stima della profondità non è supportata: la testa di profondità genera operatori che il compilatore AIPU Metis non è in grado di convertire. Anche la segmentazione delle istanze di YOLO26 non è supportata da Ultralytics export, ma può comunque essere distribuita tramite Voyager SDK, come descritto di seguito. La segmentazione semantica di YOLO26 è supportata.

Installazione#

Installazione di Ultralytics#

pip install ultralytics

Per istruzioni dettagliate, consulta la nostra guida all'installazione di Ultralytics. Se riscontri difficoltà, consulta la nostra guida ai problemi comuni.

Installazione del driver Axelera#

1. Aggiungi la chiave del repository Axelera:

   sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

2. Aggiungi il repository ad apt:

   Scegli lo snippet appropriato qui sotto in base al sistema operativo in uso.

   # Ubuntu 22.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

   # Ubuntu 24.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu24 main' > /etc/apt/sources.list.d/axelera.list"

3. Installa il driver e caricalo. SDK 1.8 richiede metis-dkms 1.6.2 o superiore, quindi qui viene installata la versione più recente:

   sudo apt update
   sudo apt install -y metis-dkms
   sudo modprobe metis

[libaxldev.c:285] Found kernel driver version 1.5.5, but at least version 1.6.2 is required. Please update the kernel driver
ERROR: AXR_ERROR_CONNECTION_ERROR: Failed to open device metis-0:4:0

sudo apt update
sudo apt install -y metis-dkms
sudo rmmod metis
sudo modprobe metis

pip install axelera-devkit==1.8.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple
pip install axelera-rt==1.8.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple

Error: Unsupported model version: 4.0, expected at least 5.0
Please re-deploy or re-download the model.

Esportazione dei modelli YOLO per Axelera#

Il formato Axelera supporta le modalità Esporta, Predici e Valida. L'inferenza e la convalida vengono eseguite sull'hardware AIPU Metis di Axelera. Esporta il modello, quindi carica il modello esportato per eseguire l'inferenza o convalidarne l'accuratezza.

from ultralytics import YOLO

# Carica un modello YOLO26
model = YOLO("yolo26n.pt")

# # Esporta il modello nel formato Axelera
model.export(format="axelera")  # creates 'yolo26n_axelera_model'

from ultralytics import YOLO

# # Carica il modello Axelera esportato
model = YOLO("yolo26n_axelera_model")

# Esegui l'inferenza
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# # Carica il modello Axelera esportato
model = YOLO("yolo26n_axelera_model")

# # Convalida l'accuratezza sul dataset COCO8
metrics = model.val(data="coco8.yaml")

Argomenti di esportazione#

* L'inferenza con batch>1 richiede Voyager SDK 1.8.0 o versione successiva; i modelli vengono compilati per una singola immagine.

Per tutte le opzioni di esportazione, consulta la documentazione della modalità Esporta.

Struttura dell'output#

yolo26n_axelera_model/
├── yolo26n.axm                  # Axelera model file
├── compiler_config_final.toml  # Compiler configuration used for the build
└── metadata.yaml               # Model metadata (classes, image size, etc.)

Benchmark di Axelera AI#

L'AIPU Metis massimizza la velocità di elaborazione riducendo al minimo il consumo energetico.

Benchmark basati sui dati di Axelera AI. Gli FPS effettivi dipendono dalle dimensioni del modello, dal batching e dalla risoluzione di input.

Questi sono valori di throughput dell'host, misurati dal model zoo con la pipeline di streaming del Voyager SDK su un file video a 720p. Una singola chiamata predict riporta invece la latenza per immagine, che è una grandezza diversa.

Applicazioni nel mondo reale#

Ultralytics YOLO su hardware Axelera consente soluzioni avanzate di edge computing:

• Vendita al dettaglio intelligente: Conteggio degli oggetti in tempo reale e analisi delle mappe di calore per ottimizzare i negozi.
• Sicurezza industriale: Rilevamento dei DPI a bassa latenza negli ambienti di produzione.
• Analisi con droni: Rilevamento degli oggetti ad alta velocità sui UAV per l'agricoltura e le operazioni di ricerca e soccorso.
• Sistemi di gestione del traffico: Riconoscimento delle targhe e stima della velocità tramite edge computing.

Flusso di lavoro consigliato#

1. Addestra il tuo modello usando la modalità Train di Ultralytics
2. Esporta nel formato Axelera usando model.export(format="axelera")
3. Convalida l'accuratezza con yolo val per verificare che la perdita dovuta alla quantizzazione sia minima
4. Esegui la predizione usando yolo predict per la convalida qualitativa
5. Distribuisci in una pipeline end-to-end ad alte prestazioni senza dipendenze da PyTorch — consulta gli esempi YOLO con Voyager SDK per pipeline Python componibili che usano axelera-rt

Controllo dello stato del dispositivo#

Verifica che il dispositivo Axelera funzioni correttamente:

# if axdevice cannot be found, please run at least one inference (see above) to ensure the required packages are installed
axdevice

Per una diagnostica dettagliata, consulta la documentazione di AxDevice.

Prestazioni massime#

I modelli vengono compilati per una singola immagine. Passando diverse immagini a Predict, queste vengono instradate tramite lo scheduler Axelera (Voyager SDK 1.8 o versioni successive), quindi batch>1 viene eseguito correttamente, anche se, misurato end-to-end su un singolo dispositivo, non è più veloce di batch=1:

yolo predict model=yolo26n_axelera_model source=path/to/images batch=8

Per la produzione che richiede il massimo throughput, Axelera Voyager SDK offre:

• Pipeline di inferenza in streaming che mantengono più fotogrammi in elaborazione contemporaneamente
• Compilazione di un modello su più core
• Inferenza suddivisa in riquadri per telecamere ad alta risoluzione

Consulta il model-zoo per i benchmark FPS o contatta Axelera per l'assistenza in produzione.

Problemi noti#

Per ricevere assistenza, visita la community di Axelera.

Domande frequenti#