Esportazione DEEPX per i modelli Ultralytics YOLO#

La distribuzione di modelli di visione artificiale su hardware NPU specializzato richiede un formato del modello compatibile e ottimizzato. L'esportazione dei modelli Ultralytics YOLO nel formato DEEPX consente un'inferenza efficiente, quantizzata INT8, sugli acceleratori NPU DEEPX. Questa guida illustra come convertire i tuoi modelli YOLO nel formato DEEPX e distribuirli su hardware basato su DEEPX.

Che cos'è DEEPX?#

DEEPX è un'azienda di semiconduttori per l'IA specializzata in unità di elaborazione neurale (NPUs), progettate per un'inferenza di deep learning a basso consumo sui dispositivi edge. Le NPU DEEPX sono progettate per applicazioni di IA embedded e industriali impegnative, offrendo un throughput elevato con un consumo energetico minimo. L'hardware DEEPX è particolarmente adatto a scenari di distribuzione in cui la connettività cloud è inaffidabile o indesiderata, come la robotica, le smart camera e i sistemi di automazione industriale.

Formato di esportazione DEEPX#

L'esportazione DEEPX produce un binario del modello .dxnn compilato e ottimizzato per l'esecuzione su hardware NPU DEEPX. La pipeline di compilazione usa il toolkit dx_com per applicare la quantizzazione INT8 e l'ottimizzazione specifica per l'hardware, generando una directory autonoma del modello, pronta per la distribuzione.

Caratteristiche principali dei modelli DEEPX#

I modelli DEEPX offrono diversi vantaggi per la distribuzione edge:

• Quantizzazione INT8: i modelli vengono quantizzati con precisione INT8 durante l'esportazione, riducendo notevolmente le dimensioni del modello e massimizzando il throughput della NPU. Scopri di più sulla quantizzazione dei modelli.
• Ottimizzazione per NPU: il formato .dxnn viene compilato appositamente per l'hardware NPU DEEPX e sfrutta unità di accelerazione dedicate per un'inferenza rapida ed efficiente.
• Basso consumo energetico: trasferendo l'inferenza alla NPU, i modelli DEEPX consumano molta meno energia rispetto a un'inferenza equivalente su CPU o GPU.
• Precisione basata sulla calibrazione: l'esportazione usa una calibrazione basata su EMA con immagini reali del dataset per ridurre al minimo la perdita di precisione durante la quantizzazione.
• Output autonomo: la directory del modello esportato include il binario compilato, la configurazione di calibrazione e i metadati, per semplificare la distribuzione.

Attività supportate#

L'esportazione DEEPX supporta tutte e sette le attività Ultralytics. La segmentazione semantica e la stima della profondità sono disponibili solo con YOLO26, l'unica famiglia che include queste teste.

Esportazione in DEEPX: conversione del modello YOLO#

Esporta un modello Ultralytics YOLO nel formato DEEPX ed esegui l'inferenza con il modello esportato.

Installazione#

Per installare i pacchetti richiesti, esegui:

# Install the required package for YOLO
pip install ultralytics

Il compilatore dx_com viene installato automaticamente dal repository DEEPX SDK alla prima esportazione. Il flusso di lavoro di esportazione attuale usa DX-COM 2.3.0, che fornisce wheel per Python 3.8–3.12 su Linux x86-64 con glibc 2.31 o versioni successive.

Le release PyPI del compilatore sono state ritirate. Per preinstallare le dipendenze di esportazione, indica la pagina delle wheel dell'SDK con --find-links; questa soluzione funziona sia con pip sia con uv pip:

pip install "ultralytics[export-deepx]" --find-links https://sdk.deepx.ai/release/dxcom/v2.3.0/index.html

Per installare il repository in modalità modificabile, sostituisci "ultralytics[export-deepx]" con -e ".[export-base,export-deepx]". Per riprodurre l'ambiente Python 3.12 e il test di esportazione smoke usati da CI, esegui il builder dell'ambiente già presente dalla directory principale del repository:

ULTRALYTICS_ISOLATED_VENVS="$PWD/.venvs" python .github/scripts/create-export-env.py --env isolated-deepx

Il builder dell'ambiente richiede uv e una copia locale installata di Ultralytics. Installa il compilatore dalla sorgente dell'SDK e applica automaticamente i vincoli di dipendenza verificati.

Utilizzo#

Il formato DEEPX supporta le modalità Export, Predict e Validate. L'inferenza e la convalida vengono eseguite su hardware NPU DEEPX. Esporta il modello, quindi carica il modello esportato per eseguire l'inferenza o convalidarne la precisione.

from ultralytics import YOLO

# Carica un modello YOLO26
model = YOLO("yolo26n.pt")

# Esporta il modello nel formato DEEPX (quantize=8 viene applicato automaticamente)
model.export(format="deepx")  # creates 'yolo26n_deepx_model/'

from ultralytics import YOLO

# Carica il modello DEEPX esportato
model = YOLO("yolo26n_deepx_model")

# Esegui l'inferenza
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Carica il modello DEEPX esportato
model = YOLO("yolo26n_deepx_model")

# Convalida la precisione sul dataset COCO8
metrics = model.val(data="coco8.yaml")

Argomenti di esportazione#

Per ulteriori dettagli sul processo di esportazione, consulta la pagina della documentazione Ultralytics dedicata all'esportazione.

Struttura dell'output#

Dopo un'esportazione riuscita, viene creata una directory del modello con la struttura seguente:

yolo26n_deepx_model/
├── yolo26n.dxnn     # Compiled DEEPX model binary (NPU executable)
├── config.json      # Calibration and preprocessing configuration
└── metadata.yaml    # Model metadata (classes, image size, task, etc.)

Il file .dxnn è il binario del modello compilato, caricato direttamente sulla NPU dal runtime dx_engine. Il file metadata.yaml contiene i nomi delle classi, la dimensione dell'immagine e altre informazioni usate dalla pipeline di inferenza Ultralytics.

Distribuzione dei modelli YOLO DEEPX esportati#

Dopo aver esportato correttamente il tuo modello Ultralytics YOLO nel formato DEEPX, il passo successivo consiste nel distribuirlo su hardware NPU DEEPX.

Installazione del runtime#

L'inferenza richiede il driver NPU DEEPX, il runtime libdxrt e il pacchetto Python dx_engine.

# Install the NPU driver and libdxrt runtime
sudo apt update
wget https://github.com/DEEPX-AI/dx_rt_npu_linux_driver/raw/main/release/2.4.1/dxrt-driver-dkms_2.4.1-2_all.deb
sudo apt install ./dxrt-driver-dkms_2.4.1-2_all.deb
wget https://github.com/DEEPX-AI/dx_rt/raw/main/release/3.3.2/libdxrt_3.3.2_all.deb
sudo apt install ./libdxrt_3.3.2_all.deb

# Create dx-engine wheel
cd /usr/share/libdxrt/python_package && sudo ./make_whl.sh

# Install the bundled dx_engine Python wheel
pip install dx_engine-*.whl

Verifica che il runtime sia installato correttamente con dxrt-cli --version. Dovresti vedere un output simile a:

DXRT v3.3.2
Minimum Driver Versions
Device Driver: v2.4.0
PCIe Driver: v2.2.0
Firmware: v2.5.2
Minimum Compiler Versions
Compiler: v1.18.1
.dxnn File Format: v6

Una volta installato il runtime, esegui l'inferenza e la convalida sul tuo dispositivo DEEPX esattamente come indicato nella sezione Usage qui sopra: il file esportato _deepx_model viene caricato direttamente con YOLO(...).

Visualizzazione con dxtron#

dxtron è il visualizzatore di grafi di DEEPX, che consente di ispezionare il modello .dxnn compilato.

Installa dxtron su Linux x86-64 scaricando il pacchetto .deb dall'SDK DEEPX e installandolo tramite dpkg:

wget https://sdk.deepx.ai/release/dxtron/v2.0.1/dxtron_2.0.1_amd64.deb
sudo dpkg -i dxtron_2.0.1_amd64.deb

Quindi apri il modello esportato:

dxtron yolo26n_deepx_model/yolo26n.dxnn

Benchmark#

Il team Ultralytics ha eseguito benchmark sui modelli YOLO26, confrontando velocità e precisione tra PyTorch e DEEPX.

Prestazioni

Raspberry Pi 5 + modulo DX-M1 M.2Altri dispositivi in arrivo!

Modello	Formato	Stato	Dimensioni (MB)	metrics/mAP50-95(B)	Tempo di inferenza (ms/im)
YOLO26n	PyTorch	✅	5.3	0.4760	315.2
YOLO26n	DEEPX	✅	6.6	0.4660	34.6
YOLO26n-seg	PyTorch	✅	6.5	0.4080	485.4
YOLO26n-seg	DEEPX	✅	7.9	0.3920	53.8
YOLO26n-pose	PyTorch	✅	7.6	0.4230	506.3
YOLO26n-pose	DEEPX	✅	8.8	0.4590	37.6
YOLO26n-obb	PyTorch	✅	5.7	0.817	1094.4
YOLO26n-obb	DEEPX	✅	7.3	0.783	56.4

Modello	Formato	Stato	Dimensioni (MB)	precisione (top1)	precisione (top5)	Tempo di inferenza (ms/im)
YOLO26n-cls	PyTorch	✅	5.6	0.431	0.716	23.8
YOLO26n-cls	DEEPX	✅	5.9	0.333	0.686	2.7

Nota

La convalida dei benchmark riportati sopra è stata eseguita usando COCO128 per il rilevamento, COCO128-seg per la segmentazione, COCO8-pose per la stima della posa, ImageNet100 per la classificazione e DOTA128 per i modelli OBB. Il tempo di inferenza non include la pre-elaborazione e la post-elaborazione.

sudo nano /boot/firmware/config.txt

dtparam=pciex1
dtparam=pciex1_gen=3

sudo reboot

sudo lspci -vvv | grep -iA 33 accelerators | grep -E "LnkCap|LnkSta"

Flusso di lavoro consigliato#

1. Addestra il tuo modello usando la modalità di addestramento di Ultralytics
2. Esporta nel formato DEEPX usando model.export(format="deepx")
3. Convalida la precisione con yolo val per verificare che la perdita dovuta alla quantizzazione sia minima
4. Esegui previsioni usando yolo predict per una convalida qualitativa
5. Distribuisci la directory _deepx_model/ esportata sull'hardware NPU DEEPX usando il runtime dx_engine

Applicazioni nel mondo reale#

I modelli YOLO distribuiti su hardware NPU DEEPX sono particolarmente adatti a un'ampia gamma di applicazioni di IA edge:

• Videosorveglianza intelligente: Rilevamento degli oggetti in tempo reale per sistemi di sicurezza e monitoraggio, con un basso consumo energetico e senza dipendenza dal cloud.
• Automazione industriale: controllo qualità direttamente sul dispositivo, rilevamento dei difetti e monitoraggio dei processi in ambienti di fabbrica.
• Robotica: navigazione basata sulla visione, elusione degli ostacoli e riconoscimento degli oggetti su robot autonomi e droni.
• Agricoltura intelligente: monitoraggio della salute delle colture, rilevamento dei parassiti e stima della resa usando la visione artificiale in agricoltura.
• Analisi per il commercio al dettaglio: analisi del flusso dei clienti, monitoraggio degli scaffali e tracciamento dell'inventario con inferenza edge in tempo reale.

Riepilogo#

In questa guida hai imparato a esportare i modelli Ultralytics YOLO nel formato DEEPX e a distribuirli su hardware NPU DEEPX. La pipeline di esportazione usa la calibrazione INT8 e il compilatore dx_com per produrre un binario .dxnn ottimizzato per l'hardware, mentre il runtime dx_engine gestisce l'inferenza sul dispositivo.

La combinazione di Ultralytics YOLO e della tecnologia NPU di DEEPX offre una soluzione efficace per eseguire carichi di lavoro avanzati di visione artificiale su dispositivi embedded ed edge, garantendo un throughput elevato e un basso consumo energetico per le applicazioni in tempo reale.

Per ulteriori dettagli sull'utilizzo, visita il sito web ufficiale di DEEPX.

Inoltre, se vuoi saperne di più sulle altre integrazioni Ultralytics YOLO, visita la nostra pagina delle guide alle integrazioni. Troverai numerose risorse e informazioni utili.

Domande frequenti#