DEEPX-Export für Ultralytics-YOLO-Modelle#

Die Bereitstellung von Computer-Vision-Modellen auf spezialisierter NPU-Hardware erfordert ein kompatibles und optimiertes Modellformat. Der Export von Ultralytics-YOLO-Modellen ins DEEPX-Format ermöglicht eine effiziente, INT8-quantisierte Inferenz auf DEEPX-NPU-Beschleunigern. Diese Anleitung führt dich durch die Konvertierung deiner YOLO-Modelle ins DEEPX-Format und ihre Bereitstellung auf Hardware mit DEEPX.

Was ist DEEPX?#

DEEPX ist ein Halbleiterunternehmen im KI-Bereich, das sich auf neuronale Verarbeitungseinheiten (NPUs) spezialisiert hat, die für energieeffiziente Deep-Learning-Inferenz am Edge konzipiert sind. DEEPX-NPUs wurden für anspruchsvolle eingebettete und industrielle KI-Anwendungen entwickelt und bieten hohen Durchsatz bei minimalem Energieverbrauch. Die Hardware eignet sich besonders für Einsatzszenarien, in denen die Cloud-Anbindung unzuverlässig oder unerwünscht ist, etwa in der Robotik, bei intelligenten Kameras und in der industriellen Automatisierung.

DEEPX-Exportformat#

Beim DEEPX-Export entsteht eine kompilierte .dxnn-Modellbinärdatei, die für die Ausführung auf DEEPX-NPU-Hardware optimiert ist. Die Kompilierungspipeline verwendet das Toolkit dx_com für die INT8-Quantisierung und hardwarebezogene Optimierungen. Das Ergebnis ist ein eigenständiges Modellverzeichnis, das sofort bereitgestellt werden kann.

Wichtige Merkmale von DEEPX-Modellen#

DEEPX-Modelle bieten mehrere Vorteile für den Einsatz am Edge:

• INT8-Quantisierung: Modelle werden beim Export auf INT8-Genauigkeit quantisiert. Dadurch wird die Modellgröße deutlich verringert und der NPU-Durchsatz maximiert. Mehr über Modellquantisierung.
• Für NPUs optimiert: Das Format .dxnn wird speziell für DEEPX-NPU-Hardware kompiliert und nutzt dedizierte Beschleunigungseinheiten für schnelle, effiziente Inferenz.
• Niedriger Energieverbrauch: Indem die Inferenz auf die NPU ausgelagert wird, verbrauchen DEEPX-Modelle deutlich weniger Energie als vergleichbare CPU- oder GPU-Inferenz.
• Kalibrierungsbasierte Genauigkeit: Beim Export wird eine EMA-basierte Kalibrierung mit echten Datensatzbildern verwendet, um Genauigkeitsverluste durch die Quantisierung zu minimieren.
• Eigenständige Ausgabe: Das exportierte Modellverzeichnis enthält die kompilierte Binärdatei, die Kalibrierungskonfiguration und Metadaten für eine unkomplizierte Bereitstellung.

Unterstützte Aufgaben#

Der DEEPX-Export unterstützt alle sieben Ultralytics-Aufgaben. Semantische Segmentierung und Tiefenschätzung sind nur mit YOLO26 verfügbar, der einzigen Modellfamilie, die diese Köpfe enthält.

Export nach DEEPX: Dein YOLO-Modell konvertieren#

Exportiere ein Ultralytics-YOLO-Modell ins DEEPX-Format und führe mit dem exportierten Modell Inferenz aus.

Installation#

Führe zum Installieren der erforderlichen Pakete Folgendes aus:

# Install the required package for YOLO
pip install ultralytics

Der Compiler dx_com wird beim ersten Export automatisch von PyPI installiert. DX-COM 2.4.1 stellt Wheels für Python 3.8–3.14 unter Linux x86-64 mit glibc 2.31 oder neuer bereit. So installierst du die Exportabhängigkeiten vorab:

pip install "ultralytics[export-deepx]"

Für eine bearbeitbare Repository-Installation ersetze "ultralytics[export-deepx]" durch -e ".[export-base,export-deepx]". Um die Python-3.14-Umgebung und den Smoke-Test-Export aus CI nachzustellen, führe den vorhandenen Umgebungs-Builder im Stammverzeichnis des Repositorys aus:

ULTRALYTICS_ISOLATED_VENVS="$PWD/.venvs" python .github/scripts/create-export-env.py --env isolated-deepx

Der Umgebungs-Builder benötigt uv und einen installierten Ultralytics-Checkout. Er wendet die getesteten Abhängigkeitsvorgaben automatisch an.

Verwendung#

Das DEEPX-Format unterstützt die Modi Export, Vorhersage und Validierung. Inferenz und Validierung werden auf DEEPX-NPU-Hardware ausgeführt. Exportiere dein Modell und lade anschließend das exportierte Modell, um Inferenz auszuführen oder seine Genauigkeit zu validieren.

from ultralytics import YOLO

# Ein YOLO26-Modell laden
model = YOLO("yolo26n.pt")

# Modell ins DEEPX-Format exportieren (quantize=8 wird automatisch erzwungen)
model.export(format="deepx")  # creates 'yolo26n_deepx_model/'

from ultralytics import YOLO

# Das exportierte DEEPX-Modell laden
model = YOLO("yolo26n_deepx_model")

# Inferenz ausführen
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Das exportierte DEEPX-Modell laden
model = YOLO("yolo26n_deepx_model")

# Die Genauigkeit anhand des COCO8-Datensatzes validieren
metrics = model.val(data="coco8.yaml")

Exportargumente#

Weitere Informationen zum Exportvorgang findest du auf der Ultralytics-Dokumentationsseite zum Export.

Ausgabestruktur#

Nach einem erfolgreichen Export wird ein Modellverzeichnis mit folgender Struktur erstellt:

yolo26n_deepx_model/
├── yolo26n.dxnn     # Compiled DEEPX model binary (NPU executable)
├── config.json      # Calibration and preprocessing configuration
└── metadata.yaml    # Model metadata (classes, image size, task, etc.)

Die Datei .dxnn ist die kompilierte Modellbinärdatei, die die Laufzeitumgebung dx_engine direkt auf der NPU lädt. metadata.yaml enthält Klassennamen, Bildgröße und weitere Informationen, die von der Ultralytics-Inferenzpipeline verwendet werden.

Exportierte YOLO-DEEPX-Modelle bereitstellen#

Nachdem du dein Ultralytics-YOLO-Modell erfolgreich ins DEEPX-Format exportiert hast, besteht der nächste Schritt darin, diese Modelle auf DEEPX-NPU-Hardware bereitzustellen.

Installation der Laufzeitumgebung#

Für die Inferenz benötigst du den DEEPX-NPU-Treiber, die Laufzeitumgebung libdxrt und das Python-Paket dx_engine.

# Install the NPU driver and libdxrt runtime
sudo apt update
wget https://github.com/DEEPX-AI/dx_rt_npu_linux_driver/raw/main/release/2.4.1/dxrt-driver-dkms_2.4.1-2_all.deb
sudo apt install ./dxrt-driver-dkms_2.4.1-2_all.deb
wget https://github.com/DEEPX-AI/dx_rt/raw/main/release/3.3.2/libdxrt_3.3.2_all.deb
sudo apt install ./libdxrt_3.3.2_all.deb

# Create dx-engine wheel
cd /usr/share/libdxrt/python_package && sudo ./make_whl.sh

# Install the bundled dx_engine Python wheel
pip install dx_engine-*.whl

Prüfe mit dxrt-cli --version, ob die Laufzeitumgebung korrekt installiert ist. Die Ausgabe sollte etwa so aussehen:

DXRT v3.3.2
Minimum Driver Versions
Device Driver: v2.4.0
PCIe Driver: v2.2.0
Firmware: v2.5.2
Minimum Compiler Versions
Compiler: v1.18.1
.dxnn File Format: v6

Sobald die Laufzeitumgebung installiert ist, führe die Inferenz und Validierung auf deinem DEEPX-Gerät wie im obigen Abschnitt Verwendung gezeigt aus – das exportierte _deepx_model wird direkt mit YOLO(...) geladen.

Visualisierung mit dxtron#

dxtron ist der Graph-Visualizer von DEEPX zur Untersuchung des kompilierten Modells .dxnn.

Installiere dxtron unter x86-64 Linux, indem du das Paket .deb aus dem DEEPX-SDK herunterlädst und mit dpkg installierst:

wget https://sdk.deepx.ai/release/dxtron/v2.0.1/dxtron_2.0.1_amd64.deb
sudo dpkg -i dxtron_2.0.1_amd64.deb

Öffne dann dein exportiertes Modell:

dxtron yolo26n_deepx_model/yolo26n.dxnn

Benchmarks#

Das Ultralytics-Team hat YOLO26-Modelle getestet und dabei Geschwindigkeit und Genauigkeit zwischen PyTorch und DEEPX verglichen.

Leistung

Raspberry Pi 5 + DX-M1-M.2-ModulWeitere Geräte folgen in Kürze!

Modell	Format	Status	Größe (MB)	metrics/mAP50-95(B)	Inferenzzeit (ms/Bild)
YOLO26n	PyTorch	✅	5.3	0.4760	315.2
YOLO26n	DEEPX	✅	6.6	0.4660	34.6
YOLO26n-seg	PyTorch	✅	6.5	0.4080	485.4
YOLO26n-seg	DEEPX	✅	7.9	0.3920	53.8
YOLO26n-pose	PyTorch	✅	7.6	0.4230	506.3
YOLO26n-pose	DEEPX	✅	8.8	0.4590	37.6
YOLO26n-obb	PyTorch	✅	5.7	0.817	1094.4
YOLO26n-obb	DEEPX	✅	7.3	0.783	56.4

Modell	Format	Status	Größe (MB)	acc (top1)	acc (top5)	Inferenzzeit (ms/Bild)
YOLO26n-cls	PyTorch	✅	5.6	0.431	0.716	23.8
YOLO26n-cls	DEEPX	✅	5.9	0.333	0.686	2.7

Hinweis

Für die Validierung der obigen Benchmarks wurden COCO128 für die Detektion, COCO128-seg für die Segmentierung, COCO8-pose für die Posenschätzung, ImageNet100 für die Klassifizierung und DOTA128 für OBB-Modelle verwendet. Die Inferenzzeit umfasst keine Vor- und Nachverarbeitung.

sudo nano /boot/firmware/config.txt

dtparam=pciex1
dtparam=pciex1_gen=3

sudo reboot

sudo lspci -vvv | grep -iA 33 accelerators | grep -E "LnkCap|LnkSta"

Empfohlener Arbeitsablauf#

1. Trainiere dein Modell mit dem Ultralytics-Trainingsmodus
2. Ins DEEPX-Format exportieren mit model.export(format="deepx")
3. Überprüfe die Genauigkeit mit yolo val, um Quantisierungsverluste möglichst gering zu halten
4. Führe Vorhersagen aus mit yolo predict, um die Ergebnisse qualitativ zu überprüfen
5. Das exportierte Verzeichnis _deepx_model/ mit der Laufzeitumgebung dx_engine auf DEEPX-NPU-Hardware bereitstellen

Anwendungen in der Praxis#

Auf DEEPX-NPU-Hardware bereitgestellte YOLO-Modelle eignen sich für zahlreiche Edge-KI-Anwendungen:

• Intelligente Überwachung: Echtzeit-Objekterkennung für Sicherheits- und Überwachungssysteme bei geringem Stromverbrauch und ohne Abhängigkeit von einer Cloud.
• Industrielle Automatisierung: Qualitätskontrolle, Fehlererkennung und Prozessüberwachung direkt auf dem Gerät in Fabrikumgebungen.
• Robotik: Visionsgestützte Navigation, Hindernisvermeidung und Objekterkennung auf autonomen Robotern und Drohnen.
• Intelligente Landwirtschaft: Überwachung des Pflanzengesundheitszustands, Schädlingsbekämpfung und Ertragsschätzung mithilfe von maschinellem Sehen in der Landwirtschaft.
• Einzelhandelsanalysen: Analyse von Kundenströmen, Regalüberwachung und Bestandsverfolgung mit Edge-Inferenz in Echtzeit.

Zusammenfassung#

In dieser Anleitung hast du gelernt, Ultralytics-YOLO-Modelle ins DEEPX-Format zu exportieren und auf DEEPX-NPU-Hardware bereitzustellen. Die Exportpipeline verwendet die INT8-Kalibrierung und den Compiler dx_com, um eine für die Hardware optimierte Binärdatei .dxnn zu erstellen. Die Laufzeitumgebung dx_engine übernimmt die Inferenz auf dem Gerät.

Die Kombination aus Ultralytics YOLO und der NPU-Technologie von DEEPX bietet eine effektive Lösung für anspruchsvolle Computer-Vision-Arbeitslasten auf eingebetteten und Edge-Geräten – mit hohem Durchsatz und geringem Stromverbrauch für Echtzeitanwendungen.

Weitere Informationen zur Verwendung findest du auf der offiziellen DEEPX-Website.

Wenn du mehr über weitere Ultralytics-YOLO-Integrationen erfahren möchtest, besuche außerdem unsere Seite mit Integrationsanleitungen. Dort findest du zahlreiche nützliche Ressourcen und Einblicke.

Häufig gestellte Fragen#