Export und Bereitstellung mit Axelera AI#

Ultralytics arbeitet mit Axelera AI zusammen, um leistungsstarke, energieeffiziente Inferenz auf Edge-AI-Geräten zu ermöglichen. Exportiere Ultralytics-YOLO-Modelle und stelle sie direkt auf der Metis® AIPU mithilfe des Voyager SDK bereit.

Axelera AI bietet dedizierte Hardwarebeschleunigung für Bildverarbeitung am Edge und nutzt eine proprietäre Datenflussarchitektur sowie Berechnungen im Speicher, um bei geringem Stromverbrauch bis zu 856 TOPS zu erreichen.

Die passende Hardware auswählen#

Axelera AI bietet verschiedene Formfaktoren für unterschiedliche Einsatzbedingungen. Das Diagramm unten hilft dir dabei, die optimale Hardware für deine Ultralytics-YOLO-Bereitstellung zu finden.

Hardwareangebot#

Die Axelera-Hardware ist darauf ausgelegt, Ultralytics YOLO26 und ältere Versionen mit hoher FPS-pro-Watt-Effizienz auszuführen.

Beschleunigerkarten#

Mit diesen Karten kannst du bestehende Hostgeräte mit KI-Beschleunigung ausstatten und so Brownfield-Bereitstellungen ermöglichen.

Integrierte Systeme#

Für schlüsselfertige Lösungen arbeitet Axelera mit Herstellern zusammen, um Systeme bereitzustellen, die für die Metis AIPU vorab validiert wurden.

• Metis Compute Board: Ein eigenständiges Edge-Gerät, das die Metis AIPU mit einer Rockchip-RK3588-ARM-CPU kombiniert.
• Workstations: Enterprise-Tower von Dell (Precision 3460XE) und Lenovo (ThinkStation P360 Ultra).
• Industrie-PCs: Robuste Systeme von Advantech und Aetina, ausgelegt auf Fertigungsautomatisierung.

Unterstützte Aufgaben#

Der Axelera-Export unterstützt alle sieben Ultralytics-Aufgaben. Semantische Segmentierung und Tiefenschätzung sind nur mit YOLO26 verfügbar, der einzigen Modellfamilie, die diese Heads enthält.

YOLO26-Modelle für Detektion, Instanzsegmentierung, Pose und OBB exportieren standardmäßig ihren NMS-freien One-to-One-Head, den die Axelera-Laufzeitumgebung auf dem Host decodiert. Mit nms=True wird stattdessen der One-to-Many-Head exportiert, der auf Metis schlechter abschneidet: Die YOLO26n-Detektion erreicht auf COCO128 so einen mAP50-95-Wert von 0.212, gegenüber 0.453 mit dem NMS-freien Head.

Installation#

Ultralytics installieren#

pip install ultralytics

Eine ausführliche Anleitung findest du in unserem Ultralytics-Installationsleitfaden. Bei Problemen hilft dir unser Leitfaden zu häufigen Problemen.

Axelera-Treiber installieren#

1. Füge den Axelera-Repository-Schlüssel hinzu:

   sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

2. Füge das Repository zu apt hinzu:

   Wähle unten den passenden Codeausschnitt für das verwendete Betriebssystem aus.

   # Ubuntu 22.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

   # Ubuntu 24.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu24 main' > /etc/apt/sources.list.d/axelera.list"

3. Installiere den Treiber und lade ihn. SDK 1.9 benötigt metis-dkms 1.7.0 oder neuer. Hier wird daher die neueste Version installiert:

   sudo apt update
   sudo apt install -y metis-dkms
   sudo modprobe metis

[libaxldev.c:285] Found kernel driver version 1.6.2, but at least version 1.7.0 is required. Please update the kernel driver
ERROR: AXR_ERROR_CONNECTION_ERROR: Failed to open device metis-0:4:0

sudo apt update
sudo apt install -y metis-dkms
sudo rmmod metis
sudo modprobe metis

pip install axelera-devkit==1.9.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple
pip install axelera-rt==1.9.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple

Error: Unsupported model version: 4.0, expected at least 5.0
Please re-deploy or re-download the model.

YOLO-Modelle für Axelera exportieren#

Das Axelera-Format unterstützt die Modi Export, Vorhersage und Validierung. Inferenz und Validierung werden auf Axelera-Metis-AIPU-Hardware ausgeführt. Exportiere dein Modell und lade es anschließend, um Inferenz auszuführen oder seine Genauigkeit zu validieren.

from ultralytics import YOLO

# Ein YOLO26-Modell laden
model = YOLO("yolo26n.pt")

# Das Modell ins Axelera-Format exportieren
model.export(format="axelera")  # creates 'yolo26n_axelera_model'

from ultralytics import YOLO

# Das exportierte Axelera-Modell laden
model = YOLO("yolo26n_axelera_model")

# Inferenz ausführen
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Das exportierte Axelera-Modell laden
model = YOLO("yolo26n_axelera_model")

# Die Genauigkeit anhand des COCO8-Datensatzes validieren
metrics = model.val(data="coco8.yaml")

Exportargumente#

* Modelle werden für jeweils ein Bild kompiliert. Daher legt der Exportparameter batch nur die Kalibrierungs-Batchgröße fest. Übergib stattdessen batch an predict, damit der Axelera-Scheduler mehrere Bilder auf einmal verarbeiten kann (Voyager SDK 1.8.0 oder neuer): siehe Maximale Leistung.

Alle Exportoptionen findest du in der Dokumentation zum Exportmodus.

Ausgabestruktur#

yolo26n_axelera_model/
├── yolo26n.axm                  # Axelera model file
├── compiler_config_final.toml  # Compiler configuration used for the build
└── metadata.yaml               # Model metadata (classes, image size, etc.)

Axelera-AI-Benchmarks#

Die Metis AIPU maximiert den Durchsatz und minimiert gleichzeitig den Energieverbrauch.

Benchmarks basierend auf Daten von Axelera AI. Die tatsächlichen FPS hängen von der Modellgröße, der Stapelverarbeitung und der Eingabeauflösung ab.

Dies sind Durchsatzwerte des Hostsystems, gemessen mit der Modellübersicht und der Streaming-Pipeline des Voyager SDK anhand einer 720p-Videodatei. Ein einzelner Aufruf von predict meldet stattdessen die Latenz pro Bild, also eine andere Messgröße.

Anwendungen in der Praxis#

Ultralytics YOLO auf Axelera-Hardware ermöglicht fortschrittliche Edge-Computing-Lösungen:

• Intelligenter Einzelhandel: Echtzeit-Objektzählung und Heatmap-Analysen zur Optimierung von Geschäften.
• Arbeitssicherheit in der Industrie: PSA-Erkennung mit geringer Latenz in Fertigungsumgebungen.
• Drohnenanalysen: Hochgeschwindigkeits-Objekterkennung auf UAVs für die Landwirtschaft sowie Such- und Rettungseinsätze.
• Verkehrssysteme: Edge-basierte Kennzeichenerkennung und Geschwindigkeitsschätzung.

Empfohlener Arbeitsablauf#

1. Trainiere dein Modell mit dem Ultralytics-Trainingsmodus
2. Exportiere es mit model.export(format="axelera") ins Axelera-Format
3. Überprüfe die Genauigkeit mit yolo val, um Quantisierungsverluste möglichst gering zu halten
4. Führe Vorhersagen aus mit yolo predict, um die Ergebnisse qualitativ zu überprüfen
5. Stelle das Modell in einer leistungsstarken End-to-End-Pipeline ohne PyTorch-Abhängigkeit bereit — Beispiele für zusammensetzbare Python-Pipelines mit axelera-rt findest du unter YOLO-Beispiele für das Voyager SDK.

Gerätestatus prüfen#

Überprüfe, ob dein Axelera-Gerät ordnungsgemäß funktioniert:

# if axdevice cannot be found, please run at least one inference (see above) to ensure the required packages are installed
axdevice

Ausführliche Diagnosen findest du in der AxDevice-Dokumentation.

Maximale Leistung#

Modelle werden für jeweils ein Bild kompiliert, und ein einzelnes Bild wird auf einem AIPU-Kern ausgeführt. Wenn du mehrere Bilder an Predict übergibst, werden sie gemeinsam an den Axelera-Scheduler weitergeleitet, der sie auf die Kerne des Geräts verteilt:

yolo predict model=yolo26n_axelera_model source=path/to/images batch=32

yolo26n bei imgsz=640 für die 128 COCO128-Bilder in einem Verzeichnis, Metis PCIe, Median aus drei Durchläufen:

Bei SDK 1.9 steigert ein Batch den Durchsatz: bei batch=32 um das 2,7-Fache. Version 1.8 bleibt bei jeder Batchgröße bei etwa 40 img/s. Verwende für den Offline-Durchsatz eine große Batchgröße und batch=1, wenn die Latenz pro Bild wichtig ist. Ein zweites Gerät bringt bei predict wenig: Bei batch=32 verbringt jedes Bild bereits etwa 4 ms mit der Vorverarbeitung auf dem Host – genauso viel Zeit wie auf dem Gerät.

Jenseits von predict#

Für Produktionsumgebungen, die maximalen Durchsatz erfordern, bietet das Axelera Voyager SDK:

• Streaming-Inferenz-Pipelines, bei denen mehrere Frames gleichzeitig verarbeitet werden
• Kompilierung eines Modells über mehrere Kerne hinweg
• Kachelbasierte Inferenz für Kameras mit höherer Auflösung

Diese Ausführungspfade überspringen die PyTorch-Vor- und -Nachverarbeitung, die predict auf dem Host ausführt. FPS-Benchmarks findest du in der Modellbibliothek. Für Support beim Produktionseinsatz kannst du Axelera kontaktieren.

Bekannte Probleme#

Unterstützung findest du in der Axelera-Community.

Häufig gestellte Fragen#