Axelera AI Export und Bereitstellung#

Ultralytics arbeitet mit Axelera AI zusammen, um leistungsstarke und energieeffiziente Inferenz auf Edge AI-Geräten zu ermöglichen. Exportiere und deploie Ultralytics YOLO models direkt auf der Metis® AIPU mithilfe des Voyager SDK.

Axelera AI bietet dedizierte Hardware-Beschleunigung für computer vision am Edge und nutzt dabei eine proprietäre Datenfluss-Architektur sowie in-memory computing, um bis zu 856 TOPS bei geringem Stromverbrauch zu liefern.

Die richtige Hardware auswählen#

Axelera AI bietet verschiedene Formfaktoren an, um unterschiedlichen Bereitstellungsanforderungen gerecht zu werden. Die folgende Tabelle hilft dir dabei, die optimale Hardware für deine Ultralytics YOLO-Bereitstellung zu identifizieren.

graph TD
    A[Start: Select Deployment Target]:::start --> B{Device Type?}:::decide
    B -->|Edge Server / Workstation| C{Throughput Needs?}:::decide
    B -->|Embedded / Robotics| D{Space Constraints?}:::decide
    B -->|Standalone / R&D| E[Dev Kits & Systems]:::proc

    C -->|Max Density <br> 30+ Streams| F[**Metis PCIe x4**<br>856 TOPS]:::out
    C -->|Standard PC <br> Low Profile| G[**Metis PCIe x1**<br>214 TOPS]:::out

    D -->|Drones & Handhelds| H[**Metis M.2**<br>2280 M-Key]:::out
    D -->|High Performance Embedded| I[**Metis M.2 MAX**<br>Extended Thermal]:::out

    E -->|ARM-based All-in-One| J[**Metis Compute Board**<br>RK3588 + AIPU]:::out
    E -->|Prototyping| K[**Arduino Portenta x8**<br>Integration Kit]:::out

    click F "https://store.axelera.ai/"
    click G "https://store.axelera.ai/"
    click H "https://store.axelera.ai/"
    click J "https://store.axelera.ai/"

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Hardware-Portfolio#

Die Axelera-Hardware-Reihe ist darauf optimiert, Ultralytics YOLO26 und ältere Versionen mit hoher FPS-pro-Watt-Effizienz auszuführen.

Beschleunigerkarten#

Diese Karten ermöglichen KI-Beschleunigung in bestehenden Host-Geräten und erleichtern so brownfield deployments.

Integrierte Systeme#

Für schlüsselfertige Lösungen arbeitet Axelera mit Herstellern zusammen, um Systeme anzubieten, die für das Metis AIPU vorvalidiert sind.

• Metis Compute Board: Ein eigenständiges Edge-Gerät, das das Metis AIPU mit einer Rockchip RK3588 ARM CPU kombiniert.
• Workstations: Enterprise-Tower von Dell (Precision 3460XE) und Lenovo (ThinkStation P360 Ultra).
• Industrial PCs: Robuste Systeme von Advantech und Aetina, die für die manufacturing automation entwickelt wurden.

Unterstützte Aufgaben#

Tiefenschätzung wird nicht unterstützt: Der Tiefen-Head erzeugt Operatoren, die der Metis AIPU-Compiler nicht herunterskalieren (lower) kann. Auch die YOLO26-Segmentierung wird von Ultralytics export nicht unterstützt, kann jedoch wie unten beschrieben über das Voyager SDK deployed werden.

Installation#

Ultralytics Installation#

pip install ultralytics

Ausführliche Anweisungen findest du in unserem Ultralytics Installation guide. Wenn du auf Schwierigkeiten stößt, schaue in unserem Common Issues guide nach.

Axelera Treiberinstallation#

1. Füge den Axelera-Repository-Schlüssel hinzu:

   sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

2. Füge das Repository zu apt hinzu:

   Wähle das entsprechende Snippet unten aus, das zu deinem verwendeten Betriebssystem passt.

   # Ubuntu 22.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

   # Ubuntu 24.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu24 main' > /etc/apt/sources.list.d/axelera.list"

3. Installiere das SDK und lade den Treiber:

   sudo apt update
   sudo apt install -y metis-dkms=1.5.5
   sudo modprobe metis

[libaxldev.c:285] Found kernel driver version 1.4.16, but at least version 1.4.18 is required. Please update the kernel driver
ERROR: AXR_ERROR_CONNECTION_ERROR: Failed to open device metis-0:4:0

sudo apt update
sudo apt install -y metis-dkms=1.5.5
sudo rmmod metis
sudo modprobe metis

pip install axelera-devkit==1.7.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple
pip install axelera-rt==1.7.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple

Exportieren von YOLO-Modellen nach Axelera#

Das Axelera-Format unterstützt die Modi Export, Predict und Validate. Inferenz und Validierung laufen auf Axelera Metis AIPU-Hardware. Exportiere dein Modell und lade dann das exportierte Modell, um Inferenz auszuführen oder dessen Genauigkeit zu validieren.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to Axelera format
model.export(format="axelera")  # creates 'yolo26n_axelera_model'

from ultralytics import YOLO

# Load the exported Axelera model
model = YOLO("yolo26n_axelera_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported Axelera model
model = YOLO("yolo26n_axelera_model")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Export-Argumente#

Alle Exportoptionen findest du in der Export Mode documentation.

Ausgabestruktur#

yolo26n_axelera_model/
├── yolo26n.axm                  # Axelera model file
├── compiler_config_final.toml  # Compiler configuration used for the build
└── metadata.yaml               # Model metadata (classes, image size, etc.)

Axelera AI Benchmarks#

Das Metis AIPU maximiert den Durchsatz bei gleichzeitiger Minimierung des Energieverbrauchs.

Benchmarks basieren auf Axelera AI-Daten. Die tatsächlichen FPS hängen von der Modellgröße, dem Batching und der Eingabeauflösung ab.

Anwendungen in der Praxis#

Ultralytics YOLO auf Axelera-Hardware ermöglicht fortschrittliche Edge-Computing-Lösungen:

• Smart Retail: Echtzeit-object counting und heatmap analytics zur Shop-Optimierung.
• Industrial Safety: Latenzarme PPE detection in Fertigungsumgebungen.
• Drone Analytics: High-Speed-object detection auf Drohnen für agriculture sowie Suche und Rettung.
• Traffic Systems: Edge-basierte license plate recognition und speed estimation.

Empfohlener Arbeitsablauf#

1. Trainiere dein Modell mit dem Ultralytics Train-Modus
2. Export in das Axelera-Format mit model.export(format="axelera")
3. Validiere die Genauigkeit mit yolo val, um einen minimalen Quantisierungsverlust zu verifizieren
4. Führe Vorhersagen mit yolo predict für die qualitative Validierung durch
5. Deployment in eine leistungsstarke End-to-End-Pipeline ohne PyTorch-Abhängigkeit – siehe YOLO on Voyager SDK examples für zusammensetzbare Python-Pipelines mit axelera-rt

Gerätezustandsprüfung#

Überprüfe, ob dein Axelera-Gerät ordnungsgemäß funktioniert:

# if axdevice cannot be found, please run at least one inference (see above) to ensure the required packages are installed
axdevice

Detaillierte Diagnosedaten findest du in der AxDevice documentation.

Maximale Leistung#

Diese Integration verwendet aus Kompatibilitätsgründen eine Single-Core-Konfiguration. Für die Produktion, die einen maximalen Durchsatz erfordert, bietet das Axelera Voyager SDK:

• Multi-Core-Auslastung (Quad-Core Metis AIPU)
• Streaming-Inferenz-Pipelines
• Gekachelte Inferenz für Kameras mit höherer Auflösung

Siehe das model-zoo für FPS-Benchmarks oder contact Axelera für Produktionsunterstützung.

Bekannte Probleme#

Besuche für Support die Axelera Community.

FAQ#