Export und Bereitstellung mit Axelera AI#

Ultralytics arbeitet mit Axelera AI zusammen, um leistungsstarke, energieeffiziente Inferenz auf Edge-AI-Geräten zu ermöglichen. Exportiere Ultralytics-YOLO-Modelle und stelle sie direkt auf der Metis® AIPU mithilfe des Voyager SDK bereit.

Axelera AI bietet dedizierte Hardwarebeschleunigung für Bildverarbeitung am Edge und nutzt eine proprietäre Datenflussarchitektur sowie Berechnungen im Speicher, um bei geringem Stromverbrauch bis zu 856 TOPS zu erreichen.

Die passende Hardware auswählen#

Axelera AI bietet verschiedene Formfaktoren für unterschiedliche Einsatzbedingungen. Das Diagramm unten hilft dir dabei, die optimale Hardware für deine Ultralytics-YOLO-Bereitstellung zu finden.

graph TD
    A[Start: Select Deployment Target]:::start --> B{Device Type?}:::decide
    B -->|Edge Server / Workstation| C{Throughput Needs?}:::decide
    B -->|Embedded / Robotics| D{Space Constraints?}:::decide
    B -->|Standalone / R&D| E[Dev Kits & Systems]:::proc

    C -->|Max Density <br> 30+ Streams| F[**Metis PCIe x4**<br>856 TOPS]:::out
    C -->|Standard PC <br> Low Profile| G[**Metis PCIe x1**<br>214 TOPS]:::out

    D -->|Drones & Handhelds| H[**Metis M.2**<br>2280 M-Key]:::out
    D -->|High Performance Embedded| I[**Metis M.2 MAX**<br>Extended Thermal]:::out

    E -->|ARM-based All-in-One| J[**Metis Compute Board**<br>RK3588 + AIPU]:::out
    E -->|Prototyping| K[**Arduino Portenta x8**<br>Integration Kit]:::out

    click F "https://store.axelera.ai/"
    click G "https://store.axelera.ai/"
    click H "https://store.axelera.ai/"
    click J "https://store.axelera.ai/"

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Hardwareangebot#

Die Axelera-Hardware ist darauf ausgelegt, Ultralytics YOLO26 und ältere Versionen mit hoher FPS-pro-Watt-Effizienz auszuführen.

Beschleunigerkarten#

Mit diesen Karten kannst du bestehende Hostgeräte mit KI-Beschleunigung ausstatten und so Brownfield-Bereitstellungen ermöglichen.

Integrierte Systeme#

Für schlüsselfertige Lösungen arbeitet Axelera mit Herstellern zusammen, um Systeme bereitzustellen, die für die Metis AIPU vorab validiert wurden.

• Metis Compute Board: Ein eigenständiges Edge-Gerät, das die Metis AIPU mit einer Rockchip-RK3588-ARM-CPU kombiniert.
• Workstations: Enterprise-Tower von Dell (Precision 3460XE) und Lenovo (ThinkStation P360 Ultra).
• Industrie-PCs: Robuste Systeme von Advantech und Aetina, ausgelegt auf Fertigungsautomatisierung.

Unterstützte Aufgaben#

Tiefenschätzung wird nicht unterstützt: Der Tiefenkopf gibt Operatoren aus, die der Compiler der Metis AIPU nicht umsetzen kann. Auch die Instanzsegmentierung mit YOLO26 wird von Ultralytics export nicht unterstützt, kann aber wie unten beschrieben weiterhin über das Voyager SDK bereitgestellt werden. Die semantische Segmentierung mit YOLO26 wird unterstützt.

Installation#

Ultralytics installieren#

pip install ultralytics

Eine ausführliche Anleitung findest du in unserem Ultralytics-Installationsleitfaden. Bei Problemen hilft dir unser Leitfaden zu häufigen Problemen.

Axelera-Treiber installieren#

1. Füge den Axelera-Repository-Schlüssel hinzu:

   sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

2. Füge das Repository zu apt hinzu:

   Wähle unten den passenden Codeausschnitt für das verwendete Betriebssystem aus.

   # Ubuntu 22.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

   # Ubuntu 24.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu24 main' > /etc/apt/sources.list.d/axelera.list"

3. Installiere den Treiber und lade ihn. SDK 1.8 erfordert metis-dkms 1.6.2 oder neuer; daher wird hier die neueste Version installiert:

   sudo apt update
   sudo apt install -y metis-dkms
   sudo modprobe metis

[libaxldev.c:285] Found kernel driver version 1.5.5, but at least version 1.6.2 is required. Please update the kernel driver
ERROR: AXR_ERROR_CONNECTION_ERROR: Failed to open device metis-0:4:0

sudo apt update
sudo apt install -y metis-dkms
sudo rmmod metis
sudo modprobe metis

pip install axelera-devkit==1.8.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple
pip install axelera-rt==1.8.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple

Error: Unsupported model version: 4.0, expected at least 5.0
Please re-deploy or re-download the model.

YOLO-Modelle für Axelera exportieren#

Das Axelera-Format unterstützt die Modi Export, Vorhersage und Validierung. Inferenz und Validierung werden auf Axelera-Metis-AIPU-Hardware ausgeführt. Exportiere dein Modell und lade es anschließend, um Inferenz auszuführen oder seine Genauigkeit zu validieren.

from ultralytics import YOLO

# Ein YOLO26-Modell laden
model = YOLO("yolo26n.pt")

# Das Modell ins Axelera-Format exportieren
model.export(format="axelera")  # creates 'yolo26n_axelera_model'

from ultralytics import YOLO

# Das exportierte Axelera-Modell laden
model = YOLO("yolo26n_axelera_model")

# Inferenz ausführen
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Das exportierte Axelera-Modell laden
model = YOLO("yolo26n_axelera_model")

# Die Genauigkeit anhand des COCO8-Datensatzes validieren
metrics = model.val(data="coco8.yaml")

Exportargumente#

* Für die Inferenz mit batch>1 ist Voyager SDK 1.8.0 oder neuer erforderlich; Modelle werden für ein einzelnes Bild kompiliert.

Alle Exportoptionen findest du in der Dokumentation zum Exportmodus.

Ausgabestruktur#

yolo26n_axelera_model/
├── yolo26n.axm                  # Axelera model file
├── compiler_config_final.toml  # Compiler configuration used for the build
└── metadata.yaml               # Model metadata (classes, image size, etc.)

Axelera-AI-Benchmarks#

Die Metis AIPU maximiert den Durchsatz und minimiert gleichzeitig den Energieverbrauch.

Benchmarks basierend auf Daten von Axelera AI. Die tatsächlichen FPS hängen von der Modellgröße, der Stapelverarbeitung und der Eingabeauflösung ab.

Dies sind Durchsatzwerte des Hostsystems, gemessen mit der Modellübersicht und der Streaming-Pipeline des Voyager SDK anhand einer 720p-Videodatei. Ein einzelner Aufruf von predict meldet stattdessen die Latenz pro Bild, also eine andere Messgröße.

Anwendungen in der Praxis#

Ultralytics YOLO auf Axelera-Hardware ermöglicht fortschrittliche Edge-Computing-Lösungen:

• Intelligenter Einzelhandel: Echtzeit-Objektzählung und Heatmap-Analysen zur Optimierung von Geschäften.
• Arbeitssicherheit in der Industrie: PSA-Erkennung mit geringer Latenz in Fertigungsumgebungen.
• Drohnenanalysen: Hochgeschwindigkeits-Objekterkennung auf UAVs für die Landwirtschaft sowie Such- und Rettungseinsätze.
• Verkehrssysteme: Edge-basierte Kennzeichenerkennung und Geschwindigkeitsschätzung.

Empfohlener Arbeitsablauf#

1. Trainiere dein Modell mit dem Ultralytics-Trainingsmodus
2. Exportiere es mit model.export(format="axelera") ins Axelera-Format
3. Überprüfe die Genauigkeit mit yolo val, um Quantisierungsverluste möglichst gering zu halten
4. Führe Vorhersagen aus mit yolo predict, um die Ergebnisse qualitativ zu überprüfen
5. Stelle das Modell in einer leistungsstarken End-to-End-Pipeline ohne PyTorch-Abhängigkeit bereit — Beispiele für zusammensetzbare Python-Pipelines mit axelera-rt findest du unter YOLO-Beispiele für das Voyager SDK.

Gerätestatus prüfen#

Überprüfe, ob dein Axelera-Gerät ordnungsgemäß funktioniert:

# if axdevice cannot be found, please run at least one inference (see above) to ensure the required packages are installed
axdevice

Ausführliche Diagnosen findest du in der AxDevice-Dokumentation.

Maximale Leistung#

Modelle werden für ein einzelnes Bild kompiliert. Wenn du mehrere Bilder an Predict übergibst, leitet der Axelera-Scheduler sie weiter (Voyager SDK 1.8 oder neuer). Daher wird batch>1 zwar korrekt ausgeführt, ist bei Messungen von Anfang bis Ende auf einem einzelnen Gerät jedoch nicht schneller als batch=1:

yolo predict model=yolo26n_axelera_model source=path/to/images batch=8

Für Produktionsumgebungen, die maximalen Durchsatz erfordern, bietet das Axelera Voyager SDK:

• Streaming-Inferenz-Pipelines, bei denen mehrere Frames gleichzeitig verarbeitet werden
• Kompilierung eines Modells über mehrere Kerne hinweg
• Kachelbasierte Inferenz für Kameras mit höherer Auflösung

FPS-Benchmarks findest du in der Modellübersicht. Für Unterstützung beim Produktionseinsatz wende dich an Axelera.

Bekannte Probleme#

Unterstützung findest du in der Axelera-Community.

Häufig gestellte Fragen#