Export und Bereitstellung mit Axelera AI#

Ultralytics arbeitet mit Axelera AI zusammen, um leistungsstarke und energieeffiziente Inferenz auf Edge-AI-Geräten zu ermöglichen. Exportiere und stelle Ultralytics YOLO-Modelle direkt auf der Metis® AIPU mit dem Voyager SDK bereit.

Axelera AI bietet dedizierte Hardwarebeschleunigung für Computer Vision am Netzwerkrand. Dabei kommen eine proprietäre Datenflussarchitektur und In-Memory-Computing zum Einsatz, um bei geringem Stromverbrauch bis zu 856 TOPS zu erreichen.

Die richtige Hardware auswählen#

Axelera AI bietet verschiedene Formfaktoren für unterschiedliche Anforderungen bei der Bereitstellung. Die folgende Übersicht hilft dir, die optimale Hardware für deine Bereitstellung von Ultralytics YOLO zu bestimmen.

graph TD
    A[Start: Select Deployment Target]:::start --> B{Device Type?}:::decide
    B -->|Edge Server / Workstation| C{Throughput Needs?}:::decide
    B -->|Embedded / Robotics| D{Space Constraints?}:::decide
    B -->|Standalone / R&D| E[Dev Kits & Systems]:::proc

    C -->|Max Density <br> 30+ Streams| F[**Metis PCIe x4**<br>856 TOPS]:::out
    C -->|Standard PC <br> Low Profile| G[**Metis PCIe x1**<br>214 TOPS]:::out

    D -->|Drones & Handhelds| H[**Metis M.2**<br>2280 M-Key]:::out
    D -->|High Performance Embedded| I[**Metis M.2 MAX**<br>Extended Thermal]:::out

    E -->|ARM-based All-in-One| J[**Metis Compute Board**<br>RK3588 + AIPU]:::out
    E -->|Prototyping| K[**Arduino Portenta x8**<br>Integration Kit]:::out

    click F "https://store.axelera.ai/"
    click G "https://store.axelera.ai/"
    click H "https://store.axelera.ai/"
    click J "https://store.axelera.ai/"

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Hardwareportfolio#

Die Axelera-Hardware wurde für die effiziente Ausführung von Ultralytics YOLO26 und älteren Versionen mit hoher FPS-pro-Watt-Effizienz optimiert.

Beschleunigerkarten#

Diese Karten ermöglichen die AI-Beschleunigung in vorhandenen Hostgeräten und erleichtern Brownfield-Bereitstellungen.

Integrierte Systeme#

Für schlüsselfertige Lösungen arbeitet Axelera mit Herstellern zusammen, um für die Metis AIPU vorab validierte Systeme bereitzustellen.

• Metis Compute Board: Ein eigenständiges Edge-Gerät, das die Metis AIPU mit einer Rockchip RK3588 ARM-CPU kombiniert.
• Workstations: Enterprise-Tower von Dell (Precision 3460XE) und Lenovo (ThinkStation P360 Ultra).
• Industrie-PCs: Robuste Systeme von Advantech und Aetina, die für die Fertigungsautomatisierung entwickelt wurden.

Unterstützte Aufgaben#

Tiefenschätzung wird nicht unterstützt: Der Tiefenkopf gibt Operatoren aus, die der Metis AIPU-Compiler nicht kompilieren kann. YOLO26-Instanzsegmentierung wird von Ultralytics export ebenfalls nicht unterstützt, kann jedoch wie unten beschrieben über das Voyager SDK bereitgestellt werden. YOLO26-Semantiksegmentierung wird unterstützt.

Installation#

Installation von Ultralytics#

pip install ultralytics

Ausführliche Anweisungen findest du in unserem Ultralytics-Installationsleitfaden. Wenn du auf Schwierigkeiten stößt, konsultiere unseren Leitfaden zu häufigen Problemen.

Installation des Axelera-Treibers#

1. Füge den Schlüssel des Axelera-Repositorys hinzu:

   sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

2. Füge das Repository zu apt hinzu:

   Wähle unten den passenden Abschnitt für das verwendete Betriebssystem aus.

   # Ubuntu 22.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

   # Ubuntu 24.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu24 main' > /etc/apt/sources.list.d/axelera.list"

3. Installiere den Treiber und lade ihn. SDK 1.8 benötigt metis-dkms 1.6.2 oder neuer, daher wird hier die neueste Version installiert:

   sudo apt update
   sudo apt install -y metis-dkms
   sudo modprobe metis

[libaxldev.c:285] Found kernel driver version 1.5.5, but at least version 1.6.2 is required. Please update the kernel driver
ERROR: AXR_ERROR_CONNECTION_ERROR: Failed to open device metis-0:4:0

sudo apt update
sudo apt install -y metis-dkms
sudo rmmod metis
sudo modprobe metis

pip install axelera-devkit==1.8.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple
pip install axelera-rt==1.8.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple

Error: Unsupported model version: 4.0, expected at least 5.0
Please re-deploy or re-download the model.

YOLO-Modelle nach Axelera exportieren#

Das Axelera-Format unterstützt die Modi Export, Predict und Validate. Inferenz und Validierung werden auf Axelera-Metis-AIPU-Hardware ausgeführt. Exportiere dein Modell und lade anschließend das exportierte Modell, um Inferenz auszuführen oder seine Genauigkeit zu validieren.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to Axelera format
model.export(format="axelera")  # creates 'yolo26n_axelera_model'

from ultralytics import YOLO

# Load the exported Axelera model
model = YOLO("yolo26n_axelera_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported Axelera model
model = YOLO("yolo26n_axelera_model")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Exportargumente#

* Die Inferenz mit batch>1 erfordert das Voyager SDK 1.8.0 oder neuer; Modelle werden für ein einzelnes Bild kompiliert.

Alle Exportoptionen findest du in der Dokumentation zum Exportmodus.

Ausgabestruktur#

yolo26n_axelera_model/
├── yolo26n.axm                  # Axelera model file
├── compiler_config_final.toml  # Compiler configuration used for the build
└── metadata.yaml               # Model metadata (classes, image size, etc.)

Axelera-AI-Benchmarks#

Die Metis AIPU maximiert den Durchsatz bei gleichzeitiger Minimierung des Energieverbrauchs.

Benchmarks auf Grundlage von Daten von Axelera AI. Die tatsächliche FPS hängt von Modellgröße, Batchverarbeitung und Eingabeauflösung ab.

Dies sind Host-Durchsatzwerte, gemessen vom Model Zoo mit der Streaming-Pipeline des Voyager SDK über eine 720p-Videodatei. Ein einzelner predict-Aufruf meldet stattdessen die Latenz pro Bild, was eine andere Größe ist.

Anwendungen in der Praxis#

Ultralytics YOLO auf Axelera-Hardware ermöglicht fortschrittliche Lösungen für die Datenverarbeitung am Netzwerkrand:

• Intelligenter Einzelhandel: Echtzeit-Objektzählung und Heatmap-Analyse zur Optimierung von Geschäften.
• Arbeitssicherheit in der Industrie: Erkennung persönlicher Schutzausrüstung (PPE) mit geringer Latenz in Fertigungsumgebungen.
• Drohnenanalyse: Hochgeschwindigkeit-Objekterkennung auf UAVs für Landwirtschaft sowie Such- und Rettungseinsätze.
• Verkehrssysteme: Kennzeichenerkennung und Geschwindigkeitsschätzung am Netzwerkrand.

Empfohlener Arbeitsablauf#

1. Trainiere dein Modell mit dem Trainingsmodus von Ultralytics.
2. Exportiere es mit model.export(format="axelera") in das Axelera-Format.
3. Validiere die Genauigkeit mit yolo val, um einen minimalen Quantisierungsverlust zu überprüfen.
4. Führe Vorhersagen aus mit yolo predict zur qualitativen Validierung.
5. Stelle das Modell ohne PyTorch-Abhängigkeit in einer leistungsstarken End-to-End-Pipeline bereit – siehe die YOLO-Beispiele für das Voyager SDK für kombinierbare Python-Pipelines mit axelera-rt.

Zustandsprüfung des Geräts#

Überprüfe, ob dein Axelera-Gerät ordnungsgemäß funktioniert:

# if axdevice cannot be found, please run at least one inference (see above) to ensure the required packages are installed
axdevice

Ausführliche Diagnoseinformationen findest du in der AxDevice-Dokumentation.

Maximale Leistung#

Modelle werden für ein einzelnes Bild kompiliert. Das Übergeben mehrerer Bilder an Predict leitet diese durch den Axelera-Planer (Voyager SDK 1.8 oder neuer), sodass batch>1 korrekt ausgeführt wird, obwohl es Ende-zu-Ende auf einem einzelnen Gerät gemessen nicht schneller als batch=1 ist:

yolo predict model=yolo26n_axelera_model source=path/to/images batch=8

Für die Produktion, die maximalen Durchsatz erfordert, bietet das Axelera Voyager SDK:

• Streaming-Inferenz-Pipelines, die mehrere Frames gleichzeitig verarbeiten
• Kompilierung eines Modells über mehrere Kerne hinweg
• Kachelbasierte Inferenz für Kameras mit höherer Auflösung

FPS-Benchmarks findest du im model-zoo; für Support im Produktionseinsatz kontaktiere Axelera.

Bekannte Probleme#

Support findest du in der Axelera Community.

FAQ#