Axelera AI Export und Bereitstellung

Ultralytics arbeitet mit Axelera AI zusammen, um leistungsstarke und energieeffiziente Inferenz auf Edge AI Geräten zu ermöglichen. Exportiere und implementiere Ultralytics YOLO Modelle direkt auf der Metis® AIPU unter Verwendung des Voyager SDK.

Axelera AI bietet dedizierte Hardwarebeschleunigung für Computer Vision am Edge, indem eine proprietäre Datenflussarchitektur und In-Memory Computing genutzt werden, um bis zu 856 TOPS bei geringem Stromverbrauch zu liefern.

Auswahl der richtigen Hardware

Axelera AI bietet verschiedene Formfaktoren für unterschiedliche Bereitstellungsanforderungen. Die untenstehende Tabelle hilft dabei, die optimale Hardware für deine Ultralytics YOLO Bereitstellung zu identifizieren.

graph TD
    A[Start: Select Deployment Target] --> B{Device Type?}
    B -->|Edge Server / Workstation| C{Throughput Needs?}
    B -->|Embedded / Robotics| D{Space Constraints?}
    B -->|Standalone / R&D| E[Dev Kits & Systems]

    C -->|Max Density <br> 30+ Streams| F[**Metis PCIe x4**<br>856 TOPS]
    C -->|Standard PC <br> Low Profile| G[**Metis PCIe x1**<br>214 TOPS]

    D -->|Drones & Handhelds| H[**Metis M.2**<br>2280 M-Key]
    D -->|High Performance Embedded| I[**Metis M.2 MAX**<br>Extended Thermal]

    E -->|ARM-based All-in-One| J[**Metis Compute Board**<br>RK3588 + AIPU]
    E -->|Prototyping| K[**Arduino Portenta x8**<br>Integration Kit]

    click F "https://store.axelera.ai/"
    click G "https://store.axelera.ai/"
    click H "https://store.axelera.ai/"
    click J "https://store.axelera.ai/"

Hardware-Portfolio

Das Axelera Hardware-Lineup ist darauf optimiert, Ultralytics YOLO26 und ältere Versionen mit hoher FPS-pro-Watt-Effizienz auszuführen.

Beschleunigerkarten

Diese Karten ermöglichen KI-Beschleunigung in bestehenden Host-Geräten und erleichtern Brownfield-Bereitstellungen.

Integrierte Systeme

Für schlüsselfertige Lösungen kooperiert Axelera mit Herstellern, um Systeme bereitzustellen, die für die Metis AIPU vorvalidiert sind.

• Metis Compute Board: Ein eigenständiges Edge-Gerät, das die Metis AIPU mit einer Rockchip RK3588 ARM CPU kombiniert.
• Workstations: Enterprise-Tower von Dell (Precision 3460XE) und Lenovo (ThinkStation P360 Ultra).
• Industrie-PCs: Robuste Systeme von Advantech und Aetina, die für Fertigungsautomatisierung entwickelt wurden.

Unterstützte Aufgaben

Die folgenden Aufgaben werden von YOLOv8, YOLO11 und YOLO26 Modellen unterstützt.

Installation

Ultralytics-Installation

pip install ultralytics

Detaillierte Anweisungen findest du in unserem Ultralytics Installationshandbuch. Falls Schwierigkeiten auftreten, konsultiere unseren Leitfaden für allgemeine Probleme.

Axelera Treiber-Installation

1. Füge den Axelera-Repository-Schlüssel hinzu:

   sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

2. Füge das Repository zu apt hinzu:

   Wähle den passenden Code-Schnipsel unten, der zu deinem Betriebssystem passt.

   # Ubuntu 22.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

   # Ubuntu 24.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu24 main' > /etc/apt/sources.list.d/axelera.list"

3. Installiere das SDK und lade den Treiber:

   sudo apt update
   sudo apt install -y metis-dkms=1.4.16
   sudo modprobe metis

pip install axelera-devkit==1.6.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple
pip install axelera-rt==1.6.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple

Exportieren von YOLO-Modellen nach Axelera

Exportiere deine trainierten YOLO-Modelle mit dem Standard-Ultralytics-Exportbefehl.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export to Axelera format
model.export(format="axelera")  # creates 'yolo26n_axelera_model' directory

Export-Argumente

Alle Export-Optionen findest du in der Export-Modus-Dokumentation.

Ausgabestruktur

yolo26n_axelera_model/
├── yolo26n.axm              # Axelera model file
└── metadata.yaml            # Model metadata (classes, image size, etc.)

Inference ausführen

Lade das exportierte Modell mit der Ultralytics API und führe die Inferenz aus, ähnlich wie beim Laden von ONNX Modellen.

from ultralytics import YOLO

# Load the exported Axelera model
model = YOLO("yolo26n_axelera_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

# Process results
for r in results:
    print(f"Detected {len(r.boxes)} objects")
    r.show()  # Display results

Axelera AI Benchmarks

Die Metis AIPU maximiert den Durchsatz bei minimalem Energieverbrauch.

Benchmarks basieren auf Daten von Axelera AI. Die tatsächliche FPS hängt von Modellgröße, Batch-Größe und Eingabeauflösung ab.

Anwendungen in der Praxis

Ultralytics YOLO auf Axelera Hardware ermöglicht fortschrittliche Edge-Computing-Lösungen:

• Smart Retail: Echtzeit-Objektzählung und Heatmap-Analytik zur Ladenoptimierung.
• Industrielle Sicherheit: PSA-Erkennung mit geringer Latenz in Fertigungsumgebungen.
• Drone Analytics: High-speed object detection on UAVs for agriculture and search-and-rescue.
• Traffic Systems: Edge-based license plate recognition and speed estimation.

Empfohlener Arbeitsablauf

1. Trainiere dein Modell mit dem Ultralytics Train-Modus
2. Exportiere ins Axelera-Format mittels model.export(format="axelera")
3. Validiere die Genauigkeit mit yolo val, um den minimalen Quantisierungsverlust zu verifizieren
4. Predict using yolo predict for qualitative validation
5. Bereitstellen in eine leistungsstarke End-to-End-Pipeline ohne PyTorch-Abhängigkeit — siehe die YOLO auf Voyager SDK Beispiele für zusammensetzbare Python-Pipelines unter Verwendung von axelera-rt

Gerätezustandsprüfung

Überprüfe, ob dein Axelera-Gerät ordnungsgemäß funktioniert:

# if axdevice cannot be found, please run at least one inference (see above) to ensure the required packages are installed
axdevice

Detaillierte Diagnosen findest du in der AxDevice Dokumentation.

Maximale Leistung

Diese Integration verwendet eine Single-Core-Konfiguration zur Kompatibilität. Für die Produktion, die maximalen Durchsatz erfordert, bietet das Axelera Voyager SDK:

• Multi-Core-Auslastung (Quad-Core Metis AIPU)
• Streaming-Inferenz-Pipelines
• Tiled Inferencing für Kameras mit höherer Auflösung

Siehe das model-zoo für FPS-Benchmarks oder kontaktiere Axelera für Produktionssupport.

Bekannte Probleme

Für Support besuche die Axelera Community.

FAQ

Welche YOLO Versionen werden auf Axelera unterstützt?

Das Voyager SDK unterstützt den Export von YOLOv8, YOLO11 und YOLO26 Modellen. Siehe Unterstützte Aufgaben für die Verfügbarkeit von Aufgaben pro Modell.

Kann ich benutzerdefinierte Modelle bereitstellen?

Ja. Jedes Modell, das mit dem Ultralytics Trainingsmodus trainiert wurde, kann in das Axelera-Format exportiert werden, sofern es unterstützte Layer und Operationen verwendet.

Wie wirkt sich INT8-Quantisierung auf die Genauigkeit aus?

Das Voyager SDK von Axelera quantisiert Modelle automatisch für die Mixed-Precision AIPU-Architektur. Für die meisten Objekterkennungsaufgaben überwiegen die Leistungsvorteile (höhere FPS, geringerer Stromverbrauch) deutlich den minimalen Einfluss auf mAP. Die Quantisierung dauert je nach Modellgröße einige Sekunden bis mehrere Stunden. Führe nach dem Export yolo val aus, um die Genauigkeit zu überprüfen.

Wie viele Kalibrierungsbilder sollte ich verwenden?

Wir empfehlen 100 bis 400 Bilder. Mehr als 400 bieten keinen zusätzlichen Nutzen und erhöhen die Quantisierungszeit. Experimentiere mit 100, 200 und 400 Bildern, um das optimale Gleichgewicht zu finden.

Wo finde ich das Voyager SDK?

Das SDK, die Treiber und Compiler-Tools sind über das Axelera Developer Portal verfügbar.