Exportation et déploiement avec Axelera AI#

Ultralytics s'associe à Axelera AI pour permettre une inférence haute performance et économe en énergie sur les appareils Edge AI. Exporte et déploie directement les modèles Ultralytics YOLO sur le Metis® AIPU à l'aide du Voyager SDK.

Axelera AI fournit une accélération matérielle dédiée à la [vision par ordinateur](https://ultralytics-translation-0.invalid en périphérie, grâce à une architecture propriétaire de flux de données et à l'informatique en mémoire, pour atteindre jusqu'à 856 TOPS avec une faible consommation électrique.

Choisir le matériel adapté#

Axelera AI propose différents formats adaptés à diverses contraintes de déploiement. Le tableau ci-dessous t'aide à identifier le matériel optimal pour ton déploiement Ultralytics YOLO.

graph TD
    A[Start: Select Deployment Target]:::start --> B{Device Type?}:::decide
    B -->|Edge Server / Workstation| C{Throughput Needs?}:::decide
    B -->|Embedded / Robotics| D{Space Constraints?}:::decide
    B -->|Standalone / R&D| E[Dev Kits & Systems]:::proc

    C -->|Max Density <br> 30+ Streams| F[**Metis PCIe x4**<br>856 TOPS]:::out
    C -->|Standard PC <br> Low Profile| G[**Metis PCIe x1**<br>214 TOPS]:::out

    D -->|Drones & Handhelds| H[**Metis M.2**<br>2280 M-Key]:::out
    D -->|High Performance Embedded| I[**Metis M.2 MAX**<br>Extended Thermal]:::out

    E -->|ARM-based All-in-One| J[**Metis Compute Board**<br>RK3588 + AIPU]:::out
    E -->|Prototyping| K[**Arduino Portenta x8**<br>Integration Kit]:::out

    click F "https://store.axelera.ai/"
    click G "https://store.axelera.ai/"
    click H "https://store.axelera.ai/"
    click J "https://store.axelera.ai/"

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Gamme de matériel#

La gamme de matériel Axelera est optimisée pour exécuter Ultralytics YOLO26 et les versions précédentes avec une efficacité élevée en FPS par watt.

Cartes accélératrices#

Ces cartes permettent l'accélération de l'IA sur des appareils hôtes existants, facilitant les déploiements brownfield.

Systèmes intégrés#

Pour des solutions clés en main, Axelera s'associe à des fabricants afin de fournir des systèmes prévalidés pour le Metis AIPU.

• Metis Compute Board : appareil edge autonome associant le Metis AIPU à un CPU ARM Rockchip RK3588.
• Stations de travail : tours professionnelles de Dell (Precision 3460XE) et Lenovo (ThinkStation P360 Ultra).
• PC industriels : systèmes durcis d'Advantech et d'Aetina, conçus pour l'automatisation industrielle.

Tâches prises en charge#

L'estimation de profondeur n'est pas prise en charge : la tête de profondeur émet des opérateurs que le compilateur Metis AIPU ne peut pas abaisser. La segmentation d'instance YOLO26 n'est pas non plus prise en charge par Ultralytics export, mais peut tout de même être déployée via le Voyager SDK comme décrit ci-dessous. La segmentation sémantique YOLO26 est prise en charge.

Installation#

Installation d'Ultralytics#

pip install ultralytics

Pour obtenir des instructions détaillées, consulte notre guide d'installation Ultralytics. Si tu rencontres des difficultés, consulte notre guide des problèmes courants.

Installation du pilote Axelera#

1. Ajoute la clé du dépôt Axelera :

   sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

2. Ajoute le dépôt à apt :

   Choisis ci-dessous l'extrait correspondant au système d'exploitation utilisé.

   # Ubuntu 22.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

   # Ubuntu 24.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu24 main' > /etc/apt/sources.list.d/axelera.list"

3. Installe le pilote et charge-le. Le SDK 1.8 nécessite metis-dkms 1.6.2 ou plus récent, c'est donc la version la plus récente qui est installée ici :

   sudo apt update
   sudo apt install -y metis-dkms
   sudo modprobe metis

[libaxldev.c:285] Found kernel driver version 1.5.5, but at least version 1.6.2 is required. Please update the kernel driver
ERROR: AXR_ERROR_CONNECTION_ERROR: Failed to open device metis-0:4:0

sudo apt update
sudo apt install -y metis-dkms
sudo rmmod metis
sudo modprobe metis

pip install axelera-devkit==1.8.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple
pip install axelera-rt==1.8.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple

Error: Unsupported model version: 4.0, expected at least 5.0
Please re-deploy or re-download the model.

Exporter des modèles YOLO vers Axelera#

Le format Axelera prend en charge les modes Exportation, Prédiction et Validation. L'inférence et la validation s'exécutent sur le matériel Axelera Metis AIPU. Exporte ton modèle, puis charge le modèle exporté pour exécuter l'inférence ou valider sa précision.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to Axelera format
model.export(format="axelera")  # creates 'yolo26n_axelera_model'

from ultralytics import YOLO

# Load the exported Axelera model
model = YOLO("yolo26n_axelera_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported Axelera model
model = YOLO("yolo26n_axelera_model")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Arguments d'exportation#

* L'inférence avec batch>1 nécessite le Voyager SDK 1.8.0 ou plus récent ; les modèles sont compilés pour une seule image.

Pour connaître toutes les options d'exportation, consulte la documentation du mode Exportation.

Structure de sortie#

yolo26n_axelera_model/
├── yolo26n.axm                  # Axelera model file
├── compiler_config_final.toml  # Compiler configuration used for the build
└── metadata.yaml               # Model metadata (classes, image size, etc.)

Benchmarks Axelera AI#

L'AIPU Metis maximise le débit tout en réduisant la consommation énergétique.

Benchmarks fondés sur les données d'Axelera AI. Le nombre réel de FPS dépend de la taille du modèle, du traitement par lots et de la résolution d'entrée.

Ce sont des chiffres de débit de l'hôte, mesurés par le model zoo avec le pipeline de streaming du Voyager SDK sur un fichier vidéo 720p. Un seul appel predict rapporte plutôt la latence par image, ce qui est une quantité différente.

Applications concrètes#

Ultralytics YOLO sur le matériel Axelera permet de mettre en œuvre des solutions informatiques edge avancées :

• Commerce intelligent : comptage d'objets et analyse par carte thermique en temps réel pour optimiser les magasins.
• Sécurité industrielle : détection des EPI à faible latence dans les environnements de fabrication.
• Analyse par drone : détection d'objets à haute vitesse sur des UAV pour l'agriculture et la recherche et le sauvetage.
• Systèmes de circulation : reconnaissance des plaques d'immatriculation et estimation de la vitesse en périphérie.

Flux de travail recommandé#

1. Entraîne ton modèle avec le mode Entraînement d'Ultralytics
2. Exporte au format Axelera avec model.export(format="axelera")
3. Valide la précision avec yolo val pour vérifier que la perte due à la quantification est minimale
4. Effectue des prédictions avec yolo predict pour une validation qualitative
5. Déploie sur un pipeline de bout en bout haute performance sans dépendance à PyTorch — consulte les exemples de YOLO avec le Voyager SDK pour découvrir des pipelines Python composables utilisant axelera-rt

Vérification de l'état de l'appareil#

Vérifie que ton appareil Axelera fonctionne correctement :

# if axdevice cannot be found, please run at least one inference (see above) to ensure the required packages are installed
axdevice

Pour obtenir des diagnostics détaillés, consulte la documentation d'AxDevice.

Performances maximales#

Les modèles sont compilés pour une seule image. Transmettre plusieurs images à Predict les achemine via l'planificateur Axelera (Voyager SDK 1.8 ou plus récent), de sorte que batch>1 s'exécute correctement, bien que mesuré de bout en bout sur un seul appareil, il ne soit pas plus rapide que batch=1 :

yolo predict model=yolo26n_axelera_model source=path/to/images batch=8

Pour la production nécessitant un débit maximal, le Axelera Voyager SDK propose :

• Des pipelines d'inférence en streaming qui maintiennent plusieurs trames en cours de traitement
• La compilation d'un modèle sur plusieurs cœurs
• Inférence par tuiles pour les caméras à plus haute résolution

Consulte le model-zoo pour connaître les benchmarks en FPS ou contacte Axelera pour obtenir une assistance en production.

Problèmes connus#

Pour obtenir de l'aide, consulte la communauté Axelera.

FAQ#