Exportation et déploiement avec Axelera AI#

Ultralytics s’associe à Axelera AI pour permettre une inférence performante et écoénergétique sur les appareils Edge AI. Exporte et déploie les modèles Ultralytics YOLO directement sur le Metis® AIPU à l’aide du Voyager SDK.

Axelera AI fournit une accélération matérielle dédiée à la vision par ordinateur en périphérie, en s’appuyant sur une architecture propriétaire à flux de données et sur le calcul en mémoire pour offrir jusqu’à 856 TOPS avec une faible consommation électrique.

Choisir le matériel adapté#

Axelera AI propose différents formats pour répondre à diverses contraintes de déploiement. Le tableau ci-dessous t’aide à choisir le matériel optimal pour ton déploiement Ultralytics YOLO.

Gamme de matériel#

La gamme de matériel Axelera est optimisée pour exécuter Ultralytics YOLO26 et les versions précédentes avec un excellent rendement en FPS par watt.

Cartes accélératrices#

Ces cartes accélèrent l’IA sur les appareils hôtes existants et facilitent les déploiements sur des infrastructures existantes.

Systèmes intégrés#

Pour proposer des solutions clés en main, Axelera s’associe à des fabricants afin de fournir des systèmes prévalidés pour le Metis AIPU.

• Metis Compute Board : un appareil autonome en périphérie qui associe le Metis AIPU à un CPU ARM Rockchip RK3588.
• Stations de travail : des tours professionnelles de Dell (Precision 3460XE) et Lenovo (ThinkStation P360 Ultra).
• PC industriels : des systèmes renforcés d’Advantech et d’Aetina, conçus pour l’automatisation industrielle.

Tâches prises en charge#

L’estimation de profondeur n’est pas prise en charge : la tête de profondeur émet des opérateurs que le compilateur Metis AIPU ne peut pas abaisser. La segmentation d’instances YOLO26 n’est pas non plus prise en charge par export d’Ultralytics, mais peut tout de même être déployée via le Voyager SDK, comme décrit ci-dessous. La segmentation sémantique YOLO26 est prise en charge.

Installation#

Installation d’Ultralytics#

pip install ultralytics

Pour des instructions détaillées, consulte notre guide d’installation d’Ultralytics. Si tu rencontres des difficultés, consulte notre guide des problèmes courants.

Installation du pilote Axelera#

1. Ajoute la clé du dépôt Axelera :

   sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

2. Ajoute le dépôt à apt :

   Choisis l’extrait ci-dessous correspondant au système d’exploitation utilisé.

   # Ubuntu 22.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

   # Ubuntu 24.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu24 main' > /etc/apt/sources.list.d/axelera.list"

3. Installe le pilote et charge-le. Le SDK 1.8 nécessite metis-dkms 1.6.2 ou une version ultérieure ; la version la plus récente est donc installée ici :

   sudo apt update
   sudo apt install -y metis-dkms
   sudo modprobe metis

[libaxldev.c:285] Found kernel driver version 1.5.5, but at least version 1.6.2 is required. Please update the kernel driver
ERROR: AXR_ERROR_CONNECTION_ERROR: Failed to open device metis-0:4:0

sudo apt update
sudo apt install -y metis-dkms
sudo rmmod metis
sudo modprobe metis

pip install axelera-devkit==1.8.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple
pip install axelera-rt==1.8.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple

Error: Unsupported model version: 4.0, expected at least 5.0
Please re-deploy or re-download the model.

Exporter des modèles YOLO vers Axelera#

Le format Axelera prend en charge les modes Export, Predict et Validate. L’inférence et la validation s’exécutent sur le matériel Axelera Metis AIPU. Exporte ton modèle, puis charge le modèle exporté pour effectuer une inférence ou valider sa précision.

from ultralytics import YOLO

# Charger un modèle YOLO26
model = YOLO("yolo26n.pt")

# Exporter le modèle au format Axelera
model.export(format="axelera")  # creates 'yolo26n_axelera_model'

from ultralytics import YOLO

# Charger le modèle Axelera exporté
model = YOLO("yolo26n_axelera_model")

# Exécuter l’inférence
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Charger le modèle Axelera exporté
model = YOLO("yolo26n_axelera_model")

# Valider la précision sur le jeu de données COCO8
metrics = model.val(data="coco8.yaml")

Arguments d’exportation#

* L’inférence avec batch>1 nécessite le Voyager SDK 1.8.0 ou une version ultérieure ; les modèles sont compilés pour une seule image.

Pour consulter toutes les options d’exportation, voir la documentation du mode Export.

Structure de sortie#

yolo26n_axelera_model/
├── yolo26n.axm                  # Axelera model file
├── compiler_config_final.toml  # Compiler configuration used for the build
└── metadata.yaml               # Model metadata (classes, image size, etc.)

Benchmarks d’Axelera AI#

L’AIPU Metis maximise le débit tout en minimisant la consommation d’énergie.

Benchmarks basés sur les données d’Axelera AI. Le FPS réel dépend de la taille du modèle, du traitement par lots et de la résolution d’entrée.

Il s’agit de mesures du débit côté hôte, effectuées par le zoo de modèles avec le pipeline de streaming du Voyager SDK sur un fichier vidéo 720p. Un seul appel predict indique plutôt la latence par image, une mesure différente.

Applications concrètes#

Ultralytics YOLO sur le matériel Axelera permet de mettre en œuvre des solutions avancées d’informatique en périphérie :

• Commerce de détail intelligent : Comptage d’objets et analyse par carte thermique en temps réel pour optimiser les magasins.
• Sécurité industrielle : Détection des EPI à faible latence dans les environnements de fabrication.
• Analyse par drone : Détection d’objets à grande vitesse sur des UAV pour l’agriculture et les opérations de recherche et de sauvetage.
• Systèmes de circulation : Reconnaissance des plaques d’immatriculation et estimation de la vitesse en périphérie.

Flux de travail recommandé#

1. Entraîne ton modèle avec le mode Train d’Ultralytics
2. Exporte au format Axelera avec model.export(format="axelera")
3. Valide la précision avec yolo val afin de vérifier que la perte due à la quantification est minime
4. Effectue des prédictions avec yolo predict pour une validation qualitative
5. Déploie un pipeline de bout en bout hautes performances sans dépendance à PyTorch — consulte les exemples YOLO avec le Voyager SDK pour découvrir des pipelines Python composables utilisant axelera-rt

Vérification de l’état de l’appareil#

Vérifie que ton appareil Axelera fonctionne correctement :

# if axdevice cannot be found, please run at least one inference (see above) to ensure the required packages are installed
axdevice

Pour obtenir des diagnostics détaillés, consulte la documentation AxDevice.

Performances maximales#

Les modèles sont compilés pour une seule image. Le passage de plusieurs images à Predict les achemine via le planificateur Axelera (Voyager SDK 1.8 ou version ultérieure), ce qui permet à batch>1 de fonctionner correctement, mais, mesuré de bout en bout sur un seul appareil, ce n’est pas plus rapide que batch=1 :

yolo predict model=yolo26n_axelera_model source=path/to/images batch=8

Pour la production nécessitant un débit maximal, l’Axelera Voyager SDK offre :

• Des pipelines d’inférence en streaming qui maintiennent plusieurs images en cours de traitement
• La compilation d’un même modèle sur plusieurs cœurs
• L’inférence par tuiles pour les caméras à plus haute résolution

Consulte le zoo de modèles pour les benchmarks FPS ou contacte Axelera pour obtenir de l’assistance en production.

Problèmes connus#

Pour obtenir de l’aide, rends-toi sur la communauté Axelera.

FAQ#