Exportación y despliegue con Axelera AI#

Ultralytics colabora con Axelera AI para ofrecer inferencia de alto rendimiento y eficiencia energética en dispositivos Edge AI. Exporta y despliega modelos Ultralytics YOLO directamente en la AIPU Metis® mediante el SDK Voyager.

Axelera AI ofrece aceleración por hardware dedicada para la visión artificial en el edge, con una arquitectura de flujo de datos propia y computación en memoria para alcanzar hasta 856 TOPS con un bajo consumo energético.

Cómo elegir el hardware adecuado#

Axelera AI ofrece distintos formatos para adaptarse a diferentes limitaciones de despliegue. El gráfico siguiente te ayuda a identificar el hardware óptimo para desplegar Ultralytics YOLO.

graph TD
    A[Start: Select Deployment Target]:::start --> B{Device Type?}:::decide
    B -->|Edge Server / Workstation| C{Throughput Needs?}:::decide
    B -->|Embedded / Robotics| D{Space Constraints?}:::decide
    B -->|Standalone / R&D| E[Dev Kits & Systems]:::proc

    C -->|Max Density <br> 30+ Streams| F[**Metis PCIe x4**<br>856 TOPS]:::out
    C -->|Standard PC <br> Low Profile| G[**Metis PCIe x1**<br>214 TOPS]:::out

    D -->|Drones & Handhelds| H[**Metis M.2**<br>2280 M-Key]:::out
    D -->|High Performance Embedded| I[**Metis M.2 MAX**<br>Extended Thermal]:::out

    E -->|ARM-based All-in-One| J[**Metis Compute Board**<br>RK3588 + AIPU]:::out
    E -->|Prototyping| K[**Arduino Portenta x8**<br>Integration Kit]:::out

    click F "https://store.axelera.ai/"
    click G "https://store.axelera.ai/"
    click H "https://store.axelera.ai/"
    click J "https://store.axelera.ai/"

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Catálogo de hardware#

La gama de hardware de Axelera está optimizada para ejecutar Ultralytics YOLO26 y versiones anteriores con una alta eficiencia en FPS por vatio.

Tarjetas aceleradoras#

Estas tarjetas permiten acelerar la IA en dispositivos host existentes, lo que facilita los despliegues en entornos existentes.

Sistemas integrados#

Para ofrecer soluciones listas para usar, Axelera colabora con fabricantes y proporciona sistemas validados previamente para la AIPU Metis.

• Placa de cómputo Metis: dispositivo edge independiente que combina la AIPU Metis con una CPU ARM Rockchip RK3588.
• Estaciones de trabajo: torres empresariales de Dell (Precision 3460XE) y Lenovo (ThinkStation P360 Ultra).
• PC industriales: sistemas robustos de Advantech y Aetina, diseñados para la automatización de la fabricación.

Tareas compatibles#

La estimación de profundidad no es compatible: el cabezal de profundidad genera operadores que el compilador de la AIPU Metis no puede reducir. La segmentación de instancias de YOLO26 tampoco es compatible con export de Ultralytics, pero se puede desplegar mediante el SDK Voyager, como se describe a continuación. La segmentación semántica de YOLO26 sí es compatible.

Instalación#

Instalación de Ultralytics#

pip install ultralytics

Para obtener instrucciones detalladas, consulta nuestra guía de instalación de Ultralytics. Si tienes problemas, consulta nuestra guía de problemas frecuentes.

Instalación del controlador de Axelera#

1. Añade la clave del repositorio de Axelera:

   sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

2. Añade el repositorio a apt:

   Elige el fragmento adecuado de los siguientes según el sistema operativo que uses.

   # Ubuntu 22.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

   # Ubuntu 24.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu24 main' > /etc/apt/sources.list.d/axelera.list"

3. Instala el controlador y cárgalo. El SDK 1.8 necesita metis-dkms 1.6.2 o posterior, así que aquí se instala la versión más reciente:

   sudo apt update
   sudo apt install -y metis-dkms
   sudo modprobe metis

[libaxldev.c:285] Found kernel driver version 1.5.5, but at least version 1.6.2 is required. Please update the kernel driver
ERROR: AXR_ERROR_CONNECTION_ERROR: Failed to open device metis-0:4:0

sudo apt update
sudo apt install -y metis-dkms
sudo rmmod metis
sudo modprobe metis

pip install axelera-devkit==1.8.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple
pip install axelera-rt==1.8.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple

Error: Unsupported model version: 4.0, expected at least 5.0
Please re-deploy or re-download the model.

Exportación de modelos YOLO a Axelera#

El formato Axelera es compatible con los modos Exportar, Predecir y Validar. La inferencia y la validación se ejecutan en hardware AIPU Metis de Axelera. Exporta el modelo y, a continuación, carga el modelo exportado para ejecutar la inferencia o validar su precisión.

from ultralytics import YOLO

# Carga un modelo YOLO26
model = YOLO("yolo26n.pt")

# Exporta el modelo al formato Axelera
model.export(format="axelera")  # creates 'yolo26n_axelera_model'

from ultralytics import YOLO

# Carga el modelo Axelera exportado
model = YOLO("yolo26n_axelera_model")

# Ejecutar inferencia
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Carga el modelo Axelera exportado
model = YOLO("yolo26n_axelera_model")

# Valida la precisión con el conjunto de datos COCO8
metrics = model.val(data="coco8.yaml")

Argumentos de exportación#

* La inferencia con batch>1 requiere Voyager SDK 1.8.0 o posterior; los modelos se compilan para una sola imagen.

Consulta todas las opciones de exportación en la documentación del modo Exportar.

Estructura de salida#

yolo26n_axelera_model/
├── yolo26n.axm                  # Axelera model file
├── compiler_config_final.toml  # Compiler configuration used for the build
└── metadata.yaml               # Model metadata (classes, image size, etc.)

Benchmarks de Axelera AI#

La AIPU Metis maximiza el rendimiento y minimiza el consumo energético.

Benchmarks basados en datos de Axelera AI. Los FPS reales dependen del tamaño del modelo, el procesamiento por lotes y la resolución de entrada.

Estas cifras corresponden al rendimiento del host y se han medido con el zoo de modelos mediante la canalización de streaming del Voyager SDK sobre un archivo de vídeo de 720p. Una única llamada a predict devuelve la latencia por imagen, que es una magnitud distinta.

Aplicaciones en el mundo real#

Ultralytics YOLO en hardware Axelera permite soluciones avanzadas de computación en el borde:

• Comercio minorista inteligente: Conteo de objetos y análisis de mapas de calor en tiempo real para optimizar las tiendas.
• Seguridad industrial: Detección de EPI de baja latencia en entornos de fabricación.
• Análisis con drones: Detección de objetos de alta velocidad en UAV para la agricultura y las operaciones de búsqueda y rescate.
• Sistemas de tráfico: Reconocimiento de matrículas y estimación de velocidad en el borde.

Flujo de trabajo recomendado#

1. Entrena tu modelo con el modo Train de Ultralytics
2. Exporta al formato de Axelera con model.export(format="axelera")
3. Valida la precisión con yolo val para comprobar que la pérdida por cuantización es mínima
4. Predice con yolo predict para realizar una validación cualitativa
5. Despliega en una canalización integral de alto rendimiento sin depender de PyTorch; consulta los ejemplos de YOLO en Voyager SDK para ver canalizaciones componibles de Python que utilizan axelera-rt

Comprobación del estado del dispositivo#

Comprueba que tu dispositivo Axelera funciona correctamente:

# if axdevice cannot be found, please run at least one inference (see above) to ensure the required packages are installed
axdevice

Para obtener diagnósticos detallados, consulta la documentación de AxDevice.

Rendimiento máximo#

Los modelos se compilan para una sola imagen. Si pasas varias imágenes a Predict, se dirigirán al planificador de Axelera (Voyager SDK 1.8 o posterior), por lo que batch>1 funcionará correctamente, aunque, medido de extremo a extremo en un único dispositivo, no será más rápido que batch=1:

yolo predict model=yolo26n_axelera_model source=path/to/images batch=8

Para producción que requiera el máximo rendimiento, el Voyager SDK de Axelera ofrece:

• Canalizaciones de inferencia en streaming que mantienen varios fotogramas en curso
• Compilación de un modelo en varios núcleos
• Inferencia por mosaicos para cámaras de mayor resolución

Consulta el zoo de modelos para ver benchmarks de FPS o contacta con Axelera para obtener asistencia para producción.

Problemas conocidos#

Para obtener asistencia, visita la comunidad de Axelera.

Preguntas frecuentes#