Exportación y despliegue con Axelera AI#

Ultralytics colabora con Axelera AI para ofrecer inferencia de alto rendimiento y eficiencia energética en dispositivos Edge AI. Exporta y despliega modelos Ultralytics YOLO directamente en la AIPU Metis® mediante el SDK Voyager.

Axelera AI ofrece aceleración por hardware dedicada para la visión artificial en el edge, con una arquitectura de flujo de datos propia y computación en memoria para alcanzar hasta 856 TOPS con un bajo consumo energético.

Cómo elegir el hardware adecuado#

Axelera AI ofrece distintos formatos para adaptarse a diferentes limitaciones de despliegue. El gráfico siguiente te ayuda a identificar el hardware óptimo para desplegar Ultralytics YOLO.

Catálogo de hardware#

La gama de hardware de Axelera está optimizada para ejecutar Ultralytics YOLO26 y versiones anteriores con una alta eficiencia en FPS por vatio.

Tarjetas aceleradoras#

Estas tarjetas permiten acelerar la IA en dispositivos host existentes, lo que facilita los despliegues en entornos existentes.

Sistemas integrados#

Para ofrecer soluciones listas para usar, Axelera colabora con fabricantes y proporciona sistemas validados previamente para la AIPU Metis.

• Placa de cómputo Metis: dispositivo edge independiente que combina la AIPU Metis con una CPU ARM Rockchip RK3588.
• Estaciones de trabajo: torres empresariales de Dell (Precision 3460XE) y Lenovo (ThinkStation P360 Ultra).
• PC industriales: sistemas robustos de Advantech y Aetina, diseñados para la automatización de la fabricación.

Tareas compatibles#

La exportación a Axelera admite las siete tareas de Ultralytics. La segmentación semántica y la estimación de profundidad solo están disponibles con YOLO26, la única familia que incluye esos cabezales.

Los modelos de detección, segmentación de instancias, pose y OBB de YOLO26 exportan de forma predeterminada su cabezal uno a uno sin NMS, que el entorno de ejecución de Axelera decodifica en el host. Si pasas nms=True, se exporta en su lugar el cabezal uno a muchos, que obtiene peores resultados en Metis: la detección YOLO26n alcanza un mAP50-95 de 0.212 en COCO128 de esa forma, frente a 0.453 con el cabezal sin NMS.

Instalación#

Instalación de Ultralytics#

pip install ultralytics

Para obtener instrucciones detalladas, consulta nuestra guía de instalación de Ultralytics. Si tienes problemas, consulta nuestra guía de problemas frecuentes.

Instalación del controlador de Axelera#

1. Añade la clave del repositorio de Axelera:

   sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

2. Añade el repositorio a apt:

   Elige el fragmento adecuado de los siguientes según el sistema operativo que uses.

   # Ubuntu 22.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

   # Ubuntu 24.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu24 main' > /etc/apt/sources.list.d/axelera.list"

3. Instala el controlador y cárgalo. SDK 1.9 requiere metis-dkms 1.7.0 o posterior, así que aquí se instala la versión más reciente:

   sudo apt update
   sudo apt install -y metis-dkms
   sudo modprobe metis

[libaxldev.c:285] Found kernel driver version 1.6.2, but at least version 1.7.0 is required. Please update the kernel driver
ERROR: AXR_ERROR_CONNECTION_ERROR: Failed to open device metis-0:4:0

sudo apt update
sudo apt install -y metis-dkms
sudo rmmod metis
sudo modprobe metis

pip install axelera-devkit==1.9.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple
pip install axelera-rt==1.9.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple

Error: Unsupported model version: 4.0, expected at least 5.0
Please re-deploy or re-download the model.

Exportación de modelos YOLO a Axelera#

El formato Axelera es compatible con los modos Exportar, Predecir y Validar. La inferencia y la validación se ejecutan en hardware AIPU Metis de Axelera. Exporta el modelo y, a continuación, carga el modelo exportado para ejecutar la inferencia o validar su precisión.

from ultralytics import YOLO

# Carga un modelo YOLO26
model = YOLO("yolo26n.pt")

# Exporta el modelo al formato Axelera
model.export(format="axelera")  # creates 'yolo26n_axelera_model'

from ultralytics import YOLO

# Carga el modelo Axelera exportado
model = YOLO("yolo26n_axelera_model")

# Ejecutar inferencia
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Carga el modelo Axelera exportado
model = YOLO("yolo26n_axelera_model")

# Valida la precisión con el conjunto de datos COCO8
metrics = model.val(data="coco8.yaml")

Argumentos de exportación#

* Los modelos se compilan para una sola imagen, así que el parámetro de exportación batch solo establece el tamaño del lote de calibración. Pasa batch a predict en su lugar para entregar varias imágenes a la vez al planificador de Axelera (Voyager SDK 1.8.0 o posterior): consulta Rendimiento máximo.

Consulta todas las opciones de exportación en la documentación del modo Exportar.

Estructura de salida#

yolo26n_axelera_model/
├── yolo26n.axm                  # Axelera model file
├── compiler_config_final.toml  # Compiler configuration used for the build
└── metadata.yaml               # Model metadata (classes, image size, etc.)

Benchmarks de Axelera AI#

La AIPU Metis maximiza el rendimiento y minimiza el consumo energético.

Benchmarks basados en datos de Axelera AI. Los FPS reales dependen del tamaño del modelo, el procesamiento por lotes y la resolución de entrada.

Estas cifras corresponden al rendimiento del host y se han medido con el zoo de modelos mediante la canalización de streaming del Voyager SDK sobre un archivo de vídeo de 720p. Una única llamada a predict devuelve la latencia por imagen, que es una magnitud distinta.

Aplicaciones en el mundo real#

Ultralytics YOLO en hardware Axelera permite soluciones avanzadas de computación en el borde:

• Comercio minorista inteligente: Conteo de objetos y análisis de mapas de calor en tiempo real para optimizar las tiendas.
• Seguridad industrial: Detección de EPI de baja latencia en entornos de fabricación.
• Análisis con drones: Detección de objetos de alta velocidad en UAV para la agricultura y las operaciones de búsqueda y rescate.
• Sistemas de tráfico: Reconocimiento de matrículas y estimación de velocidad en el borde.

Flujo de trabajo recomendado#

1. Entrena tu modelo con el modo Train de Ultralytics
2. Exporta al formato de Axelera con model.export(format="axelera")
3. Valida la precisión con yolo val para comprobar que la pérdida por cuantización es mínima
4. Predice con yolo predict para realizar una validación cualitativa
5. Despliega en una canalización integral de alto rendimiento sin depender de PyTorch; consulta los ejemplos de YOLO en Voyager SDK para ver canalizaciones componibles de Python que utilizan axelera-rt

Comprobación del estado del dispositivo#

Comprueba que tu dispositivo Axelera funciona correctamente:

# if axdevice cannot be found, please run at least one inference (see above) to ensure the required packages are installed
axdevice

Para obtener diagnósticos detallados, consulta la documentación de AxDevice.

Rendimiento máximo#

Los modelos se compilan para una sola imagen, y una sola imagen se ejecuta en un núcleo AIPU. Si pasas varias imágenes a Predict, se entregan juntas al planificador de Axelera, que las distribuye entre los núcleos del dispositivo:

yolo predict model=yolo26n_axelera_model source=path/to/images batch=32

yolo26n a imgsz=640 sobre las 128 imágenes de COCO128 de un directorio, Metis PCIe, mediana de tres ejecuciones:

En SDK 1.9, el uso de un lote es lo que aumenta el rendimiento: 2,7 veces con batch=32, mientras que la versión 1.8 se mantiene cerca de 40 img/s con cualquier tamaño de lote. Usa un lote grande para maximizar el rendimiento sin conexión y batch=1 cuando importe la latencia por imagen. Un segundo dispositivo aporta poco a predict: con batch=32, cada imagen ya dedica unos 4 ms al preprocesamiento en el host, aproximadamente lo mismo que tarda en el dispositivo.

Más allá de predict#

Para producción que requiera el máximo rendimiento, el Voyager SDK de Axelera ofrece:

• Canalizaciones de inferencia en streaming que mantienen varios fotogramas en curso
• Compilación de un modelo en varios núcleos
• Inferencia por mosaicos para cámaras de mayor resolución

Esas rutas omiten el preprocesamiento y el posprocesamiento de PyTorch que predict ejecuta en el host. Consulta el zoo de modelos para ver las pruebas de FPS o contacta con Axelera para obtener asistencia para producción.

Problemas conocidos#

Para obtener asistencia, visita la comunidad de Axelera.

Preguntas frecuentes#