Implementación de AMD Xilinx para Ultralytics YOLO con Vitis AI#

Los dispositivos de AMD Xilinx impulsan muchas de las cámaras industriales, los sistemas de visión para automoción, los robots, los drones y los productos de diagnóstico por imagen del mundo. Combinan procesadores Arm con lógica programable y, en los dispositivos más recientes, motores de AI dedicados, de modo que un solo chip puede capturar vídeo, preprocesarlo, ejecutar la detección de objetos y actuar en función del resultado con una latencia de inferencia baja y predecible.

Esta guía explica qué es cada familia de dispositivos AMD Xilinx, cómo ejecutan la IA, qué operadores de Ultralytics YOLO admite cada acelerador y cuál es el flujo de trabajo paso a paso para implementar modelos YOLO en hardware Zynq UltraScale+, Kria y Versal.

¿Qué es AMD Xilinx?#

Xilinx inventó la matriz de puertas programable en campo (FPGA) en la década de 1980 y se convirtió en uno de los principales proveedores de SoC adaptables y FPGA. AMD completó la adquisición de Xilinx en febrero de 2022, y ahora las líneas de productos se comercializan bajo la marca AMD como AMD Zynq, AMD Kria, AMD Versal y AMD Vitis.

Términos y conceptos clave#

La implementación en AMD Xilinx utiliza su propio vocabulario. En la siguiente tabla se explica cada término utilizado en esta guía.

Familias de dispositivos AMD Xilinx para IA en el extremo#

Los dispositivos AMD Xilinx para IA en el extremo se dividen en tres familias. Zynq y Kria utilizan la DPU en lógica programable, mientras que los dispositivos Versal AI Edge que se tratan aquí utilizan la NPU en sus motores de IA.

Zynq UltraScale+ MPSoC#

Cada chip Zynq UltraScale+ combina un sistema de procesamiento Arm, con núcleos Cortex-A53 de doble núcleo (CG) o cuádruple núcleo (EG y EV) y núcleos Cortex-R5F en tiempo real, con lógica FPGA. Los dispositivos EV añaden un códec de vídeo H.264/H.265 integrado. Para ejecutar redes neuronales, los diseñadores integran una DPU en la lógica, junto a los canales de procesamiento de vídeo y cámara. En los dispositivos pequeños, la DPU compite por espacio con el resto del diseño.

Módulos en sistema Kria#

El módulo Kria K26 integra un Zynq UltraScale+ MPSoC, memoria y alimentación en un módulo listo para producción, para que no tengas que diseñar por tu cuenta el procesador, la memoria ni el subsistema de alimentación. El módulo se conecta a una placa portadora, ya sea la placa de un kit de iniciación o un diseño propio. Es la base del kit de iniciación KV260 Vision AI para cámaras inteligentes y del kit de iniciación KR260 Robotics para robótica. Como el K26 se basa en Zynq UltraScale+, utiliza el mismo flujo de trabajo DPU. La gama Kria también incluye otros módulos, así que comprueba qué procesador utiliza tu módulo antes de elegir un flujo de trabajo.

SoC adaptables Versal#

Versal es la familia de SoC adaptables de AMD. Las series AI Edge y AI Core incorporan motores de IA integrados junto a los núcleos Arm y la lógica programable, mientras que algunas otras series Versal no tienen motores de IA. La IP de NPU de AMD se ejecuta conjuntamente en los motores de IA y la lógica programable, y Vitis AI está dirigido a los componentes AIE-ML de la serie AI Edge, como VE2302 y VE2802. La serie Versal AI Edge (kit de evaluación VEK280) y la serie Versal AI Edge Gen 2 (kit de evaluación VEK385) son los destinos actuales de AMD para la IA en el extremo y el foco de las versiones actuales de Vitis AI.

Cómo se ejecuta la IA en los dispositivos AMD Xilinx: DPU frente a NPU#

La mayoría de las implementaciones de IA en AMD Xilinx siguen el mismo patrón. El acelerador ejecuta las capas que admite; la CPU Arm se encarga del preprocesamiento, el posprocesamiento y las capas que el acelerador no puede ejecutar; y un entorno de ejecución en la placa coordina ambos.

graph LR
    A[Camera / video input]:::start --> B[Arm CPU<br>Linux, preprocessing,<br>post-processing]:::proc
    B <--> C[AI accelerator<br>DPU in programmable logic<br>or NPU on AI Engines + PL]:::out
    B --> D[Application<br>alerts, control, display]:::start

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff

AMD ha lanzado dos generaciones de aceleradores, cada una con su propia cadena de herramientas y archivo de modelo compilado. Esta guía utiliza Vitis AI 3.5 para la DPU y Vitis AI 6.3 para la NPU; consulta la documentación actual de AMD para las versiones posteriores.

¿Qué flujo de Vitis AI necesito?#

Elige el flujo según el dispositivo de tu placa:

graph TD
    A[Start: which AMD device<br>is on your board?]:::start --> B{Device family?}:::decide
    B -->|Zynq UltraScale+ MPSoC<br>or Kria K26| C[DPU flow<br>Vitis AI 3.5]:::proc
    B -->|Versal AI Edge<br>VEK280| D[NPU snapshot flow<br>Vitis AI 6.3]:::proc
    B -->|Versal AI Edge Gen 2<br>VEK385| E[NPU Quark flow<br>Vitis AI 6.3]:::proc
    C --> F[Train YOLO with Hard-Swish<br>then compile to .xmodel]:::out
    D --> G[Run your model on calibration<br>images to capture a snapshot]:::out
    E --> H[Quantize ONNX with Quark<br>then compile to .rai]:::out

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Compatibilidad de modelos YOLO y operadores compatibles#

Un acelerador solo acelera los operadores que implementa en el hardware. Cuando un modelo contiene un operador no compatible, el compilador suele enviar esa parte de la red a la CPU Arm, y cada ida y vuelta entre el acelerador y la CPU añade latencia. Algunos operadores no se pueden particionar: en la NPU Versal AI Edge Gen 2, AMD enumera operadores como NonZero y NonMaxSuppression que pueden obligar a ejecutar todo el modelo en la CPU. La compatibilidad con operadores es el factor más importante para el rendimiento de un modelo YOLO en el hardware AMD Xilinx.

graph LR
    subgraph S1 [Stock YOLO26 on the DPU]
        A1[Conv]:::out --> A2[SiLU<br>CPU]:::error --> A3[Conv]:::out --> A4[SiLU<br>CPU]:::error --> A5[...]:::proc
    end
    subgraph S2 [Hard-Swish YOLO26 on the DPU]
        B1[Backbone<br>Conv + Hard-Swish<br>DPU]:::out --> B2[C2PSA attention<br>CPU]:::error --> B3[Neck<br>DPU]:::out --> B4[C3k2 attention<br>CPU]:::error --> B5[Detect head<br>DPU]:::out --> B6[Sigmoid and<br>post-processing<br>CPU]:::error
    end

    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff
    classDef error fill:#F44336,color:#fff

La tabla muestra dónde se ejecuta cada operador de un modelo YOLO26. Una exportación estándar de YOLO26n a ONNX contiene 87 activaciones SiLU, cada una exportada como Sigmoid y Mul, además de 4 operadores MatMul y 2 operadores Softmax de sus dos bloques de atención: el bloque C2PSA al final del backbone (capa 10) y el bloque C3k2 con atención que genera la salida P5 (capa 22).

Fuentes: operadores compatibles según UG1414 de AMD, compatibilidad con operadores de PyTorch y listas de operadores compatibles, particionados en la CPU y no compatibles de Versal AI Edge Gen 2. La compatibilidad también depende de la configuración de la DPU y de los patrones del grafo, así que consulta siempre el informe de particiones del compilador.

Prepara YOLO26 para la DPU con Hard-Swish#

La DPU solo fusiona ReLU, ReLU6, LeakyReLU, Hard-Swish y Hard-Sigmoid con sus convoluciones. Hard-Swish es una aproximación de SiLU adaptada al hardware, por lo que es el sustituto natural. Los archivos YAML de modelo de Ultralytics aceptan una clave activation que cambia la activación predeterminada de los bloques Conv (Guía de configuración de YAML de modelos).

Copia yolo26.yaml en yolo26-hswish.yaml y añade una línea bajo los parámetros:

# Parameters
nc: 80 # number of classes
activation: nn.Hardswish() # default Conv activation, DPU-native
end2end: True # whether to use end-to-end mode

A continuación, crea el modelo, transfiere los pesos preentrenados de YOLO26 y ajústalo con tu conjunto de datos:

from ultralytics import YOLO

# Crea YOLO26n con activaciones Hard-Swish; la «n» del nombre selecciona la escala nano
model = YOLO("yolo26n-hswish.yaml").load("yolo26n.pt")  # transferir pesos preentrenados

# Ajusta el modelo para que la red se adapte a Hard-Swish
model.train(data="coco8.yaml", epochs=100, imgsz=640)

Las activaciones no tienen pesos, así que se transfieren todos los pesos preentrenados. El grafo ONNX exportado contiene entonces 87 operadores HardSwish y ningún SiLU. Sustituye coco8.yaml por tu propio conjunto de datos y compara la precisión con la del modelo SiLU mediante el modo Val antes de implementarlo.

Gestión de los bloques de atención en la DPU#

YOLO26 aplica atención en la resolución más baja (una cuadrícula de 20×20 con una entrada de 640) en dos ubicaciones: el bloque C2PSA de la capa 10 y el bloque C3k2 con atención de la capa 22. YOLO11 tiene un bloque C2PSA. En una DPU, sus operadores MatMul y Softmax se ejecutan en la CPU, lo que divide el modelo en subgrafos alternos de DPU y CPU. Tienes tres opciones:

1. Acepta los bloques de CPU. El .xmodel compilado contendrá subgrafos de CPU, así que ejecútalo con Graph Runner de AMD, que ejecuta juntos los subgrafos de DPU y CPU cuando existe una implementación en CPU para todos los operadores; de lo contrario, tendrás que implementar y registrar los operadores que falten. Con 20×20, el cálculo de atención es pequeño, pero cada transferencia adicional entre la DPU y la CPU añade latencia, así que mídelo en tu placa.

2. Usa un YAML sin atención. En tu YAML de Hard-Swish, sustituye la capa C2PSA por nn.Identity para que los índices de capa usados por Concat y Detect sigan siendo válidos, y desactiva la atención en la capa 22:

   backbone:
       # ... layers 0-9 unchanged
       - [-1, 1, nn.Identity, []] # 10 C2PSA removed; keeps later layer indices valid
   
   head:
       # ... layers 11-21 unchanged
       - [-1, 1, C3k2, [1024, True, 0.5, False]] # 22 (P5/32-large), attention disabled
       - [[16, 19, 22], 1, Detect, [nc]] # Detect(P3, P4, P5)

   El grafo ONNX exportado no contiene entonces operadores MatMul ni Softmax. Los pesos de atención dejan de ser aplicables (se transfieren 624 de los 666 pesos de YOLO26n), así que ajusta el modelo durante más tiempo y compara la precisión con el modo Val.

3. Usa un modelo sin atención, como YOLOv8, que AMD ha utilizado en sus propios ejemplos de DPU.

En Versal AI Edge Gen 2, los operadores de atención aparecen como compatibles con la NPU, por lo que estos cambios suelen ser innecesarios. Confirma su ubicación en el informe del compilador, ya que AMD advierte que los operadores compatibles pueden seguir ejecutándose en la CPU debido a restricciones de configuración o memoria.

Compatibilidad de modelos de un vistazo#

Implementa YOLO26 hoy mismo en AMD Xilinx#

Hasta que esté disponible la exportación nativa, la implementación consta de cuatro pasos:

graph LR
    A[1. Train or fine-tune<br>Ultralytics YOLO]:::start --> B{Target?}:::decide
    B -->|Versal NPU| C[2. Export to ONNX<br>model.export]:::proc
    B -->|Zynq or Kria DPU| D[2. Keep the trained<br>PyTorch checkpoint]:::proc
    C --> E[3. Quantize and compile<br>Vitis AI 6.3 Docker]:::proc
    D --> F[3. Quantize and compile<br>Vitis AI 3.5 Docker]:::proc
    E --> G[4. Run on the board<br>VART-ML or ONNX Runtime]:::out
    F --> H[4. Run on the board<br>VART]:::out
    G -.->|accuracy check| A
    H -.->|accuracy check| A

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Paso 1: entrena o ajusta tu modelo#

Entrena con tus propios datos mediante el modo Train o en la plataforma Ultralytics. Para los destinos DPU, empieza con el YAML de Hard-Swish. Registra una referencia con el modo Val para poder medir más adelante el impacto de la cuantización en la precisión.

Paso 2: exporta a ONNX para destinos NPU#

ONNX es la entrada común de los flujos NPU de AMD. El flujo DPU cuantiza directamente el punto de control PyTorch entrenado en la imagen Docker de Vitis AI 3.5, así que quienes usen DPU pueden omitir este paso. Exporta con un tamaño de lote fijo de 1 y un opset compatible con AMD; el tutorial de YOLOv8m de AMD para Versal AI Edge Gen 2 usa opset 17.

from ultralytics import YOLO

# Carga el modelo que has entrenado en el paso 1
model = YOLO("runs/detect/train/weights/best.pt")

# Exporta a ONNX con una forma estática para el compilador de AMD
model.export(format="onnx", opset=17, imgsz=640)  # crea 'best.onnx' junto a 'best.pt'

Consulta la integración de ONNX y los argumentos de exportación para ver todas las opciones. Si nms no está definido, ejecuta NMS en la CPU después de la inferencia; para YOLO26, nms=False selecciona en su lugar la cabeza sin NMS. No integres NMS con nms=True, porque AMD incluye NonMaxSuppression entre los operadores que pueden obligar a ejecutar todo el modelo en la CPU.

Paso 3: cuantiza y compila con Vitis AI#

Los flujos siguientes usan las imágenes Docker de AMD en un host Linux x86-64. No necesitas la placa para este paso. Elige la pestaña correspondiente a tu dispositivo:

Paso 4: ejecutar y validar en la placa#

Prepara primero la placa. Debe ejecutar un diseño de hardware y una imagen de Linux que incluyan la configuración del acelerador para la que has compilado, además del entorno de ejecución de Vitis AI correspondiente. Consulta las guías de configuración de AMD para los destinos DPU de Zynq UltraScale+ y Kria, Versal AI Edge (VEK280) y Versal AI Edge Gen 2 (VEK385).

Después, copia los artefactos que necesita tu entorno de ejecución:

En los flujos de la NPU, el grafo ONNX exportado ya decodifica las cajas y aplica la sigmoide a las puntuaciones de clase, así que el host solo interpreta la salida:

• nms sin definir: los modelos de detección generan un tensor (1, 4 + nc, anchors) con xywh cajas y puntuaciones por clase. Selecciona la mejor clase por ancla, convierte las cajas a esquinas, filtra por confianza y ejecuta NMS; la función non_max_suppression de Ultralytics realiza todos estos pasos.
• nms=False (YOLO26): el modelo genera un tensor (1, max_det, 6) con [x1, y1, x2, y2, score, class] filas, que solo requieren un umbral de confianza.

En ambos casos, reajusta la escala de las cajas de la entrada con letterboxing a la imagen original. Solo los grafos divididos antes del paso de decodificación requieren decodificar las cajas en el host. En la DPU, los búferes de VART contienen valores INT8 de punto fijo: consulta la forma y la escala fix_point de cada tensor, cuantiza las entradas y des cuantiza las salidas antes de aplicar los pasos anteriores. Graph Runner devuelve las salidas del grafo completo, mientras que un ejecutor solo para DPU devuelve las salidas intermedias de los subgrafos de DPU, cuyo cálculo debe completar tu código. Las disposiciones anteriores son las de ONNX (vista de CPU): VART-ML usa de forma predeterminada vistas de tensores de hardware cuya forma, tipo de datos y disposición de memoria pueden ser distintos. Por tanto, configura los tipos de tensores de entrada y salida del ejecutor como vistas de CPU o convierte tú mismo el formato de hardware (consulta la descripción general de la arquitectura de VART-ML de AMD).

Compara la precisión en el dispositivo con la referencia FP32 del paso 1 usando tu propio conjunto de validación y las mismas métricas de rendimiento, como mAP. Los resultados publicados por AMD para YOLOv8m en la VEK385 muestran el coste en precisión del despliegue INT8:

Fuente: tutorial de YOLOv8m para Versal AI Edge Gen 2 de AMD, que también informa de un tiempo medio de inferencia de 10,69 ms en 100 ejecuciones de VART con dp_size=1.

Aplicaciones en el mundo real#

Los dispositivos AMD Xilinx son habituales cuando la IA de visión debe ejecutarse en tiempo real, con bajo consumo y cerca del sensor:

• Seguridad industrial y en la construcción: detecta personas y máquinas alrededor de equipos pesados y supervisa zonas de trabajo con la detección de objetos y el recuento de objetos.
• Visión para automoción y vehículos todoterreno: ejecuta percepción basada en cámaras en componentes homologados para automoción, compatible con los vehículos autónomos y la asistencia al conductor.
• Cámaras inteligentes y analítica de vídeo: combina la captura y codificación de vídeo con la inferencia de YOLO en un solo chip para sistemas de seguridad y analítica de vídeo.
• Visión artificial e inspección de calidad: combina la captura de imágenes de alta velocidad basada en FPGA con la segmentación de instancias o la clasificación de YOLO para detectar defectos en línea.
• Robótica y drones: utiliza módulos Kria KR260 o Versal para la estimación de pose, la detección de objetos orientados y la navegación con latencia determinista.

Resumen#

Los dispositivos AMD Xilinx ejecutan modelos YOLO mediante dos generaciones de aceleradores. La DPU de Zynq UltraScale+ y Kria utiliza el flujo Vitis AI 3.5, que ya no evoluciona, y genera archivos .xmodel. Necesita activaciones nativas de DPU, como Hard-Swish, y ejecuta la atención en la CPU. La NPU de Versal AI Edge y Versal AI Edge Gen 2 utiliza las versiones actuales de Vitis AI. La NPU de Gen 2 es compatible con SiLU y los operadores de atención, y ejecuta el ejemplo YOLOv8m de AMD casi por completo en la NPU de la VEK385; la compatibilidad de operadores de la NPU anterior de la VEK280 depende de la versión y la precisión de Vitis AI.

La exportación nativa de Ultralytics para dispositivos AMD Xilinx estará disponible próximamente. Hasta entonces, entrena con Ultralytics, exporta a ONNX para destinos con NPU Versal o conserva el punto de control de PyTorch para destinos con DPU, y compila con Vitis AI como se describe arriba. Para otros destinos de despliegue, consulta la guía de opciones de despliegue de modelos, las prácticas recomendadas para el despliegue y las integraciones con aceleradores, como Hailo, Rockchip RKNN y Axelera.

Preguntas frecuentes#