Развертывание AMD Xilinx для Ultralytics YOLO с помощью Vitis AI#

Устройства AMD Xilinx используются во многих промышленных камерах, системах технического зрения для автомобилей, роботах, дронах и медицинском оборудовании по всему миру. Они объединяют процессоры Arm с программируемой логикой, а в новых устройствах — и специализированные AI Engines. Благодаря этому один чип может захватывать видео, предварительно обрабатывать его, выполнять детекцию объектов и реагировать на результат с низкой и предсказуемой задержкой инференса.

В этом руководстве рассказывается о семействах устройств AMD Xilinx, работе AI на этих устройствах, операторах Ultralytics YOLO, поддерживаемых каждым ускорителем, и пошаговом процессе развертывания моделей YOLO на оборудовании Zynq UltraScale+, Kria и Versal.

Что такое AMD Xilinx?#

В 1980-х годах Xilinx изобрела программируемую пользователем вентильную матрицу (FPGA) и стала ведущим поставщиком адаптивных SoC и FPGA. AMD завершила приобретение Xilinx в феврале 2022 года, и теперь эти линейки продуктов продаются под брендом AMD: AMD Zynq, AMD Kria, AMD Versal и AMD Vitis.

Основные термины и понятия#

При развертывании AMD Xilinx используется собственная терминология. В таблице ниже объясняется каждый термин из этого руководства.

Семейства устройств AMD Xilinx для периферийного AI#

Устройства AMD Xilinx для периферийного AI относятся к трем семействам. В Zynq и Kria используется DPU в программируемой логике, а в рассматриваемых здесь устройствах Versal AI Edge — NPU на базе AI Engines.

Zynq UltraScale+ MPSoC#

Каждый чип Zynq UltraScale+ объединяет систему обработки Arm с FPGA-логикой. Система обработки включает двухъядерные (CG) или четырехъядерные (EG и EV) ядра Cortex-A53 и ядра реального времени Cortex-R5F. Устройства EV дополнены аппаратным видеокодеком H.264/H.265. Чтобы запускать нейронные сети, разработчики встраивают DPU в логику рядом с конвейерами обработки изображения и видео. В небольших устройствах DPU конкурирует за ресурсы с остальными компонентами проекта.

Системные модули Kria#

Модуль Kria K26 объединяет Zynq UltraScale+ MPSoC, память и систему питания в готовом к серийному производству модуле, поэтому тебе не придется самостоятельно проектировать процессор, память и подсистему питания. Модуль устанавливается на несущую плату — плату из стартового комплекта или собственную разработку. Он используется в комплекте для разработки KV260 Vision AI для интеллектуальных камер и комплекте для разработки робототехники KR260 для робототехники. Поскольку K26 построен на базе Zynq UltraScale+, для него используется тот же процесс работы с DPU. В линейку Kria входят и другие модули, поэтому перед выбором процесса проверь, какой процессор установлен в твоем модуле.

Адаптивные SoC Versal#

Versal — семейство адаптивных SoC от AMD. Серии AI Edge и AI Core дополнены специализированными AI Engines, расположенными рядом с ядрами Arm и программируемой логикой; в некоторых других сериях Versal AI Engines нет. IP-блок NPU от AMD одновременно работает с AI Engines и программируемой логикой, а Vitis AI предназначен для компонентов AIE-ML серии AI Edge, например VE2302 и VE2802. Серия Versal AI Edge (оценочный комплект VEK280) и серия Versal AI Edge Gen 2 (оценочный комплект VEK385) — это текущие платформы AMD для периферийного AI, на которых сосредоточены последние версии Vitis AI.

Как работает AI на устройствах AMD Xilinx: DPU и NPU#

Большинство решений AMD Xilinx для AI работают по одной схеме. Ускоритель выполняет поддерживаемые слои, CPU Arm отвечает за предварительную обработку, постобработку и любые слои, которые ускоритель выполнить не может, а среда выполнения на плате координирует их работу.

graph LR
    A[Camera / video input]:::start --> B[Arm CPU<br>Linux, preprocessing,<br>post-processing]:::proc
    B <--> C[AI accelerator<br>DPU in programmable logic<br>or NPU on AI Engines + PL]:::out
    B --> D[Application<br>alerts, control, display]:::start

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff

AMD выпустила два поколения ускорителей, каждое со своим набором инструментов и форматом файла скомпилированной модели. В этом руководстве описаны Vitis AI 3.5 для DPU и Vitis AI 6.3 для NPU; для более поздних версий проверяй актуальную документацию AMD.

Какой поток Vitis AI выбрать?#

Выбери поток в зависимости от устройства на своей плате:

graph TD
    A[Start: which AMD device<br>is on your board?]:::start --> B{Device family?}:::decide
    B -->|Zynq UltraScale+ MPSoC<br>or Kria K26| C[DPU flow<br>Vitis AI 3.5]:::proc
    B -->|Versal AI Edge<br>VEK280| D[NPU snapshot flow<br>Vitis AI 6.3]:::proc
    B -->|Versal AI Edge Gen 2<br>VEK385| E[NPU Quark flow<br>Vitis AI 6.3]:::proc
    C --> F[Train YOLO with Hard-Swish<br>then compile to .xmodel]:::out
    D --> G[Run your model on calibration<br>images to capture a snapshot]:::out
    E --> H[Quantize ONNX with Quark<br>then compile to .rai]:::out

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Совместимость моделей YOLO и поддерживаемые операторы#

Ускоритель выполняет быстрее только те операторы, которые реализованы в его аппаратной части. Если модель содержит неподдерживаемый оператор, компилятор обычно передаёт эту часть сети Arm CPU, а каждый переход между ускорителем и CPU увеличивает задержку. Некоторые операторы невозможно разделить: на NPU Versal AI Edge Gen 2 AMD указывает такие операторы, как NonZero и NonMaxSuppression, которые могут заставить выполнять всю модель на CPU. Поддержка операторов — важнейший фактор производительности модели YOLO на оборудовании AMD Xilinx.

graph LR
    subgraph S1 [Stock YOLO26 on the DPU]
        A1[Conv]:::out --> A2[SiLU<br>CPU]:::error --> A3[Conv]:::out --> A4[SiLU<br>CPU]:::error --> A5[...]:::proc
    end
    subgraph S2 [Hard-Swish YOLO26 on the DPU]
        B1[Backbone<br>Conv + Hard-Swish<br>DPU]:::out --> B2[C2PSA attention<br>CPU]:::error --> B3[Neck<br>DPU]:::out --> B4[C3k2 attention<br>CPU]:::error --> B5[Detect head<br>DPU]:::out --> B6[Sigmoid and<br>post-processing<br>CPU]:::error
    end

    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff
    classDef error fill:#F44336,color:#fff

В таблице показано, где выполняется каждый оператор модели YOLO26. Стандартный экспорт YOLO26n в ONNX содержит 87 активаций SiLU, каждая из которых экспортируется как Sigmoid и Mul, а также 4 оператора MatMul и 2 оператора Softmax из двух блоков внимания: блока C2PSA в конце базовой сети (слой 10) и блока C3k2 с механизмом внимания, формирующего выход P5 (слой 22).

Источники: списки поддерживаемых операторов AMD UG1414, поддержка операторов PyTorch, а также списки поддерживаемых, выполняемых на CPU и неподдерживаемых операторов для Versal AI Edge Gen 2. Поддержка также зависит от конфигурации DPU и структуры графа, поэтому всегда проверяй отчёт компилятора о разделении модели.

Подготовь YOLO26 к работе на DPU с Hard-Swish#

DPU объединяет со свёртками только ReLU, ReLU6, LeakyReLU, Hard-Swish и Hard-Sigmoid. Hard-Swish — аппаратно-эффективное приближение SiLU, поэтому это естественная замена. В YAML-файлах моделей Ultralytics можно задать ключ activation, чтобы изменить активацию по умолчанию для блоков Conv (руководство по настройке YAML модели).

Скопируй yolo26.yaml в yolo26-hswish.yaml и добавь одну строку в раздел параметров:

# Parameters
nc: 80 # number of classes
activation: nn.Hardswish() # default Conv activation, DPU-native
end2end: True # whether to use end-to-end mode

Затем создай модель, перенеси предобученные веса YOLO26 и выполни дообучение на своём наборе данных:

from ultralytics import YOLO

# Собери YOLO26n с активациями Hard-Swish; «n» в названии обозначает размер nano
model = YOLO("yolo26n-hswish.yaml").load("yolo26n.pt")  # перенеси предобученные веса

# Дообучи модель, чтобы сеть адаптировалась к Hard-Swish
model.train(data="coco8.yaml", epochs=100, imgsz=640)

У активаций нет весов, поэтому переносятся все предобученные веса. В экспортированном графе ONNX будет 87 операторов HardSwish и ни одного SiLU. Замени coco8.yaml на собственный набор данных и перед развёртыванием сравни точность с моделью SiLU в режиме Val.

Обработка блоков внимания на DPU#

YOLO26 применяет механизм внимания в двух местах с самым низким разрешением (сетка 20×20 при входном размере 640): в блоке C2PSA на слое 10 и блоке C3k2 с механизмом внимания на слое 22. В YOLO11 есть один блок C2PSA. На DPU операторы MatMul и Softmax выполняются на CPU, разделяя модель на чередующиеся подграфы DPU и CPU. Есть три варианта:

1. Оставить блоки на CPU. В скомпилированной модели .xmodel будут подграфы CPU, поэтому запускай её с помощью Graph Runner от AMD. Он совместно выполняет подграфы DPU и CPU, если для каждого оператора есть реализация для CPU; в противном случае нужно самостоятельно реализовать и зарегистрировать недостающие операторы. При разрешении 20×20 вычисления внимания невелики, но каждый дополнительный переход между DPU и CPU увеличивает задержку, поэтому измерь её на своей плате.

2. Использовать YAML без механизма внимания. В YAML-файле с Hard-Swish замени слой C2PSA на nn.Identity, чтобы сохранить корректность индексов слоёв, используемых в Concat и Detect, а также отключи механизм внимания в слое 22:

   backbone:
       # ... layers 0-9 unchanged
       - [-1, 1, nn.Identity, []] # 10 C2PSA removed; keeps later layer indices valid
   
   head:
       # ... layers 11-21 unchanged
       - [-1, 1, C3k2, [1024, True, 0.5, False]] # 22 (P5/32-large), attention disabled
       - [[16, 19, 22], 1, Detect, [nc]] # Detect(P3, P4, P5)

   В экспортированном графе ONNX не будет операторов MatMul и Softmax. Веса механизма внимания больше не подойдут (переносятся 624 из 666 весов YOLO26n), поэтому выполни больше итераций дообучения и сравни точность в режиме Val.

3. Использовать модель без механизма внимания, например YOLOv8, которую AMD использовала в собственных примерах для DPU.

На Versal AI Edge Gen 2 операторы внимания указаны как поддерживаемые NPU, поэтому обычно вносить эти изменения не нужно. Проверь размещение операторов в отчёте компилятора: AMD отмечает, что даже поддерживаемые операторы могут выполняться на CPU из-за ограничений конфигурации или памяти.

Краткий обзор совместимости моделей#

Разверни YOLO26 на AMD Xilinx уже сегодня#

Пока нативный экспорт недоступен, развёртывание состоит из четырёх шагов:

graph LR
    A[1. Train or fine-tune<br>Ultralytics YOLO]:::start --> B{Target?}:::decide
    B -->|Versal NPU| C[2. Export to ONNX<br>model.export]:::proc
    B -->|Zynq or Kria DPU| D[2. Keep the trained<br>PyTorch checkpoint]:::proc
    C --> E[3. Quantize and compile<br>Vitis AI 6.3 Docker]:::proc
    D --> F[3. Quantize and compile<br>Vitis AI 3.5 Docker]:::proc
    E --> G[4. Run on the board<br>VART-ML or ONNX Runtime]:::out
    F --> H[4. Run on the board<br>VART]:::out
    G -.->|accuracy check| A
    H -.->|accuracy check| A

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Шаг 1. Обучи или дообучи модель#

Обучи модель на собственных данных с помощью режима Train или на платформе Ultralytics. Для целей DPU начни с YAML-файла Hard-Swish. Зафиксируй исходный результат с помощью режима Val, чтобы позднее измерить влияние квантования на точность.

Шаг 2. Экспортируй модель в ONNX для целей NPU#

ONNX — стандартный входной формат для потоков NPU от AMD. Поток DPU напрямую квантует обученный чекпойнт PyTorch в Docker-образе Vitis AI 3.5, поэтому пользователи DPU могут пропустить этот шаг. Выполни экспорт с фиксированным размером пакета 1 и версией opset, поддерживаемой AMD; в руководстве AMD по YOLOv8m для Versal AI Edge Gen 2 используется opset 17.

from ultralytics import YOLO

# Загрузи модель, обученную на шаге 1
model = YOLO("runs/detect/train/weights/best.pt")

# Экспортируй в ONNX со статической формой для компилятора AMD
model.export(format="onnx", opset=17, imgsz=640)  # создаёт файл 'best.onnx' рядом с 'best.pt'

Все параметры см. в разделах интеграция ONNX и аргументы экспорта. Если nms не задан, выполняй NMS на CPU после инференса; для YOLO26 параметр nms=False выбирает вместо этого голову без NMS. Не встраивай NMS с помощью nms=True: AMD указывает NonMaxSuppression среди операторов, которые могут заставить выполнять всю модель на CPU.

Шаг 3. Квантование и компиляция с помощью Vitis AI#

В описанных ниже процессах используются Docker-образы AMD на хосте Linux x86-64. На этом шаге плата не нужна. Выбери вкладку для своего устройства:

Шаг 4. Запуск и проверка на плате#

Сначала подготовь плату. На ней должны быть установлены аппаратная конфигурация и образ Linux, содержащие конфигурацию ускорителя, для которой ты выполнял компиляцию, а также соответствующая среда выполнения Vitis AI. См. руководства AMD по настройке целевых устройств Zynq UltraScale+ и Kria с DPU, Versal AI Edge (VEK280) и Versal AI Edge Gen 2 (VEK385).

Затем скопируй на плату артефакты, необходимые среде выполнения:

В потоках обработки для NPU в экспортированном графе ONNX уже декодируются рамки и применяется сигмоида к оценкам классов, поэтому на хосте нужно только интерпретировать выходные данные:

• nms не задана: модели обнаружения выдают тензор (1, 4 + nc, anchors) с xywh рамками и оценками для каждого класса. Выбери лучший класс для каждого якоря, преобразуй рамки в координаты углов, отфильтруй их по порогу уверенности и выполни NMS; функция Ultralytics non_max_suppression выполняет все эти действия.
• nms=False (YOLO26): модель выдаёт тензор (1, max_det, 6) с [x1, y1, x2, y2, score, class] строками, для обработки которого нужен только порог уверенности.

В обоих случаях измени масштаб рамок с входного изображения, дополненного полями, на исходное изображение. Декодировать рамки на хосте нужно только для графов, обрезанных до этапа декодирования. На DPU буферы VART содержат значения INT8 с фиксированной точкой: запроси форму каждого тензора и масштаб fix_point, квантуй входные данные и деквантуй выходные, прежде чем выполнять описанные выше действия. Graph Runner возвращает выходы всего графа, тогда как средство запуска только для DPU возвращает промежуточные выходы подграфов DPU, дальнейшую обработку которых должен выполнить твой код. Указанные выше форматы соответствуют ONNX (представлению CPU): VART-ML по умолчанию использует аппаратные представления тензоров, формы, типы данных и расположение которых в памяти могут отличаться. Поэтому настрой типы входных и выходных тензоров средства запуска как представления CPU либо самостоятельно преобразуй аппаратный формат (см. обзор архитектуры VART-ML от AMD).

Сравни точность на устройстве с базовым результатом FP32 из шага 1 на собственном наборе для валидации и по тем же метрикам производительности, например mAP. Опубликованные AMD результаты для YOLOv8m на VEK385 показывают, насколько снижается точность при развёртывании в INT8:

Источник: руководство AMD по YOLOv8m для Versal AI Edge Gen 2; в нём также указано среднее время инференса 10,69 мс по результатам 100 запусков VART при dp_size=1.

Применение в реальных условиях#

Устройства AMD Xilinx часто используют там, где компьютерное зрение с ИИ должно работать в реальном времени, потреблять мало энергии и находиться рядом с датчиком:

• Безопасность на промышленных и строительных объектах: обнаруживай людей и машины рядом с тяжёлым оборудованием и контролируй рабочие зоны с помощью обнаружения объектов и подсчёта объектов.
• Автомобильное зрение и техника для бездорожья: запускай компьютерное зрение на основе камер на сертифицированных компонентах автомобильного класса для автономных транспортных средств и систем помощи водителю.
• Умные камеры и видеоаналитика: объединяй захват и кодирование видео с инференсом YOLO на одном чипе для систем безопасности и видеоаналитики.
• Машинное зрение и контроль качества: сочетай высокоскоростной захват изображений на FPGA с сегментацией экземпляров или классификацией YOLO для обнаружения дефектов на конвейере.
• Робототехника и дроны: используй модули Kria KR260 или Versal для оценки позы, обнаружения объектов с ориентацией и навигации с детерминированной задержкой.

Итоги#

Устройства AMD Xilinx запускают модели YOLO с помощью двух поколений ускорителей. DPU в Zynq UltraScale+ и Kria использует зафиксированный процесс Vitis AI 3.5 и создаёт файлы .xmodel. Для него нужны функции активации, поддерживаемые DPU, например Hard-Swish; механизмы внимания он обрабатывает на CPU. NPU в Versal AI Edge и Versal AI Edge Gen 2 работает с актуальными выпусками Vitis AI. NPU Gen 2 поддерживает SiLU и операторы внимания, а пример AMD с YOLOv8m почти полностью выполняется на NPU VEK385. Поддержка операторов на более раннем NPU VEK280 зависит от версии Vitis AI и точности.

Скоро появится встроенный экспорт Ultralytics для устройств AMD Xilinx. Пока обучай модель с Ultralytics, экспортируй её в ONNX для целевых устройств Versal с NPU или сохрани контрольную точку PyTorch для целевых устройств с DPU, а затем скомпилируй её с помощью Vitis AI, как описано выше. О других целевых устройствах см. руководство по вариантам развёртывания моделей, рекомендации по развёртыванию и сведения об интеграциях с ускорителями, например Hailo, Rockchip RKNN и Axelera.

Часто задаваемые вопросы#