Экспорт AMD Xilinx для Ultralytics YOLO с Vitis AI#

При экспорте моделей Ultralytics YOLO26 с помощью format="xilinx" выполняется квантование с AMD Quark для NPU адаптивных SoC AMD Versal AI Edge Series Gen 2. После этого компилятор Vitis AI от AMD может создать модель .rai. Этот же экспорт проверяет точность INT8 на любом хосте до развертывания.

Устройства AMD Xilinx используются во многих промышленных камерах, системах технического зрения для автомобилей, роботах, дронах и медицинском оборудовании по всему миру. Они объединяют процессоры Arm с программируемой логикой, а в новых устройствах — и специализированные AI Engines. Благодаря этому один чип может захватывать видео, предварительно обрабатывать его, выполнять детекцию объектов и реагировать на результат с низкой и предсказуемой задержкой инференса.

В этом руководстве рассматриваются экспорт AMD Xilinx, компиляция и запуск модели на плате Versal, семейства устройств AMD Xilinx, работа ИИ на этих устройствах, а также операторы Ultralytics YOLO, поддерживаемые каждым ускорителем.

Что такое AMD Xilinx?#

В 1980-х годах Xilinx изобрела программируемую пользователем вентильную матрицу (FPGA) и стала ведущим поставщиком адаптивных SoC и FPGA. AMD завершила приобретение Xilinx в феврале 2022 года, и теперь эти линейки продуктов продаются под брендом AMD: AMD Zynq, AMD Kria, AMD Versal и AMD Vitis.

Основные термины и понятия#

При развертывании AMD Xilinx используется собственная терминология. В таблице ниже объясняется каждый термин из этого руководства.

Семейства устройств AMD Xilinx для периферийного AI#

Устройства AMD Xilinx для периферийного AI относятся к трем семействам. В Zynq и Kria используется DPU в программируемой логике, а в рассматриваемых здесь устройствах Versal AI Edge — NPU на базе AI Engines.

Zynq UltraScale+ MPSoC#

Каждый чип Zynq UltraScale+ объединяет систему обработки Arm с FPGA-логикой. Система обработки включает двухъядерные (CG) или четырехъядерные (EG и EV) ядра Cortex-A53 и ядра реального времени Cortex-R5F. Устройства EV дополнены аппаратным видеокодеком H.264/H.265. Чтобы запускать нейронные сети, разработчики встраивают DPU в логику рядом с конвейерами обработки изображения и видео. В небольших устройствах DPU конкурирует за ресурсы с остальными компонентами проекта.

Системные модули Kria#

Модуль Kria K26 объединяет Zynq UltraScale+ MPSoC, память и систему питания в готовом к серийному производству модуле, поэтому тебе не придется самостоятельно проектировать процессор, память и подсистему питания. Модуль устанавливается на несущую плату — плату из стартового комплекта или собственную разработку. Он используется в комплекте для разработки KV260 Vision AI для интеллектуальных камер и комплекте для разработки робототехники KR260 для робототехники. Поскольку K26 построен на базе Zynq UltraScale+, для него используется тот же процесс работы с DPU. В линейку Kria входят и другие модули, поэтому перед выбором процесса проверь, какой процессор установлен в твоем модуле.

Адаптивные SoC Versal#

Versal — семейство адаптивных SoC от AMD. Серии AI Edge и AI Core дополнены специализированными AI Engines, расположенными рядом с ядрами Arm и программируемой логикой; в некоторых других сериях Versal AI Engines нет. IP-блок NPU от AMD одновременно работает с AI Engines и программируемой логикой, а Vitis AI предназначен для компонентов AIE-ML серии AI Edge, например VE2302 и VE2802. Серия Versal AI Edge (оценочный комплект VEK280) и серия Versal AI Edge Gen 2 (оценочный комплект VEK385) — это текущие платформы AMD для периферийного AI, на которых сосредоточены последние версии Vitis AI.

Как работает AI на устройствах AMD Xilinx: DPU и NPU#

Большинство решений AMD Xilinx для AI работают по одной схеме. Ускоритель выполняет поддерживаемые слои, CPU Arm отвечает за предварительную обработку, постобработку и любые слои, которые ускоритель выполнить не может, а среда выполнения на плате координирует их работу.

AMD выпустила два поколения ускорителей, каждое со своим набором инструментов и форматом файла скомпилированной модели. В этом руководстве описаны Vitis AI 3.5 для DPU и Vitis AI 6.3 для NPU; для более поздних версий проверяй актуальную документацию AMD.

Какой поток Vitis AI выбрать?#

Выбери поток в зависимости от устройства на своей плате:

Экспорт в AMD Xilinx: преобразование модели YOLO#

Поддерживаемые задачи#

Экспорт AMD Xilinx поддерживает все семь задач Ultralytics. Семантическая сегментация и оценка глубины доступны только в YOLO26 — единственном семействе с соответствующими головами модели.

Установка#

Экспорт AMD Xilinx выполняется в Linux (x86-64 или ARM64) с Python 3.11–3.13 — именно эти версии поддерживает AMD Quark. При первом экспорте также компилируются пользовательские операторы Quark, для чего нужен компилятор C++, например g++.

# Install the required package for YOLO
pip install ultralytics

При первом экспорте AMD Quark автоматически устанавливается из PyPI. Чтобы заранее установить зависимости для экспорта:

pip install "ultralytics[export-xilinx]"

Для установки репозитория в редактируемом режиме замени "ultralytics[export-xilinx]" на -e ".[export-base,export-xilinx]". Чтобы воспроизвести окружение Python 3.12 и выполнить проверочный экспорт, используемые в CI, запусти имеющийся сборщик окружения из корневого каталога репозитория:

ULTRALYTICS_ISOLATED_VENVS="$PWD/.venvs" python .github/scripts/create-export-env.py --env isolated-xilinx

Использование#

Формат AMD Xilinx поддерживает режимы экспорта, предсказания и валидации. Без AMD Vitis AI Execution Provider предсказание и валидация выполняются на квантованной модели с помощью ONNX Runtime на CPU, что позволяет измерить точность INT8 на любом хосте. Если ONNX Runtime предоставляет VitisAIExecutionProvider, как на плате Versal AI Edge Series Gen 2, Ultralytics выбирает его автоматически.

from ultralytics import YOLO

# Загрузи модель YOLO26
model = YOLO("yolo26n.pt")

# Экспорт в формат AMD Xilinx для VEK385 (quantize=8 включается автоматически)
model.export(format="xilinx")  # creates 'yolo26n_xilinx_model/'

from ultralytics import YOLO

# Загрузка экспортированной модели AMD Xilinx
model = YOLO("yolo26n_xilinx_model")

# Выполнить инференс
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Загрузка экспортированной модели AMD Xilinx
model = YOLO("yolo26n_xilinx_model")

# Валидация точности INT8 на наборе данных COCO8
metrics = model.val(data="coco8.yaml")

Названия форматов vitis, vitisai и versal — это псевдонимы xilinx.

Аргументы экспорта#

Установи nms=False, чтобы экспортировать голову YOLO26 без NMS. Встроенный NMS (nms=True) не поддерживается, поскольку AMD относит NonMaxSuppression к операторам, которые могут перенести всю модель на CPU.

Подробнее о процессе экспорта смотри на странице документации Ultralytics об экспорте.

Структура вывода#

После успешного экспорта создается каталог модели со следующей структурой:

yolo26n_xilinx_model/
├── yolo26n.onnx          # AMD Quark VINT8 model with the Ultralytics metadata
└── vitisai_config.json   # Vitis AI compiler configuration for the target device

Компиляция модели, описанная ниже, создает в том же каталоге кэш компилятора yolo26n/, содержащий модель NPU yolo26n.rai и отчеты AMD о компиляции, например final-vaiml-pass-summary.txt.

Как работает экспорт#

Экспорт соответствует описанному AMD процессу Vitis AI для Versal AI Edge Series Gen 2:

1. Экспорт ONNX с opset 17 и статическим размером пакета 1.
2. Квантование AMD Quark с конфигурацией VINT8 (симметричный INT8 со степенными масштабами) и параметрами, необходимыми AMD для компиляции на NPU: Int32Bias=False, enable_npu_cnn=True, DedicatedQDQPair=True и QuantizeAllOpTypes=True. Для калибровки используется стандартный загрузчик Ultralytics для калибровки INT8 с той же предобработкой, что и при инференсе: letterbox, RGB и диапазон 0–1.
3. Смешанная точность: голова модели остается в формате с плавающей точкой, а компилятор Vitis AI запускает ее на NPU в BF16. Квантование головы в INT8 приводит к большей части потери точности; по той же причине в руководстве AMD по YOLOv8m постобработка не переводится в INT8.
4. Конфигурация компилятора: vitisai_config.json выбирает целевое устройство VAIML и устройство из name.

Точность#

В таблице сравниваются экспортированная модель INT8 и модель ONNX FP32 на COCO val2017 (5 000 изображений) с размером 640; обе модели запускаются на хосте с помощью ONNX Runtime на CPU. Модели INT8 калибровались на стандартном наборе данных coco128.yaml; калибровка на собственных изображениях для развертывания обычно сокращает разрыв.

В этих тестах квантованная модель запускается с ONNX Runtime на CPU хоста — это базовый вариант, с которым AMD сравнивает результаты NPU в своей методике оценки точности. Опубликованные AMD результаты для YOLOv8m на VEK385 демонстрируют тот же подход со смешанной точностью на NPU:

Источник: руководство AMD по YOLOv8m для Versal AI Edge Gen 2; в нём также указано среднее время инференса 10,69 мс по результатам 100 запусков VART при dp_size=1.

Компиляция и запуск на Versal AI Edge Gen 2#

Экспортированный каталог готов для компилятора AMD Vitis AI, который создает модель .rai для запуска на NPU.

1. Подготовь хост и плату. Выполняй компиляцию на хосте Linux x86-64 с помощью Docker-образа AMD Vitis AI 6.3 для Versal AI Edge Gen 2 и лицензии на компилятор AMD AI Engine (смотри страницу лицензирования AMD). Подготовь VEK385 по руководству AMD по настройке платы.

2. Скомпилируй модель. В контейнере создай сессию ONNX Runtime с Vitis AI Execution Provider — именно так это делается в руководстве AMD по компиляции. В экспортированный каталог будет записан кэш yolo26n/ с yolo26n.rai:

   import onnxruntime as ort
   
   d = "yolo26n_xilinx_model"
   options = {"config_file": f"{d}/vitisai_config.json", "cache_dir": d, "cache_key": "yolo26n", "target": "VAIML"}
   ort.InferenceSession(f"{d}/yolo26n.onnx", providers=["VitisAIExecutionProvider"], provider_options=[options])

   Проверь yolo26n_xilinx_model/yolo26n/final-vaiml-pass-summary.txt, чтобы узнать, какая часть модели выполняется на NPU. Для YOLO26n с размером 640 компилятор AMD Vitis AI 6.3 размещает на NPU VEK385 99,9% операторов и вычислений в одном разделе.

3. Запусти модель на плате. Скопируй экспортированный каталог на VEK385. ONNX Runtime с Vitis AI Execution Provider загружает скомпилированную модель yolo26n.rai и запускает ее на NPU; YOLO("yolo26n_xilinx_model") автоматически выбирает этот провайдер, если он доступен.

Для компиляции нужен только ONNX Runtime от AMD, поэтому экспортируй модель на любом компьютере с Linux и скопируй каталог в контейнер, а не устанавливай туда Ultralytics: установка может изменить закрепленные версии пакетов контейнера. Если Ultralytics установлена рядом со сборкой AMD onnxruntime-vitisai, как на плате, она сохраняет эту сборку, а не заменяет ее стандартной onnxruntime.

Совместимость моделей YOLO и поддерживаемые операторы#

Ускоритель выполняет быстрее только те операторы, которые реализованы в его аппаратной части. Если модель содержит неподдерживаемый оператор, компилятор обычно передаёт эту часть сети Arm CPU, а каждый переход между ускорителем и CPU увеличивает задержку. Некоторые операторы невозможно разделить: на NPU Versal AI Edge Gen 2 AMD указывает такие операторы, как NonZero и NonMaxSuppression, которые могут заставить выполнять всю модель на CPU. Поддержка операторов — важнейший фактор производительности модели YOLO на оборудовании AMD Xilinx.

В таблице показано, где выполняется каждый оператор модели YOLO26. Стандартный экспорт YOLO26n в ONNX содержит 87 активаций SiLU, каждая из которых экспортируется как Sigmoid и Mul, а также 4 оператора MatMul и 2 оператора Softmax из двух блоков внимания: блока C2PSA в конце базовой сети (слой 10) и блока C3k2 с механизмом внимания, формирующего выход P5 (слой 22).

Источники: списки поддерживаемых операторов AMD UG1414, поддержка операторов PyTorch, а также списки поддерживаемых, выполняемых на CPU и неподдерживаемых операторов для Versal AI Edge Gen 2. Поддержка также зависит от конфигурации DPU и структуры графа, поэтому всегда проверяй отчёт компилятора о разделении модели.

Подготовь YOLO26 к работе на DPU с Hard-Swish#

DPU объединяет со свёртками только ReLU, ReLU6, LeakyReLU, Hard-Swish и Hard-Sigmoid. Hard-Swish — аппаратно-эффективное приближение SiLU, поэтому это естественная замена. В YAML-файлах моделей Ultralytics можно задать ключ activation, чтобы изменить активацию по умолчанию для блоков Conv (руководство по настройке YAML модели).

Скопируй yolo26.yaml в yolo26-hswish.yaml и добавь одну строку в раздел параметров:

# Parameters
nc: 80 # number of classes
activation: nn.Hardswish() # default Conv activation, DPU-native
end2end: True # whether to use end-to-end mode

Затем создай модель, перенеси предобученные веса YOLO26 и выполни дообучение на своём наборе данных:

from ultralytics import YOLO

# Собери YOLO26n с активациями Hard-Swish; «n» в названии обозначает размер nano
model = YOLO("yolo26n-hswish.yaml").load("yolo26n.pt")  # перенеси предобученные веса

# Дообучи модель, чтобы сеть адаптировалась к Hard-Swish
model.train(data="coco8.yaml", epochs=100, imgsz=640)

У активаций нет весов, поэтому переносятся все предобученные веса. В экспортированном графе ONNX будет 87 операторов HardSwish и ни одного SiLU. Замени coco8.yaml на собственный набор данных и перед развёртыванием сравни точность с моделью SiLU в режиме Val.

Обработка блоков внимания на DPU#

YOLO26 применяет механизм внимания в двух местах с самым низким разрешением (сетка 20×20 при входном размере 640): в блоке C2PSA на слое 10 и блоке C3k2 с механизмом внимания на слое 22. В YOLO11 есть один блок C2PSA. На DPU операторы MatMul и Softmax выполняются на CPU, разделяя модель на чередующиеся подграфы DPU и CPU. Есть три варианта:

1. Оставить блоки на CPU. В скомпилированной модели .xmodel будут подграфы CPU, поэтому запускай её с помощью Graph Runner от AMD. Он совместно выполняет подграфы DPU и CPU, если для каждого оператора есть реализация для CPU; в противном случае нужно самостоятельно реализовать и зарегистрировать недостающие операторы. При разрешении 20×20 вычисления внимания невелики, но каждый дополнительный переход между DPU и CPU увеличивает задержку, поэтому измерь её на своей плате.

2. Использовать YAML без механизма внимания. В YAML-файле с Hard-Swish замени слой C2PSA на nn.Identity, чтобы сохранить корректность индексов слоёв, используемых в Concat и Detect, а также отключи механизм внимания в слое 22:

   backbone:
       # ... layers 0-9 unchanged
       - [-1, 1, nn.Identity, []] # 10 C2PSA removed; keeps later layer indices valid
   
   head:
       # ... layers 11-21 unchanged
       - [-1, 1, C3k2, [1024, True, 0.5, False]] # 22 (P5/32-large), attention disabled
       - [[16, 19, 22], 1, Detect, [nc]] # Detect(P3, P4, P5)

   В экспортированном графе ONNX не будет операторов MatMul и Softmax. Веса механизма внимания больше не подойдут (переносятся 624 из 666 весов YOLO26n), поэтому выполни больше итераций дообучения и сравни точность в режиме Val.

3. Использовать модель без механизма внимания, например YOLOv8, которую AMD использовала в собственных примерах для DPU.

На Versal AI Edge Gen 2 операторы внимания указаны как поддерживаемые NPU, поэтому обычно вносить эти изменения не нужно. Проверь размещение операторов в отчёте компилятора: AMD отмечает, что даже поддерживаемые операторы могут выполняться на CPU из-за ограничений конфигурации или памяти.

Краткий обзор совместимости моделей#

Развертывание на других целевых устройствах AMD Xilinx#

Для DPU Zynq UltraScale+ и Kria, а также NPU Versal AI Edge первого поколения используются процессы Vitis AI, которые не создает format="xilinx". Обучи модель с Ultralytics, а затем создай артефакт для целевого устройства с помощью инструментов AMD в их Docker-образах для Linux x86-64. Выбери вкладку своего устройства:

Подготовь плату с аппаратной конфигурацией и образом Linux, включающими конфигурацию ускорителя, для которой ты выполнял компиляцию, а также соответствующую среду выполнения Vitis AI. Смотри руководства AMD по настройке целевых устройств Zynq UltraScale+ и Kria DPU и Versal AI Edge (VEK280), а затем скопируй необходимые среде выполнения артефакты:

В DPU буферы VART содержат значения INT8 с фиксированной точкой: запроси форму каждого тензора и масштаб fix_point, квантуй входные данные и деквантуй выходные перед постобработкой. Graph Runner возвращает выходные данные всего графа, а DPU-only runner — выходные данные промежуточных подграфов DPU, вычисления которых должен завершить твой код. VART-ML на VEK280 по умолчанию использует аппаратные представления тензоров, форма, тип данных и раскладка памяти которых могут отличаться от ONNX; настрой типы входных и выходных тензоров runner как CPU-представления или самостоятельно преобразуй аппаратный формат (смотри обзор архитектуры VART-ML от AMD).

Применение в реальных условиях#

Устройства AMD Xilinx часто используют там, где компьютерное зрение с ИИ должно работать в реальном времени, потреблять мало энергии и находиться рядом с датчиком:

• Безопасность на промышленных и строительных объектах: обнаруживай людей и машины рядом с тяжёлым оборудованием и контролируй рабочие зоны с помощью обнаружения объектов и подсчёта объектов.
• Автомобильное зрение и техника для бездорожья: запускай компьютерное зрение на основе камер на сертифицированных компонентах автомобильного класса для автономных транспортных средств и систем помощи водителю.
• Умные камеры и видеоаналитика: объединяй захват и кодирование видео с инференсом YOLO на одном чипе для систем безопасности и видеоаналитики.
• Машинное зрение и контроль качества: сочетай высокоскоростной захват изображений на FPGA с сегментацией экземпляров или классификацией YOLO для обнаружения дефектов на конвейере.
• Робототехника и дроны: используй модули Kria KR260 или Versal для оценки позы, обнаружения объектов с ориентацией и навигации с детерминированной задержкой.

Итоги#

Экспорт с помощью format="xilinx" квантует модели Ultralytics YOLO с AMD Quark для NPU Versal AI Edge Series Gen 2, оставляет голову модели в BF16 и записывает конфигурацию компилятора Vitis AI рядом с моделью. Проверь точность INT8 на любом хосте, скомпилируй модель .rai в Docker-образе AMD Vitis AI и запусти ее на плате с ONNX Runtime и Vitis AI Execution Provider.

Для старых устройств AMD Xilinx используются другие процессы. В DPU Zynq UltraScale+ и Kria применяется зафиксированный набор инструментов Vitis AI 3.5 и файлы .xmodel; требуются нативные для DPU функции активации, например Hard-Swish, а attention выполняется на CPU. Для NPU Versal AI Edge первого поколения применяется процесс snapshot; поддержка операторов зависит от версии и точности Vitis AI.

Для других целевых устройств развертывания смотри руководство по вариантам развертывания моделей, рекомендации по развертыванию и интеграции ускорителей, например Hailo, Rockchip RKNN и Axelera.

Часто задаваемые вопросы#