Export AMD Xilinx cho Ultralytics YOLO bằng Vitis AI#

Export model Ultralytics YOLO26 bằng format="xilinx" sẽ lượng tử hóa model bằng AMD Quark cho NPU trong các SoC thích ứng AMD Versal AI Edge Series Gen 2, sẵn sàng để compiler Vitis AI của AMD tạo model .rai. Quy trình export tương tự cũng xác thực độ chính xác INT8 trên mọi máy chủ trước khi triển khai.

Các thiết bị AMD Xilinx cung cấp năng lực xử lý cho nhiều camera công nghiệp, hệ thống thị giác ô tô, robot, drone và sản phẩm chẩn đoán hình ảnh y tế trên khắp thế giới. Chúng kết hợp các bộ xử lý Arm với logic có thể lập trình và, trên các thiết bị mới hơn, các AI Engines chuyên dụng, nhờ đó một chip duy nhất có thể thu video, tiền xử lý video, chạy phát hiện đối tượng và thực thi hành động dựa trên kết quả với độ trễ suy luận thấp, dễ dự đoán.

Hướng dẫn này trình bày quy trình export AMD Xilinx, cách biên dịch và chạy trên bo mạch Versal, các dòng thiết bị AMD Xilinx, cách AI hoạt động trên những thiết bị này và các operator Ultralytics YOLO được từng bộ tăng tốc hỗ trợ.

AMD Xilinx là gì?#

Xilinx phát minh ra mảng cổng lập trình được (FPGA) vào thập niên 1980 và trở thành nhà cung cấp hàng đầu về SoC thích ứng và FPGA. AMD hoàn tất thương vụ mua lại Xilinx vào tháng 2 năm 2022, và hiện các dòng sản phẩm được bán dưới thương hiệu AMD với tên AMD Zynq, AMD Kria, AMD Versal và AMD Vitis.

Thuật ngữ và khái niệm chính#

Triển khai AMD Xilinx sử dụng bộ thuật ngữ riêng. Bảng bên dưới giải thích mọi thuật ngữ được dùng trong hướng dẫn này.

Các dòng thiết bị AMD Xilinx dành cho Edge AI#

Các thiết bị AMD Xilinx dành cho edge AI thuộc ba dòng. Zynq và Kria sử dụng DPU trong logic lập trình được, trong khi các thiết bị Versal AI Edge được đề cập ở đây sử dụng NPU trên AI Engine.

Zynq UltraScale+ MPSoC#

Mỗi chip Zynq UltraScale+ kết hợp hệ thống xử lý Arm với lõi Cortex-A53 lõi kép (CG) hoặc lõi tứ (EG và EV), lõi Cortex-R5F thời gian thực và logic FPGA. Các thiết bị EV bổ sung codec video H.264/H.265 tích hợp cứng. Để chạy mạng nơ-ron, nhà thiết kế tích hợp DPU vào logic bên cạnh pipeline camera và video. Trên các thiết bị nhỏ, DPU phải cạnh tranh không gian với các thành phần khác của thiết kế.

System-on-Module Kria#

Module Kria K26 tích hợp Zynq UltraScale+ MPSoC, bộ nhớ và nguồn trên một module sẵn sàng cho sản xuất, giúp bạn không cần tự thiết kế bộ xử lý, bộ nhớ và hệ thống nguồn. Module kết nối với bo mạch carrier, có thể là bo mạch starter kit hoặc thiết kế riêng của bạn. Module cung cấp năng lực cho KV260 Vision AI Starter Kit dành cho camera thông minh và KR260 Robotics Starter Kit dành cho robotics. Vì K26 được xây dựng trên Zynq UltraScale+, module sử dụng cùng quy trình DPU. Danh mục Kria còn có các module khác, vì vậy hãy kiểm tra bộ xử lý mà module của bạn sử dụng trước khi chọn quy trình.

SoC thích ứng Versal#

Versal là dòng SoC thích ứng của AMD. Các dòng AI Edge và AI Core bổ sung AI Engine tích hợp cứng bên cạnh lõi Arm và logic lập trình được, trong khi một số dòng Versal khác không có AI Engine. NPU IP của AMD chạy đồng thời trên AI Engine và logic lập trình được, còn Vitis AI nhắm đến các linh kiện AIE-ML thuộc dòng AI Edge, chẳng hạn VE2302 và VE2802. Dòng Versal AI Edge (bộ kit đánh giá VEK280) và Dòng Versal AI Edge Gen 2 (bộ kit đánh giá VEK385) là các mục tiêu hiện hành của AMD cho edge AI và là trọng tâm của các bản phát hành Vitis AI hiện tại.

Cách AI chạy trên thiết bị AMD Xilinx: DPU so với NPU#

Hầu hết các triển khai AI trên AMD Xilinx đều tuân theo cùng một mô hình. Bộ tăng tốc chạy các lớp được hỗ trợ, CPU Arm chạy tiền xử lý, hậu xử lý và mọi lớp mà bộ tăng tốc không thể thực thi; runtime trên bo mạch điều phối hai thành phần này.

AMD đã phát hành hai thế hệ bộ tăng tốc, mỗi thế hệ có toolchain và tệp model đã biên dịch riêng. Hướng dẫn này sử dụng Vitis AI 3.5 cho DPU và Vitis AI 6.3 cho NPU; hãy xem tài liệu hiện hành của AMD để biết các bản phát hành mới hơn.

Tôi cần quy trình Vitis AI nào?#

Chọn quy trình dựa trên thiết bị trên bo mạch của bạn:

Export sang AMD Xilinx: Chuyển đổi model YOLO#

Các tác vụ được hỗ trợ#

AMD Xilinx hỗ trợ export cả bảy tác vụ Ultralytics. Semantic segmentation và depth estimation chỉ khả dụng với YOLO26, dòng duy nhất có các head này.

Cài đặt#

AMD Xilinx hỗ trợ export trên Linux (x86-64 hoặc ARM64) với Python 3.11 đến 3.13, các phiên bản được AMD Quark hỗ trợ. Lần export đầu tiên cũng biên dịch các operator tùy chỉnh của Quark, cần một compiler C++ như g++.

# Install the required package for YOLO
pip install ultralytics

AMD Quark được tự động cài đặt từ PyPI trong lần export đầu tiên. Để cài đặt trước các dependency của quá trình export:

pip install "ultralytics[export-xilinx]"

Để cài đặt repository ở chế độ có thể chỉnh sửa, hãy thay "ultralytics[export-xilinx]" bằng -e ".[export-base,export-xilinx]". Để tái tạo môi trường Python 3.12 và chạy smoke test export như CI, hãy chạy công cụ tạo môi trường hiện có từ thư mục gốc của repository:

ULTRALYTICS_ISOLATED_VENVS="$PWD/.venvs" python .github/scripts/create-export-env.py --env isolated-xilinx

Cách sử dụng#

Format AMD Xilinx hỗ trợ các mode Export, Predict và Validate. Khi không có Vitis AI Execution Provider của AMD, predict và validate chạy model đã lượng tử hóa bằng ONNX Runtime trên CPU để đo độ chính xác INT8 trên mọi máy chủ. Khi ONNX Runtime cung cấp VitisAIExecutionProvider, chẳng hạn trên bo mạch Versal AI Edge Series Gen 2, Ultralytics sẽ tự động chọn provider này.

from ultralytics import YOLO

# Nạp model YOLO26
model = YOLO("yolo26n.pt")

# Export sang format AMD Xilinx cho VEK385 (quantize=8 được tự động áp dụng)
model.export(format="xilinx")  # creates 'yolo26n_xilinx_model/'

from ultralytics import YOLO

# Tải model AMD Xilinx đã export
model = YOLO("yolo26n_xilinx_model")

# Chạy suy luận
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Tải model AMD Xilinx đã export
model = YOLO("yolo26n_xilinx_model")

# Xác thực độ chính xác INT8 trên dataset COCO8
metrics = model.val(data="coco8.yaml")

Tên format vitis, vitisai và versal là các alias của xilinx.

Các tham số xuất model#

Đặt nms=False để export head NMS-free của YOLO26. NMS tích hợp (nms=True) không được hỗ trợ vì AMD liệt kê NonMaxSuppression trong số các operator có thể buộc toàn bộ model chạy trên CPU.

Để biết thêm chi tiết về quy trình xuất, hãy truy cập trang tài liệu Ultralytics về xuất model.

Cấu trúc đầu ra#

Sau khi export thành công, một thư mục model sẽ được tạo với cấu trúc sau:

yolo26n_xilinx_model/
├── yolo26n.onnx          # AMD Quark VINT8 model with the Ultralytics metadata
└── vitisai_config.json   # Vitis AI compiler configuration for the target device

Việc biên dịch model như mô tả bên dưới sẽ tạo thêm cache compiler yolo26n/ trong cùng thư mục, chứa model NPU yolo26n.rai và các báo cáo biên dịch của AMD như final-vaiml-pass-summary.txt.

Quy trình export hoạt động như thế nào#

Quy trình export tuân theo luồng Vitis AI do AMD tài liệu hóa cho Versal AI Edge Series Gen 2:

1. Export ONNX với opset 17 và batch size tĩnh bằng 1.
2. Lượng tử hóa AMD Quark bằng cấu hình VINT8 (INT8 đối xứng với scale lũy thừa của hai) và các tùy chọn AMD yêu cầu để biên dịch cho NPU: Int32Bias=False, enable_npu_cnn=True, DedicatedQDQPair=True và QuantizeAllOpTypes=True. Quá trình hiệu chuẩn sử dụng data loader hiệu chuẩn INT8 tiêu chuẩn của Ultralytics, với cùng cách tiền xử lý letterbox, RGB và 0–1 như khi inference.
3. Độ chính xác hỗn hợp: head của model vẫn ở dạng dấu phẩy động, còn compiler Vitis AI chạy head này trên NPU bằng BF16. Lượng tử hóa head sang INT8 gây mất phần lớn độ chính xác; tutorial YOLOv8m của AMD cũng giữ phần hậu xử lý ngoài INT8 vì lý do tương tự.
4. Cấu hình compiler: vitisai_config.json chọn mục tiêu VAIML và thiết bị từ name.

Độ chính xác#

Bảng so sánh model INT8 đã export với model ONNX FP32 trên tập val2017 của COCO (5.000 ảnh) ở kích thước 640; cả hai đều chạy bằng ONNX Runtime trên CPU máy chủ. Các model INT8 được hiệu chuẩn trên dataset mặc định coco128.yaml; hiệu chuẩn bằng ảnh triển khai của bạn thường giúp thu hẹp khoảng cách.

Các kết quả trên máy chủ này chạy model đã lượng tử hóa bằng ONNX Runtime trên CPU; đây là mức cơ sở mà phương pháp đánh giá độ chính xác của AMD dùng để so sánh kết quả NPU. Kết quả YOLOv8m do AMD công bố trên VEK385 sử dụng cách tiếp cận độ chính xác hỗn hợp tương tự trên NPU:

Nguồn: Hướng dẫn YOLOv8m cho Versal AI Edge Gen 2 của AMD, cũng báo cáo thời gian inference trung bình 10.69 ms qua 100 lượt chạy VART ở dp_size=1.

Biên dịch và chạy trên Versal AI Edge Gen 2#

Thư mục đã export sẵn sàng cho compiler Vitis AI của AMD, công cụ này tạo model .rai để chạy trên NPU.

1. Chuẩn bị máy chủ và bo mạch. Biên dịch trên máy chủ Linux x86-64 bằng Docker image Vitis AI 6.3 cho Versal AI Edge Gen 2 của AMD và license compiler AMD AI Engine (xem trang cấp phép của AMD). Thiết lập VEK385 theo hướng dẫn thiết lập bo mạch của AMD.

2. Biên dịch. Bên trong container, tạo một session ONNX Runtime với Vitis AI Execution Provider theo cách gọi trong hướng dẫn biên dịch của AMD. Thao tác này ghi cache yolo26n/ cùng yolo26n.rai vào thư mục export:

   import onnxruntime as ort
   
   d = "yolo26n_xilinx_model"
   options = {"config_file": f"{d}/vitisai_config.json", "cache_dir": d, "cache_key": "yolo26n", "target": "VAIML"}
   ort.InferenceSession(f"{d}/yolo26n.onnx", providers=["VitisAIExecutionProvider"], provider_options=[options])

   Kiểm tra yolo26n_xilinx_model/yolo26n/final-vaiml-pass-summary.txt để biết phần nào của model chạy trên NPU. Với YOLO26n ở kích thước 640, compiler Vitis AI 6.3 của AMD đưa 99,9% operator và phép tính lên NPU VEK385 trong một partition duy nhất.

3. Chạy trên bo mạch. Sao chép thư mục export sang VEK385. ONNX Runtime với Vitis AI Execution Provider tải yolo26n.rai đã biên dịch và chạy model trên NPU; YOLO("yolo26n_xilinx_model") sẽ tự động chọn provider này khi có sẵn.

Quá trình biên dịch chỉ cần ONNX Runtime của AMD, vì vậy hãy export trên bất kỳ máy Linux nào rồi sao chép thư mục vào container thay vì cài Ultralytics trong container, việc này có thể làm thay đổi các package đã được cố định phiên bản. Khi Ultralytics được cài cùng bản dựng onnxruntime-vitisai của AMD, như trên bo mạch, Ultralytics sẽ giữ nguyên bản dựng đó thay vì thay thế bằng onnxruntime tiêu chuẩn.

Khả năng tương thích của model YOLO và các operator được hỗ trợ#

Bộ tăng tốc chỉ tăng tốc các operator được triển khai bằng phần cứng. Khi model chứa operator không được hỗ trợ, trình biên dịch thường chuyển phần đó của mạng sang CPU Arm; mỗi lần truyền dữ liệu qua lại giữa bộ tăng tốc và CPU đều làm tăng độ trễ. Một số operator không thể được phân vùng: trên NPU Versal AI Edge Gen 2, AMD liệt kê các operator như NonZero và NonMaxSuppression có thể buộc toàn bộ model chạy trên CPU. Khả năng hỗ trợ operator là yếu tố quan trọng nhất quyết định hiệu năng của model YOLO trên phần cứng AMD Xilinx.

Bảng cho biết từng operator trong model YOLO26 chạy ở đâu. Một bản xuất ONNX YOLO26n nguyên bản chứa 87 phép kích hoạt SiLU, mỗi phép được xuất thành một Sigmoid và một Mul, cùng với 4 operator MatMul và 2 operator Softmax từ hai khối attention: khối C2PSA ở cuối backbone (layer 10) và khối C3k2 có bật attention tạo đầu ra P5 (layer 22).

Nguồn: các operator được hỗ trợ theo UG1414 của AMD, hỗ trợ operator PyTorch, cùng các danh sách operator được hỗ trợ, phân vùng CPU và không được hỗ trợ của Versal AI Edge Gen 2. Khả năng hỗ trợ cũng phụ thuộc vào cấu hình DPU và các mẫu graph, vì vậy hãy luôn kiểm tra báo cáo phân vùng của trình biên dịch.

Chuẩn bị YOLO26 sẵn sàng cho DPU bằng Hard-Swish#

DPU chỉ hợp nhất ReLU, ReLU6, LeakyReLU, Hard-Swish và Hard-Sigmoid vào các convolution. Hard-Swish là phép xấp xỉ SiLU thân thiện với phần cứng, nên đây là lựa chọn thay thế tự nhiên. Các tệp YAML của model Ultralytics chấp nhận khóa activation để thay đổi phép kích hoạt mặc định của các khối Conv (Hướng dẫn cấu hình YAML của model).

Sao chép yolo26.yaml sang yolo26-hswish.yaml rồi thêm một dòng bên dưới phần tham số:

# Parameters
nc: 80 # number of classes
activation: nn.Hardswish() # default Conv activation, DPU-native
end2end: True # whether to use end-to-end mode

Sau đó, tạo model, chuyển trọng số YOLO26 đã tiền huấn luyện và fine-tune trên dataset của bạn:

from ultralytics import YOLO

# Tạo YOLO26n với các phép kích hoạt Hard-Swish; chữ 'n' trong tên chỉ định biến thể nano
model = YOLO("yolo26n-hswish.yaml").load("yolo26n.pt")  # Chuyển trọng số đã tiền huấn luyện

# Fine-tune để mạng thích ứng với Hard-Swish
model.train(data="coco8.yaml", epochs=100, imgsz=640)

Các phép kích hoạt không có trọng số, vì vậy toàn bộ trọng số đã tiền huấn luyện đều được chuyển sang. Sau đó, graph ONNX đã xuất chứa 87 operator HardSwish và không có SiLU. Thay coco8.yaml bằng dataset của bạn, rồi so sánh độ chính xác với model SiLU bằng chế độ Val trước khi triển khai.

Xử lý các khối attention trên DPU#

YOLO26 áp dụng attention ở độ phân giải thấp nhất (lưới 20×20 với đầu vào 640) tại hai vị trí: khối C2PSA ở layer 10 và khối C3k2 có bật attention ở layer 22. YOLO11 có một khối C2PSA. Trên DPU, các operator MatMul và Softmax của chúng chạy trên CPU, chia model thành các đồ thị con DPU và CPU xen kẽ. Bạn có ba lựa chọn:

1. Chấp nhận các khối CPU. Khi đó, .xmodel đã biên dịch sẽ chứa các đồ thị con CPU, vì vậy hãy chạy bằng Graph Runner của AMD; công cụ này thực thi đồng thời các đồ thị con DPU và CPU khi có phần triển khai CPU cho mọi operator. Nếu không, bạn phải tự triển khai và đăng ký các operator còn thiếu. Ở kích thước 20×20, phép tính attention khá nhỏ, nhưng mỗi lần truyền dữ liệu bổ sung giữa DPU và CPU đều làm tăng độ trễ, vì vậy hãy đo trên bo mạch của bạn.

2. Dùng YAML không có attention. Trong YAML Hard-Swish, thay layer C2PSA bằng nn.Identity để các chỉ số layer được Concat và Detect sử dụng vẫn hợp lệ, đồng thời tắt attention ở layer 22:

   backbone:
       # ... layers 0-9 unchanged
       - [-1, 1, nn.Identity, []] # 10 C2PSA removed; keeps later layer indices valid
   
   head:
       # ... layers 11-21 unchanged
       - [-1, 1, C3k2, [1024, True, 0.5, False]] # 22 (P5/32-large), attention disabled
       - [[16, 19, 22], 1, Detect, [nc]] # Detect(P3, P4, P5)

   Khi đó, graph ONNX đã xuất không chứa operator MatMul hoặc Softmax. Các trọng số attention không còn được áp dụng (666 trọng số YOLO26n thì chuyển được 624), vì vậy hãy fine-tune lâu hơn và so sánh độ chính xác bằng chế độ Val.

3. Dùng model không có attention như YOLOv8, model AMD đã sử dụng trong các ví dụ DPU của mình.

Trên Versal AI Edge Gen 2, các operator attention được liệt kê là được NPU hỗ trợ, vì vậy thường không cần những thay đổi này. Hãy xác nhận vị trí thực thi trong báo cáo của trình biên dịch, vì AMD lưu ý rằng operator được hỗ trợ vẫn có thể chuyển sang CPU do các ràng buộc về cấu hình hoặc bộ nhớ.

Tổng quan nhanh về khả năng tương thích của model#

Triển khai trên các mục tiêu AMD Xilinx khác#

DPU Zynq UltraScale+ và Kria, cùng NPU Versal AI Edge thế hệ đầu tiên, sử dụng các luồng Vitis AI mà format="xilinx" không tạo ra. Huấn luyện bằng Ultralytics, sau đó tạo artifact cho mục tiêu bằng công cụ AMD trong Docker image Linux x86-64. Chọn tab tương ứng với thiết bị của bạn:

Chuẩn bị bo mạch bằng thiết kế phần cứng và image Linux có cấu hình bộ tăng tốc mà bạn đã biên dịch, cùng runtime Vitis AI phù hợp. Xem hướng dẫn thiết lập của AMD cho các mục tiêu DPU Zynq UltraScale+ và Kria và Versal AI Edge (VEK280), sau đó sao chép các artifact mà runtime cần:

Trên DPU, buffer VART chứa các giá trị INT8 dấu phẩy cố định: truy vấn shape và scale fix_point của từng tensor, lượng tử hóa input và giải lượng tử hóa output trước khi hậu xử lý. Graph Runner trả về output của toàn graph, trong khi runner chỉ chạy DPU trả về output của các subgraph DPU trung gian mà code của bạn phải tiếp tục tính toán. VART-ML trên VEK280 mặc định sử dụng các view tensor phần cứng có shape, kiểu dữ liệu và bố cục bộ nhớ có thể khác bố cục ONNX; do đó, hãy cấu hình kiểu tensor input và output của runner thành CPU view hoặc tự chuyển đổi format phần cứng (xem tổng quan kiến trúc VART-ML của AMD).

Ứng dụng thực tế#

Thiết bị AMD Xilinx thường được sử dụng trong các ứng dụng cần AI thị giác chạy theo thời gian thực, tiêu thụ ít điện năng và đặt gần cảm biến:

• An toàn công nghiệp và xây dựng: Phát hiện người và máy móc xung quanh thiết bị hạng nặng, đồng thời giám sát khu vực làm việc bằng phát hiện đối tượng và đếm đối tượng.
• Thị giác ô tô và xe địa hình: Chạy perception dựa trên camera trên các linh kiện đạt chuẩn ô tô, hỗ trợ xe tự hành và hệ thống hỗ trợ lái.
• Camera thông minh và phân tích video: Kết hợp thu nhận video, mã hóa và inference YOLO trên một chip cho hệ thống an ninh và phân tích video.
• Thị giác máy và kiểm tra chất lượng: Kết hợp khả năng thu nhận hình ảnh tốc độ cao dựa trên FPGA với YOLO phân đoạn instance hoặc phân loại để phát hiện lỗi ngay trên dây chuyền.
• Robot và drone: Sử dụng module Kria KR260 hoặc Versal để ước lượng tư thế, phát hiện đối tượng có hướng và điều hướng với độ trễ xác định.

Tóm tắt#

Export bằng format="xilinx" sẽ lượng tử hóa model Ultralytics YOLO bằng AMD Quark cho NPU dòng Versal AI Edge Series Gen 2, giữ head ở BF16 và ghi cấu hình compiler Vitis AI bên cạnh model. Xác thực độ chính xác INT8 trên mọi máy chủ, biên dịch model .rai trong Docker image Vitis AI của AMD, rồi chạy trên bo mạch bằng ONNX Runtime và Vitis AI Execution Provider.

Các thiết bị AMD Xilinx đời cũ sử dụng quy trình khác. DPU trên Zynq UltraScale+ và Kria dùng toolchain Vitis AI 3.5 đã ngừng phát triển cùng các file .xmodel, yêu cầu các activation gốc của DPU như Hard-Swish và chạy attention trên CPU. NPU Versal AI Edge thế hệ đầu tiên sử dụng quy trình snapshot, với phạm vi operator được hỗ trợ tùy thuộc vào phiên bản và độ chính xác của Vitis AI.

Để tìm hiểu các mục tiêu triển khai khác, hãy xem hướng dẫn về các tùy chọn triển khai model, các phương pháp tốt nhất khi triển khai và các tích hợp bộ tăng tốc như Hailo, Rockchip RKNN và Axelera.

Câu hỏi thường gặp#