Triển khai AMD Xilinx cho Ultralytics YOLO bằng Vitis AI#

Các thiết bị AMD Xilinx cung cấp năng lực xử lý cho nhiều camera công nghiệp, hệ thống thị giác ô tô, robot, drone và sản phẩm chẩn đoán hình ảnh y tế trên khắp thế giới. Chúng kết hợp các bộ xử lý Arm với logic có thể lập trình và, trên các thiết bị mới hơn, các AI Engines chuyên dụng, nhờ đó một chip duy nhất có thể thu video, tiền xử lý video, chạy phát hiện đối tượng và thực thi hành động dựa trên kết quả với độ trễ suy luận thấp, dễ dự đoán.

Hướng dẫn này trình bày từng dòng thiết bị AMD Xilinx là gì, cách AI chạy trên các thiết bị đó, các toán tử Ultralytics YOLO mà từng bộ tăng tốc hỗ trợ, và quy trình từng bước để triển khai model YOLO trên phần cứng Zynq UltraScale+, Kria và Versal.

AMD Xilinx là gì?#

Xilinx phát minh ra mảng cổng lập trình được (FPGA) vào thập niên 1980 và trở thành nhà cung cấp hàng đầu về SoC thích ứng và FPGA. AMD hoàn tất thương vụ mua lại Xilinx vào tháng 2 năm 2022, và hiện các dòng sản phẩm được bán dưới thương hiệu AMD với tên AMD Zynq, AMD Kria, AMD Versal và AMD Vitis.

Thuật ngữ và khái niệm chính#

Triển khai AMD Xilinx sử dụng bộ thuật ngữ riêng. Bảng bên dưới giải thích mọi thuật ngữ được dùng trong hướng dẫn này.

Các dòng thiết bị AMD Xilinx dành cho Edge AI#

Các thiết bị AMD Xilinx dành cho edge AI thuộc ba dòng. Zynq và Kria sử dụng DPU trong logic lập trình được, trong khi các thiết bị Versal AI Edge được đề cập ở đây sử dụng NPU trên AI Engine.

Zynq UltraScale+ MPSoC#

Mỗi chip Zynq UltraScale+ kết hợp hệ thống xử lý Arm với lõi Cortex-A53 lõi kép (CG) hoặc lõi tứ (EG và EV), lõi Cortex-R5F thời gian thực và logic FPGA. Các thiết bị EV bổ sung codec video H.264/H.265 tích hợp cứng. Để chạy mạng nơ-ron, nhà thiết kế tích hợp DPU vào logic bên cạnh pipeline camera và video. Trên các thiết bị nhỏ, DPU phải cạnh tranh không gian với các thành phần khác của thiết kế.

System-on-Module Kria#

Module Kria K26 tích hợp Zynq UltraScale+ MPSoC, bộ nhớ và nguồn trên một module sẵn sàng cho sản xuất, giúp bạn không cần tự thiết kế bộ xử lý, bộ nhớ và hệ thống nguồn. Module kết nối với bo mạch carrier, có thể là bo mạch starter kit hoặc thiết kế riêng của bạn. Module cung cấp năng lực cho KV260 Vision AI Starter Kit dành cho camera thông minh và KR260 Robotics Starter Kit dành cho robotics. Vì K26 được xây dựng trên Zynq UltraScale+, module sử dụng cùng quy trình DPU. Danh mục Kria còn có các module khác, vì vậy hãy kiểm tra bộ xử lý mà module của bạn sử dụng trước khi chọn quy trình.

SoC thích ứng Versal#

Versal là dòng SoC thích ứng của AMD. Các dòng AI Edge và AI Core bổ sung AI Engine tích hợp cứng bên cạnh lõi Arm và logic lập trình được, trong khi một số dòng Versal khác không có AI Engine. NPU IP của AMD chạy đồng thời trên AI Engine và logic lập trình được, còn Vitis AI nhắm đến các linh kiện AIE-ML thuộc dòng AI Edge, chẳng hạn VE2302 và VE2802. Dòng Versal AI Edge (bộ kit đánh giá VEK280) và Dòng Versal AI Edge Gen 2 (bộ kit đánh giá VEK385) là các mục tiêu hiện hành của AMD cho edge AI và là trọng tâm của các bản phát hành Vitis AI hiện tại.

Cách AI chạy trên thiết bị AMD Xilinx: DPU so với NPU#

Hầu hết các triển khai AI trên AMD Xilinx đều tuân theo cùng một mô hình. Bộ tăng tốc chạy các lớp được hỗ trợ, CPU Arm chạy tiền xử lý, hậu xử lý và mọi lớp mà bộ tăng tốc không thể thực thi; runtime trên bo mạch điều phối hai thành phần này.

graph LR
    A[Camera / video input]:::start --> B[Arm CPU<br>Linux, preprocessing,<br>post-processing]:::proc
    B <--> C[AI accelerator<br>DPU in programmable logic<br>or NPU on AI Engines + PL]:::out
    B --> D[Application<br>alerts, control, display]:::start

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff

AMD đã phát hành hai thế hệ bộ tăng tốc, mỗi thế hệ có toolchain và tệp model đã biên dịch riêng. Hướng dẫn này sử dụng Vitis AI 3.5 cho DPU và Vitis AI 6.3 cho NPU; hãy xem tài liệu hiện hành của AMD để biết các bản phát hành mới hơn.

Tôi cần quy trình Vitis AI nào?#

Chọn quy trình dựa trên thiết bị trên bo mạch của bạn:

graph TD
    A[Start: which AMD device<br>is on your board?]:::start --> B{Device family?}:::decide
    B -->|Zynq UltraScale+ MPSoC<br>or Kria K26| C[DPU flow<br>Vitis AI 3.5]:::proc
    B -->|Versal AI Edge<br>VEK280| D[NPU snapshot flow<br>Vitis AI 6.3]:::proc
    B -->|Versal AI Edge Gen 2<br>VEK385| E[NPU Quark flow<br>Vitis AI 6.3]:::proc
    C --> F[Train YOLO with Hard-Swish<br>then compile to .xmodel]:::out
    D --> G[Run your model on calibration<br>images to capture a snapshot]:::out
    E --> H[Quantize ONNX with Quark<br>then compile to .rai]:::out

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Khả năng tương thích của model YOLO và các operator được hỗ trợ#

Bộ tăng tốc chỉ tăng tốc các operator được triển khai bằng phần cứng. Khi model chứa operator không được hỗ trợ, trình biên dịch thường chuyển phần đó của mạng sang CPU Arm; mỗi lần truyền dữ liệu qua lại giữa bộ tăng tốc và CPU đều làm tăng độ trễ. Một số operator không thể được phân vùng: trên NPU Versal AI Edge Gen 2, AMD liệt kê các operator như NonZero và NonMaxSuppression có thể buộc toàn bộ model chạy trên CPU. Khả năng hỗ trợ operator là yếu tố quan trọng nhất quyết định hiệu năng của model YOLO trên phần cứng AMD Xilinx.

graph LR
    subgraph S1 [Stock YOLO26 on the DPU]
        A1[Conv]:::out --> A2[SiLU<br>CPU]:::error --> A3[Conv]:::out --> A4[SiLU<br>CPU]:::error --> A5[...]:::proc
    end
    subgraph S2 [Hard-Swish YOLO26 on the DPU]
        B1[Backbone<br>Conv + Hard-Swish<br>DPU]:::out --> B2[C2PSA attention<br>CPU]:::error --> B3[Neck<br>DPU]:::out --> B4[C3k2 attention<br>CPU]:::error --> B5[Detect head<br>DPU]:::out --> B6[Sigmoid and<br>post-processing<br>CPU]:::error
    end

    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff
    classDef error fill:#F44336,color:#fff

Bảng cho biết từng operator trong model YOLO26 chạy ở đâu. Một bản xuất ONNX YOLO26n nguyên bản chứa 87 phép kích hoạt SiLU, mỗi phép được xuất thành một Sigmoid và một Mul, cùng với 4 operator MatMul và 2 operator Softmax từ hai khối attention: khối C2PSA ở cuối backbone (layer 10) và khối C3k2 có bật attention tạo đầu ra P5 (layer 22).

Nguồn: các operator được hỗ trợ theo UG1414 của AMD, hỗ trợ operator PyTorch, cùng các danh sách operator được hỗ trợ, phân vùng CPU và không được hỗ trợ của Versal AI Edge Gen 2. Khả năng hỗ trợ cũng phụ thuộc vào cấu hình DPU và các mẫu graph, vì vậy hãy luôn kiểm tra báo cáo phân vùng của trình biên dịch.

Chuẩn bị YOLO26 sẵn sàng cho DPU bằng Hard-Swish#

DPU chỉ hợp nhất ReLU, ReLU6, LeakyReLU, Hard-Swish và Hard-Sigmoid vào các convolution. Hard-Swish là phép xấp xỉ SiLU thân thiện với phần cứng, nên đây là lựa chọn thay thế tự nhiên. Các tệp YAML của model Ultralytics chấp nhận khóa activation để thay đổi phép kích hoạt mặc định của các khối Conv (Hướng dẫn cấu hình YAML của model).

Sao chép yolo26.yaml sang yolo26-hswish.yaml rồi thêm một dòng bên dưới phần tham số:

# Parameters
nc: 80 # number of classes
activation: nn.Hardswish() # default Conv activation, DPU-native
end2end: True # whether to use end-to-end mode

Sau đó, tạo model, chuyển trọng số YOLO26 đã tiền huấn luyện và fine-tune trên dataset của bạn:

from ultralytics import YOLO

# Tạo YOLO26n với các phép kích hoạt Hard-Swish; chữ 'n' trong tên chỉ định biến thể nano
model = YOLO("yolo26n-hswish.yaml").load("yolo26n.pt")  # Chuyển trọng số đã tiền huấn luyện

# Fine-tune để mạng thích ứng với Hard-Swish
model.train(data="coco8.yaml", epochs=100, imgsz=640)

Các phép kích hoạt không có trọng số, vì vậy toàn bộ trọng số đã tiền huấn luyện đều được chuyển sang. Sau đó, graph ONNX đã xuất chứa 87 operator HardSwish và không có SiLU. Thay coco8.yaml bằng dataset của bạn, rồi so sánh độ chính xác với model SiLU bằng chế độ Val trước khi triển khai.

Xử lý các khối attention trên DPU#

YOLO26 áp dụng attention ở độ phân giải thấp nhất (lưới 20×20 với đầu vào 640) tại hai vị trí: khối C2PSA ở layer 10 và khối C3k2 có bật attention ở layer 22. YOLO11 có một khối C2PSA. Trên DPU, các operator MatMul và Softmax của chúng chạy trên CPU, chia model thành các đồ thị con DPU và CPU xen kẽ. Bạn có ba lựa chọn:

1. Chấp nhận các khối CPU. Khi đó, .xmodel đã biên dịch sẽ chứa các đồ thị con CPU, vì vậy hãy chạy bằng Graph Runner của AMD; công cụ này thực thi đồng thời các đồ thị con DPU và CPU khi có phần triển khai CPU cho mọi operator. Nếu không, bạn phải tự triển khai và đăng ký các operator còn thiếu. Ở kích thước 20×20, phép tính attention khá nhỏ, nhưng mỗi lần truyền dữ liệu bổ sung giữa DPU và CPU đều làm tăng độ trễ, vì vậy hãy đo trên bo mạch của bạn.

2. Dùng YAML không có attention. Trong YAML Hard-Swish, thay layer C2PSA bằng nn.Identity để các chỉ số layer được Concat và Detect sử dụng vẫn hợp lệ, đồng thời tắt attention ở layer 22:

   backbone:
       # ... layers 0-9 unchanged
       - [-1, 1, nn.Identity, []] # 10 C2PSA removed; keeps later layer indices valid
   
   head:
       # ... layers 11-21 unchanged
       - [-1, 1, C3k2, [1024, True, 0.5, False]] # 22 (P5/32-large), attention disabled
       - [[16, 19, 22], 1, Detect, [nc]] # Detect(P3, P4, P5)

   Khi đó, graph ONNX đã xuất không chứa operator MatMul hoặc Softmax. Các trọng số attention không còn được áp dụng (666 trọng số YOLO26n thì chuyển được 624), vì vậy hãy fine-tune lâu hơn và so sánh độ chính xác bằng chế độ Val.

3. Dùng model không có attention như YOLOv8, model AMD đã sử dụng trong các ví dụ DPU của mình.

Trên Versal AI Edge Gen 2, các operator attention được liệt kê là được NPU hỗ trợ, vì vậy thường không cần những thay đổi này. Hãy xác nhận vị trí thực thi trong báo cáo của trình biên dịch, vì AMD lưu ý rằng operator được hỗ trợ vẫn có thể chuyển sang CPU do các ràng buộc về cấu hình hoặc bộ nhớ.

Tổng quan nhanh về khả năng tương thích của model#

Triển khai YOLO26 trên AMD Xilinx ngay hôm nay#

Cho đến khi có tính năng xuất native, quy trình triển khai gồm bốn bước:

graph LR
    A[1. Train or fine-tune<br>Ultralytics YOLO]:::start --> B{Target?}:::decide
    B -->|Versal NPU| C[2. Export to ONNX<br>model.export]:::proc
    B -->|Zynq or Kria DPU| D[2. Keep the trained<br>PyTorch checkpoint]:::proc
    C --> E[3. Quantize and compile<br>Vitis AI 6.3 Docker]:::proc
    D --> F[3. Quantize and compile<br>Vitis AI 3.5 Docker]:::proc
    E --> G[4. Run on the board<br>VART-ML or ONNX Runtime]:::out
    F --> H[4. Run on the board<br>VART]:::out
    G -.->|accuracy check| A
    H -.->|accuracy check| A

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Bước 1: Huấn luyện hoặc fine-tune model#

Huấn luyện trên dữ liệu của bạn bằng chế độ Train hoặc trên Ultralytics Platform. Với mục tiêu DPU, hãy bắt đầu từ YAML Hard-Swish. Ghi lại kết quả cơ sở bằng chế độ Val để sau này đo mức ảnh hưởng đến độ chính xác của quá trình lượng tử hóa.

Bước 2: Xuất sang ONNX cho các mục tiêu NPU#

ONNX là đầu vào chung cho các quy trình NPU của AMD. Quy trình DPU lượng tử hóa trực tiếp checkpoint PyTorch đã huấn luyện trong image Docker Vitis AI 3.5, vì vậy người dùng DPU có thể bỏ qua bước này. Xuất với batch size cố định là 1 và opset được AMD hỗ trợ; hướng dẫn YOLOv8m của AMD cho Versal AI Edge Gen 2 sử dụng opset 17.

from ultralytics import YOLO

# Tải model bạn đã huấn luyện ở Bước 1
model = YOLO("runs/detect/train/weights/best.pt")

# Xuất sang ONNX với shape tĩnh để dùng cho trình biên dịch AMD
model.export(format="onnx", opset=17, imgsz=640)  # tạo 'best.onnx' bên cạnh 'best.pt'

Xem tích hợp ONNX và các tham số xuất để biết mọi tùy chọn. Khi không đặt nms, hãy chạy NMS trên CPU sau suy luận; với YOLO26, nms=False sẽ chọn head không dùng NMS. Không nhúng NMS bằng nms=True, vì AMD liệt kê NonMaxSuppression trong số các operator có thể buộc toàn bộ model chạy trên CPU.

Bước 3: Lượng tử hóa và biên dịch bằng Vitis AI#

Các quy trình bên dưới sử dụng image Docker của AMD trên host Linux x86-64. Bạn không cần bo mạch cho bước này. Chọn tab tương ứng với thiết bị của bạn:

Bước 4: Chạy và xác thực trên bo mạch#

Trước tiên, hãy chuẩn bị bo mạch. Bo mạch phải chạy thiết kế phần cứng và image Linux có cấu hình accelerator mà bạn đã biên dịch cho, cùng với runtime Vitis AI tương ứng. Xem hướng dẫn thiết lập của AMD dành cho các đích DPU Zynq UltraScale+ và Kria, Versal AI Edge (VEK280) và Versal AI Edge Gen 2 (VEK385).

Sau đó, sao chép các artifact mà runtime cần:

Với các luồng NPU, đồ thị ONNX đã xuất vốn đã giải mã các box và áp dụng sigmoid cho điểm số lớp, vì vậy phía host chỉ cần diễn giải đầu ra:

• Chưa đặt nms: các model detection xuất tensor (1, 4 + nc, anchors) gồm các box xywh và điểm số theo từng lớp. Chọn lớp có điểm cao nhất cho mỗi anchor, chuyển box sang dạng tọa độ góc, lọc theo confidence và chạy NMS; hàm non_max_suppression của Ultralytics thực hiện tất cả các bước này.
• nms=False (YOLO26): model xuất tensor (1, max_det, 6) gồm các hàng [x1, y1, x2, y2, score, class], chỉ cần áp dụng ngưỡng confidence.

Trong cả hai trường hợp, hãy đưa các box từ ảnh đầu vào đã letterbox về kích thước của ảnh gốc. Chỉ những đồ thị bị cắt trước bước giải mã mới cần giải mã box trên host. Trên DPU, các buffer VART lưu giá trị INT8 dạng fixed-point: truy vấn shape và scale fix_point của từng tensor, lượng tử hóa đầu vào và giải lượng tử hóa đầu ra trước khi áp dụng các bước trên. Graph Runner trả về đầu ra của toàn bộ đồ thị, trong khi runner chỉ chạy DPU trả về đầu ra trung gian của subgraph DPU mà mã của bạn phải tính tiếp. Các layout ở trên là layout ONNX (góc nhìn CPU): VART-ML mặc định dùng các góc nhìn tensor phần cứng, trong đó shape, kiểu dữ liệu và layout bộ nhớ có thể khác nhau; do đó, hãy cấu hình kiểu tensor đầu vào và đầu ra của runner thành góc nhìn CPU hoặc tự chuyển đổi định dạng phần cứng (xem tổng quan kiến trúc VART-ML của AMD).

So sánh độ chính xác trên thiết bị với baseline FP32 ở Bước 1 bằng tập validation của bạn và cùng các metric hiệu năng, chẳng hạn như mAP. Kết quả YOLOv8m do AMD công bố trên VEK385 cho thấy mức suy giảm độ chính xác khi triển khai INT8:

Nguồn: Hướng dẫn YOLOv8m cho Versal AI Edge Gen 2 của AMD, cũng báo cáo thời gian inference trung bình 10.69 ms qua 100 lượt chạy VART ở dp_size=1.

Ứng dụng thực tế#

Thiết bị AMD Xilinx thường được sử dụng trong các ứng dụng cần AI thị giác chạy theo thời gian thực, tiêu thụ ít điện năng và đặt gần cảm biến:

• An toàn công nghiệp và xây dựng: Phát hiện người và máy móc xung quanh thiết bị hạng nặng, đồng thời giám sát khu vực làm việc bằng phát hiện đối tượng và đếm đối tượng.
• Thị giác ô tô và xe địa hình: Chạy perception dựa trên camera trên các linh kiện đạt chuẩn ô tô, hỗ trợ xe tự hành và hệ thống hỗ trợ lái.
• Camera thông minh và phân tích video: Kết hợp thu nhận video, mã hóa và inference YOLO trên một chip cho hệ thống an ninh và phân tích video.
• Thị giác máy và kiểm tra chất lượng: Kết hợp khả năng thu nhận hình ảnh tốc độ cao dựa trên FPGA với YOLO phân đoạn instance hoặc phân loại để phát hiện lỗi ngay trên dây chuyền.
• Robot và drone: Sử dụng module Kria KR260 hoặc Versal để ước lượng tư thế, phát hiện đối tượng có hướng và điều hướng với độ trễ xác định.

Tóm tắt#

Thiết bị AMD Xilinx chạy model YOLO qua hai thế hệ accelerator. DPU trên Zynq UltraScale+ và Kria sử dụng luồng Vitis AI 3.5 cố định và tạo ra các file .xmodel. DPU cần các activation tương thích nguyên bản như Hard-Swish và chạy attention trên CPU. NPU trên Versal AI Edge và Versal AI Edge Gen 2 sử dụng các bản Vitis AI hiện hành. NPU Gen 2 hỗ trợ SiLU và các toán tử attention, đồng thời chạy gần như toàn bộ ví dụ YOLOv8m của AMD trên VEK385 bằng NPU; mức hỗ trợ toán tử trên NPU VEK280 đời trước phụ thuộc vào phiên bản Vitis AI và độ chính xác.

Tính năng export nguyên bản của Ultralytics cho thiết bị AMD Xilinx sẽ sớm ra mắt. Trong thời gian chờ đợi, hãy huấn luyện bằng Ultralytics, export sang ONNX cho các đích NPU Versal hoặc giữ checkpoint PyTorch cho các đích DPU, rồi biên dịch bằng Vitis AI như mô tả ở trên. Với các đích triển khai khác, xem hướng dẫn các tùy chọn triển khai model, các phương pháp triển khai tốt nhất và các tích hợp accelerator như Hailo, Rockchip RKNN và Axelera.

Câu hỏi thường gặp#