Vitis AI를 사용한 Ultralytics YOLO용 AMD Xilinx 배포#

AMD Xilinx 장치는 전 세계 여러 산업용 카메라, 자동차 비전 시스템, 로봇, 드론 및 의료 영상 제품에 사용됩니다. Arm 프로세서와 프로그래밍 가능한 로직을 결합하고, 최신 장치에서는 전용 AI Engine도 탑재합니다. 따라서 단일 칩으로 비디오를 캡처하고 전처리한 뒤 객체 탐지를 실행하고, 낮고 예측 가능한 추론 지연 시간으로 결과에 따라 동작할 수 있습니다.

이 가이드에서는 각 AMD Xilinx 장치 제품군의 구성, 장치에서 AI를 실행하는 방식, 각 가속기가 지원하는 Ultralytics YOLO 연산자, 그리고 Zynq UltraScale+, Kria 및 Versal 하드웨어에 YOLO 모델을 배포하는 단계별 워크플로를 다룹니다.

AMD Xilinx란 무엇인가요?#

Xilinx는 1980년대에 필드 프로그래머블 게이트 어레이(FPGA) 분야를 개척했으며, 적응형 SoC 및 FPGA의 선도적인 공급업체가 되었습니다. AMD는 2022년 2월 Xilinx 인수를 완료했으며, 현재 제품 라인은 AMD Zynq, AMD Kria, AMD Versal 및 AMD Vitis라는 AMD 브랜드로 판매됩니다.

주요 용어 및 개념#

AMD Xilinx 배포에는 고유한 용어가 사용됩니다. 아래 표에서는 이 가이드에 나오는 모든 용어를 설명합니다.

엣지 AI용 AMD Xilinx 장치 제품군#

엣지 AI용 AMD Xilinx 장치는 세 가지 제품군으로 나뉩니다. Zynq와 Kria는 프로그래밍 가능 로직에서 DPU를 사용하고, 여기에서 다루는 Versal AI Edge 장치는 AI Engine에서 NPU를 사용합니다.

Zynq UltraScale+ MPSoC#

각 Zynq UltraScale+ 칩은 듀얼 코어(CG) 또는 쿼드 코어(EG 및 EV) Cortex-A53 코어와 실시간 Cortex-R5F 코어를 갖춘 Arm 프로세싱 시스템을 FPGA 로직과 결합합니다. EV 장치에는 하드웨어 H.264/H.265 비디오 코덱이 추가됩니다. 신경망을 실행하려면 설계자가 카메라 및 비디오 파이프라인 옆의 로직에 DPU를 구축합니다. 소형 장치에서는 DPU가 설계의 다른 구성 요소와 공간을 두고 경쟁합니다.

Kria 시스템 온 모듈#

Kria K26 모듈은 Zynq UltraScale+ MPSoC, 메모리 및 전원을 생산용 모듈에 통합하므로 프로세서, 메모리 및 전원 하위 시스템을 직접 설계할 필요가 없습니다. 모듈은 스타터 키트 보드나 직접 설계한 캐리어 카드에 연결합니다. 이 모듈은 스마트 카메라용 KV260 Vision AI Starter Kit과 로보틱스용 KR260 Robotics Starter Kit에 사용됩니다. K26은 Zynq UltraScale+ 기반이므로 동일한 DPU 워크플로를 사용합니다. Kria 제품군에는 다른 모듈도 있으므로 워크플로를 선택하기 전에 모듈에 어떤 프로세서가 사용되는지 확인하세요.

Versal 적응형 SoC#

Versal은 AMD의 적응형 SoC 제품군입니다. AI Edge 및 AI Core 시리즈는 Arm 코어와 프로그래밍 가능 로직 옆에 하드웨어 AI Engine을 추가하지만, 다른 Versal 시리즈 중에는 AI Engine이 없는 제품도 있습니다. AMD의 NPU IP는 AI Engine과 프로그래밍 가능 로직을 함께 사용하며, Vitis AI는 VE2302 및 VE2802와 같은 AI Edge 시리즈의 AIE-ML 부품을 대상으로 합니다. Versal AI Edge 시리즈(VEK280 평가 키트)와 Versal AI Edge 시리즈 Gen 2(VEK385 평가 키트)는 AMD의 현재 엣지 AI 대상 제품이며 최신 Vitis AI 릴리스의 중점 대상입니다.

AMD Xilinx 장치에서 AI를 실행하는 방법: DPU와 NPU 비교#

대부분의 AMD Xilinx AI 배포는 동일한 패턴을 따릅니다. 가속기는 지원하는 레이어를 실행하고, Arm CPU는 전처리와 후처리 및 가속기가 실행할 수 없는 레이어를 실행하며, 보드의 런타임이 두 장치의 동작을 조정합니다.

graph LR
    A[Camera / video input]:::start --> B[Arm CPU<br>Linux, preprocessing,<br>post-processing]:::proc
    B <--> C[AI accelerator<br>DPU in programmable logic<br>or NPU on AI Engines + PL]:::out
    B --> D[Application<br>alerts, control, display]:::start

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff

AMD는 각기 고유한 툴체인과 컴파일된 모델 파일을 사용하는 두 세대의 가속기를 출시했습니다. 이 가이드에서는 DPU에 Vitis AI 3.5를, NPU에 Vitis AI 6.3을 사용합니다. 이후 릴리스는 AMD의 최신 문서를 확인하세요.

어떤 Vitis AI 흐름을 사용해야 하나요?#

보드에 탑재된 장치에 따라 흐름을 선택하세요:

graph TD
    A[Start: which AMD device<br>is on your board?]:::start --> B{Device family?}:::decide
    B -->|Zynq UltraScale+ MPSoC<br>or Kria K26| C[DPU flow<br>Vitis AI 3.5]:::proc
    B -->|Versal AI Edge<br>VEK280| D[NPU snapshot flow<br>Vitis AI 6.3]:::proc
    B -->|Versal AI Edge Gen 2<br>VEK385| E[NPU Quark flow<br>Vitis AI 6.3]:::proc
    C --> F[Train YOLO with Hard-Swish<br>then compile to .xmodel]:::out
    D --> G[Run your model on calibration<br>images to capture a snapshot]:::out
    E --> H[Quantize ONNX with Quark<br>then compile to .rai]:::out

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

YOLO 모델 호환성 및 지원되는 연산자#

가속기는 하드웨어에서 구현하는 연산자만 빠르게 처리합니다. 모델에 지원되지 않는 연산자가 포함되면 컴파일러는 일반적으로 해당 네트워크 부분을 Arm CPU로 보내며, 가속기와 CPU 사이를 오갈 때마다 지연 시간이 추가됩니다. 일부 연산자는 분할할 수 없습니다. Versal AI Edge Gen 2 NPU의 경우 AMD가 NonZero 및 NonMaxSuppression 등의 연산자를 열거하며, 이러한 연산자는 전체 모델을 CPU에서 실행하게 만들 수 있습니다. AMD Xilinx 하드웨어에서 YOLO 모델의 성능을 좌우하는 가장 중요한 요소는 연산자 지원입니다.

graph LR
    subgraph S1 [Stock YOLO26 on the DPU]
        A1[Conv]:::out --> A2[SiLU<br>CPU]:::error --> A3[Conv]:::out --> A4[SiLU<br>CPU]:::error --> A5[...]:::proc
    end
    subgraph S2 [Hard-Swish YOLO26 on the DPU]
        B1[Backbone<br>Conv + Hard-Swish<br>DPU]:::out --> B2[C2PSA attention<br>CPU]:::error --> B3[Neck<br>DPU]:::out --> B4[C3k2 attention<br>CPU]:::error --> B5[Detect head<br>DPU]:::out --> B6[Sigmoid and<br>post-processing<br>CPU]:::error
    end

    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff
    classDef error fill:#F44336,color:#fff

이 표는 YOLO26 모델의 각 연산자가 어디에서 실행되는지 보여줍니다. 기본 YOLO26n ONNX 내보내기에는 87개의 SiLU 활성화가 포함되며, 각 활성화는 Sigmoid와 Mul로 내보내집니다. 또한 두 개의 어텐션 블록에서 MatMul 연산자 4개와 Softmax 연산자 2개가 포함됩니다. 두 어텐션 블록은 백본 끝의 C2PSA 블록(레이어 10)과 P5 출력을 생성하는 어텐션이 활성화된 C3k2 블록(레이어 22)입니다.

출처: AMD UG1414 지원 연산자, PyTorch 연산자 지원, Versal AI Edge Gen 2의 지원 연산자, CPU 파티션 및 미지원 연산자 목록입니다. 지원 여부는 DPU 구성과 그래프 패턴에도 영향을 받으므로 항상 컴파일러의 파티션 보고서를 확인하세요.

Hard-Swish로 YOLO26을 DPU에 맞게 준비하기#

DPU는 ReLU, ReLU6, LeakyReLU, Hard-Swish 및 Hard-Sigmoid만 컨볼루션에 융합합니다. Hard-Swish는 SiLU를 하드웨어 친화적으로 근사한 함수이므로 자연스러운 대체 활성화입니다. Ultralytics 모델 YAML 파일은 activation 키를 지원하며, 이 키로 Conv 블록의 기본 활성화를 변경할 수 있습니다(모델 YAML 구성 가이드).

yolo26.yaml을 yolo26-hswish.yaml로 복사하고 매개변수 아래에 한 줄을 추가하세요:

# Parameters
nc: 80 # number of classes
activation: nn.Hardswish() # default Conv activation, DPU-native
end2end: True # whether to use end-to-end mode

그런 다음 모델을 빌드하고, 사전 학습된 YOLO26 가중치를 전이한 뒤 데이터셋에서 파인튜닝하세요:

from ultralytics import YOLO

# Hard-Swish 활성화를 사용해 YOLO26n을 빌드합니다. 이름의 'n'은 nano 규모를 선택합니다
model = YOLO("yolo26n-hswish.yaml").load("yolo26n.pt")  # 사전 학습된 가중치 전이

# 네트워크가 Hard-Swish에 적응하도록 파인튜닝
model.train(data="coco8.yaml", epochs=100, imgsz=640)

활성화 함수에는 가중치가 없으므로 사전 학습된 가중치가 모두 전이됩니다. 그러면 내보낸 ONNX 그래프에는 HardSwish 연산자 87개가 포함되고 SiLU는 포함되지 않습니다. coco8.yaml을 자체 데이터셋으로 바꾸고, 배포 전에 Val 모드로 SiLU 모델과 정확도를 비교하세요.

DPU에서 어텐션 블록 처리하기#

YOLO26은 최저 해상도(입력 크기 640에서 20×20 그리드)의 두 위치에 어텐션을 적용합니다. 레이어 10의 C2PSA 블록과 레이어 22의 어텐션이 활성화된 C3k2 블록입니다. YOLO11에는 C2PSA 블록이 하나 있습니다. DPU에서는 MatMul 및 Softmax 연산자가 CPU에서 실행되므로 모델이 DPU 및 CPU 하위 그래프로 번갈아 분할됩니다. 다음 세 가지 방법을 사용할 수 있습니다:

1. CPU 블록을 그대로 사용합니다. 그러면 컴파일된 .xmodel에 CPU 하위 그래프가 포함됩니다. 모든 연산자에 CPU 구현이 있는 경우 DPU 및 CPU 하위 그래프를 함께 실행하는 AMD의 Graph Runner를 사용하세요. CPU 구현이 없는 연산자는 직접 구현하고 등록해야 합니다. 20×20에서는 어텐션 연산량이 적지만, DPU와 CPU 사이에 데이터가 추가로 전송될 때마다 지연 시간이 늘어나므로 보드에서 측정하세요.

2. 어텐션 없는 YAML을 사용합니다. Hard-Swish YAML에서 C2PSA 레이어를 nn.Identity으로 바꾸어 Concat 및 Detect에서 사용하는 레이어 인덱스가 유효하게 유지되도록 하고, 레이어 22의 어텐션을 비활성화하세요:

   backbone:
       # ... layers 0-9 unchanged
       - [-1, 1, nn.Identity, []] # 10 C2PSA removed; keeps later layer indices valid
   
   head:
       # ... layers 11-21 unchanged
       - [-1, 1, C3k2, [1024, True, 0.5, False]] # 22 (P5/32-large), attention disabled
       - [[16, 19, 22], 1, Detect, [nc]] # Detect(P3, P4, P5)

   그러면 내보낸 ONNX 그래프에 MatMul 또는 Softmax 연산자가 포함되지 않습니다. 어텐션 가중치는 더 이상 적용되지 않으므로(YOLO26n 가중치 666개 중 624개가 전이됨) 더 오래 파인튜닝하고 Val 모드로 정확도를 비교하세요.

3. YOLOv8과 같이 어텐션 없는 모델을 사용합니다. AMD는 자체 DPU 예제에서 YOLOv8을 사용했습니다.

Versal AI Edge Gen 2에서는 어텐션 연산자가 NPU 지원 항목으로 나열되어 있으므로 일반적으로 이러한 변경이 필요하지 않습니다. AMD는 구성이나 메모리 제약으로 인해 지원되는 연산자도 CPU로 폴백될 수 있다고 안내하므로, 컴파일러 보고서에서 배치 위치를 확인하세요.

모델 호환성 한눈에 보기#

지금 AMD Xilinx에 YOLO26 배포하기#

네이티브 내보내기를 사용할 수 있을 때까지 배포는 네 단계로 진행됩니다:

graph LR
    A[1. Train or fine-tune<br>Ultralytics YOLO]:::start --> B{Target?}:::decide
    B -->|Versal NPU| C[2. Export to ONNX<br>model.export]:::proc
    B -->|Zynq or Kria DPU| D[2. Keep the trained<br>PyTorch checkpoint]:::proc
    C --> E[3. Quantize and compile<br>Vitis AI 6.3 Docker]:::proc
    D --> F[3. Quantize and compile<br>Vitis AI 3.5 Docker]:::proc
    E --> G[4. Run on the board<br>VART-ML or ONNX Runtime]:::out
    F --> H[4. Run on the board<br>VART]:::out
    G -.->|accuracy check| A
    H -.->|accuracy check| A

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

1단계: 모델 학습 또는 파인튜닝#

학습 모드 또는 Ultralytics Platform에서 자체 데이터로 학습하세요. DPU 대상의 경우 Hard-Swish YAML에서 시작하세요. 나중에 양자화의 정확도 영향을 측정할 수 있도록 Val 모드로 기준 성능을 기록하세요.

2단계: NPU 대상용 ONNX 내보내기#

ONNX는 AMD NPU 흐름에서 공통 입력으로 사용됩니다. DPU 흐름은 Vitis AI 3.5 Docker 이미지에서 학습된 PyTorch 체크포인트를 직접 양자화하므로 DPU 사용자는 이 단계를 건너뛸 수 있습니다. 고정 배치 크기 1과 AMD가 지원하는 opset으로 내보내세요. Versal AI Edge Gen 2용 AMD YOLOv8m 튜토리얼에서는 opset 17을 사용합니다.

from ultralytics import YOLO

# 1단계에서 학습한 모델을 불러옵니다
model = YOLO("runs/detect/train/weights/best.pt")

# AMD 컴파일러용으로 정적 형태를 지정해 ONNX로 내보냅니다
model.export(format="onnx", opset=17, imgsz=640)  # 'best.pt'와 같은 위치에 'best.onnx'를 생성합니다

모든 옵션은 ONNX 통합 및 내보내기 인수를 참조하세요. nms를 설정하지 않으면 추론 후 CPU에서 NMS를 실행합니다. YOLO26의 경우 nms=False을 설정하면 대신 NMS-free 헤드가 선택됩니다. AMD는 NonMaxSuppression이 모델 전체를 CPU에서 실행하게 만들 수 있는 연산자라고 안내하므로 nms=True로 NMS를 포함하지 마세요.

3단계: Vitis AI로 양자화 및 컴파일#

아래 워크플로에서는 x86-64 Linux 호스트에서 AMD Docker 이미지를 사용합니다. 이 단계에서는 보드가 필요하지 않습니다. 장치에 해당하는 탭을 선택하세요:

4단계: 보드에서 실행 및 검증#

먼저 보드를 준비합니다. 보드에는 컴파일 대상 가속기 구성이 포함된 하드웨어 설계와 Linux 이미지, 그리고 이에 맞는 Vitis AI 런타임이 설치되어 있어야 합니다. AMD 설정 가이드에서 Zynq UltraScale+ 및 Kria DPU 대상, Versal AI Edge (VEK280), Versal AI Edge Gen 2 (VEK385)을 참조하세요.

그런 다음 런타임에 필요한 아티팩트를 복사합니다.

NPU 워크플로의 경우, 내보낸 ONNX 그래프가 이미 박스를 디코딩하고 클래스 점수에 sigmoid를 적용하므로 호스트는 출력만 해석하면 됩니다.

• nms이 설정되지 않은 경우: 탐지 모델은 xywh개의 박스와 클래스별 점수가 포함된 (1, 4 + nc, anchors) 텐서를 출력합니다. 각 앵커에서 가장 높은 클래스를 선택하고, 박스를 모서리 좌표로 변환한 뒤, 신뢰도 기준으로 필터링하고 NMS를 실행합니다. Ultralytics의 non_max_suppression 함수가 이 모든 단계를 수행합니다.
• nms=False(YOLO26): 모델은 [x1, y1, x2, y2, score, class]개 행으로 구성된 (1, max_det, 6) 텐서를 출력하며, 신뢰도 임계값만 적용하면 됩니다.

두 경우 모두 letterbox 처리된 입력의 박스를 원본 이미지에 맞게 재조정합니다. 디코드 단계 전에 분할된 그래프만 호스트에서 박스를 디코딩해야 합니다. DPU에서 VART 버퍼는 고정소수점 INT8 값을 저장합니다. 각 텐서의 shape과 fix_point 스케일을 조회하고, 입력을 양자화한 뒤 출력을 역양자화하고 위 단계를 적용합니다. Graph Runner는 전체 그래프의 출력을 반환하지만, DPU 전용 실행기는 DPU 서브그래프의 중간 출력을 반환하므로 코드에서 나머지 계산을 완료해야 합니다. 위 레이아웃은 ONNX(CPU 뷰) 레이아웃입니다. VART-ML은 기본적으로 shape, 데이터 유형, 메모리 레이아웃이 다를 수 있는 하드웨어 텐서 뷰를 사용하므로 실행기의 입력 및 출력 텐서 유형을 CPU 뷰로 설정하거나 하드웨어 형식을 직접 변환합니다(AMD의 VART-ML 아키텍처 개요 참조).

자체 검증 세트와 동일한 성능 지표(예: mAP)를 사용하여 디바이스에서 측정한 정확도를 1단계의 FP32 기준선과 비교합니다. AMD가 공개한 VEK385의 YOLOv8m 결과는 INT8 배포에 따른 정확도 저하를 보여줍니다.

출처: AMD Versal AI Edge Gen 2용 YOLOv8m 튜토리얼. 이 튜토리얼에는 dp_size=1에서 VART를 100회 실행했을 때의 평균 추론 시간 10.69ms도 보고되어 있습니다.

실제 애플리케이션#

AMD Xilinx 디바이스는 비전 AI를 센서 가까이에서 저전력으로 실시간 실행해야 하는 다양한 분야에서 널리 사용됩니다.

• 산업 및 건설 현장 안전: 중장비 주변의 사람과 기계를 탐지하고, 객체 탐지 및 객체 카운팅을 통해 작업 구역을 모니터링합니다.
• 자동차 및 오프하이웨이 비전: 인증된 자동차 등급 부품에서 카메라 기반 인식을 실행하여 자율주행 차량과 운전자 보조 기능을 지원합니다.
• 스마트 카메라 및 비디오 분석: 비디오 캡처, 인코딩, YOLO 추론을 단일 칩에 결합하여 보안 시스템과 비디오 분석에 활용합니다.
• 머신 비전 및 품질 검사: FPGA 기반 고속 이미지 캡처와 YOLO 인스턴스 분할 또는 분류를 결합하여 생산 라인에서 결함을 탐지합니다.
• 로보틱스 및 드론: Kria KR260 또는 Versal 모듈을 사용하여 포즈 추정, 방향성 객체 탐지, 내비게이션을 결정론적 지연 시간으로 수행합니다.

요약#

AMD Xilinx 디바이스는 두 세대의 가속기를 통해 YOLO 모델을 실행합니다. Zynq UltraScale+ 및 Kria의 DPU는 고정된 Vitis AI 3.5 워크플로를 사용하며 .xmodel 파일을 생성합니다. DPU에는 Hard-Swish와 같은 DPU 네이티브 활성화 함수가 필요하며 attention은 CPU에서 실행됩니다. Versal AI Edge 및 Versal AI Edge Gen 2의 NPU는 최신 Vitis AI 릴리스를 사용합니다. Gen 2 NPU는 SiLU 및 attention 연산자를 지원하며, VEK385에서 AMD의 YOLOv8m 예제를 거의 전부 NPU에서 실행합니다. 반면 초기 VEK280 NPU의 연산자 지원 범위는 Vitis AI 버전과 정밀도에 따라 달라집니다.

AMD Xilinx 디바이스용 Ultralytics 네이티브 내보내기 기능은 곧 제공될 예정입니다. 그때까지 Ultralytics로 학습한 다음, Versal NPU 대상은 ONNX로 내보내고, DPU 대상은 PyTorch 체크포인트를 유지한 뒤, 위에 설명된 대로 Vitis AI로 컴파일합니다. 다른 배포 대상은 모델 배포 옵션 가이드, 배포 모범 사례, Hailo, Rockchip RKNN, Axelera 등의 가속기 통합을 참조하세요.

자주 묻는 질문#