Vitis AIを使用したUltralytics YOLO向けAMD Xilinxデプロイ#

AMD Xilinxデバイスは、世界中の多くの産業用カメラ、自動車用ビジョンシステム、ロボット、ドローン、医療画像製品に採用されています。Armプロセッサーとプログラマブルロジックを組み合わせており、新しいデバイスでは専用のAI Engineも備えています。そのため、1つのチップで動画を取り込み、前処理し、物体検出を実行し、低く予測可能な推論レイテンシで結果に応じた処理を行えます。

このガイドでは、各AMD Xilinxデバイスファミリーの概要、デバイス上でのAIの実行方法、各アクセラレーターがサポートするUltralytics YOLOのオペレーター、Zynq UltraScale+、Kria、VersalハードウェアにYOLOモデルをデプロイする手順を説明します。

AMD Xilinxとは何ですか？#

Xilinxは1980年代にフィールドプログラマブルゲートアレイ（FPGA）の分野を切り開き、アダプティブSoCとFPGAの主要サプライヤーとなりました。AMDは2022年2月にXilinxの買収を完了しました。現在、製品ラインはAMDブランドのAMD Zynq、AMD Kria、AMD Versal、AMD Vitisとして販売されています。

主要な用語と概念#

AMD Xilinxのデプロイでは、独自の用語が使用されます。以下の表で、このガイドに登場するすべての用語を説明します。

エッジAI向けAMD Xilinxデバイスファミリー#

エッジAI向けAMD Xilinxデバイスは、3つのファミリーに分かれます。ZynqとKriaはプログラマブルロジック内のDPUを使用し、このガイドで取り上げるVersal AI EdgeデバイスはAI Engine上のNPUを使用します。

Zynq UltraScale+ MPSoC#

各Zynq UltraScale+チップは、デュアルコア（CG）またはクアッドコア（EGおよびEV）のCortex-A53コアとリアルタイムCortex-R5Fコアを備えるArmプロセッシングシステムを、FPGAロジックと組み合わせています。EVデバイスには、ハードマクロのH.264/H.265ビデオコーデックが追加されています。ニューラルネットワークを実行するには、カメラや動画パイプラインの隣にDPUをロジックとして組み込みます。小型デバイスでは、DPUが設計内の他の機能とリソースを取り合います。

Kriaシステムオンモジュール#

Kria K26モジュールは、Zynq UltraScale+ MPSoC、メモリー、電源を量産対応モジュールにまとめているため、プロセッサー、メモリー、電源サブシステムを自分で設計する必要がありません。このモジュールは、スターターキットボードまたは独自設計のキャリアカードに接続します。スマートカメラ向けのKV260 Vision AI Starter Kitや、ロボティクス向けのKR260 Robotics Starter Kitに搭載されています。K26はZynq UltraScale+をベースとしているため、同じDPUワークフローを使用します。Kriaの製品ラインには他のモジュールも含まれるため、ワークフローを選ぶ前に、使用するモジュールのプロセッサーを確認してください。

VersalアダプティブSoC#

VersalはAMDのアダプティブSoCファミリーです。AI EdgeシリーズとAI Coreシリーズは、Armコアとプログラマブルロジックに加えてハードマクロのAI Engineを搭載していますが、他のVersalシリーズにはAI Engineが搭載されていません。AMDのNPU IPはAI Engineとプログラマブルロジックを組み合わせて動作します。Vitis AIは、VE2302やVE2802など、AI EdgeシリーズのAIE-ML搭載製品を対象としています。Versal AI Edge Series（VEK280評価キット）とVersal AI Edge Series Gen 2（VEK385評価キット）は、AMDが現在エッジAI向けに提供しているターゲットであり、現行のVitis AIリリースの対象です。

AMD XilinxデバイスでのAI実行方法：DPUとNPUの比較#

AMD XilinxのAIデプロイの多くは、同じパターンに従います。アクセラレーターが対応するレイヤーを実行し、Arm CPUが前処理、後処理、アクセラレーターで実行できないレイヤーを処理します。ボード上のランタイムが両者を連携させます。

graph LR
    A[Camera / video input]:::start --> B[Arm CPU<br>Linux, preprocessing,<br>post-processing]:::proc
    B <--> C[AI accelerator<br>DPU in programmable logic<br>or NPU on AI Engines + PL]:::out
    B --> D[Application<br>alerts, control, display]:::start

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff

AMDは、独自のツールチェーンとコンパイル済みモデルファイルを使用する2世代のアクセラレーターを出荷しています。このガイドでは、DPU向けにVitis AI 3.5、NPU向けにVitis AI 6.3を取り上げます。それ以降のリリースについては、AMDの最新ドキュメントを確認してください。

必要なVitis AIフローの選び方#

ボード上のデバイスに応じてフローを選択してください:

graph TD
    A[Start: which AMD device<br>is on your board?]:::start --> B{Device family?}:::decide
    B -->|Zynq UltraScale+ MPSoC<br>or Kria K26| C[DPU flow<br>Vitis AI 3.5]:::proc
    B -->|Versal AI Edge<br>VEK280| D[NPU snapshot flow<br>Vitis AI 6.3]:::proc
    B -->|Versal AI Edge Gen 2<br>VEK385| E[NPU Quark flow<br>Vitis AI 6.3]:::proc
    C --> F[Train YOLO with Hard-Swish<br>then compile to .xmodel]:::out
    D --> G[Run your model on calibration<br>images to capture a snapshot]:::out
    E --> H[Quantize ONNX with Quark<br>then compile to .rai]:::out

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

YOLOモデルの互換性とサポート対象オペレーター#

アクセラレーターが高速化できるのは、ハードウェアで実装されているオペレーターのみです。モデルに未対応のオペレーターが含まれている場合、通常、コンパイラーはネットワークの該当部分をArm CPUに割り当てます。アクセラレーターとCPU間の転送が発生するたびに、レイテンシーが増加します。一部のオペレーターは分割できません。Versal AI Edge Gen 2 NPUでは、AMDが挙げるNonZeroやNonMaxSuppressionなどのオペレーターにより、モデル全体がCPUで実行される場合があります。AMD XilinxハードウェアでYOLOモデルがどの程度の性能を発揮するかを左右する最も重要な要因は、オペレーターのサポート状況です。

graph LR
    subgraph S1 [Stock YOLO26 on the DPU]
        A1[Conv]:::out --> A2[SiLU<br>CPU]:::error --> A3[Conv]:::out --> A4[SiLU<br>CPU]:::error --> A5[...]:::proc
    end
    subgraph S2 [Hard-Swish YOLO26 on the DPU]
        B1[Backbone<br>Conv + Hard-Swish<br>DPU]:::out --> B2[C2PSA attention<br>CPU]:::error --> B3[Neck<br>DPU]:::out --> B4[C3k2 attention<br>CPU]:::error --> B5[Detect head<br>DPU]:::out --> B6[Sigmoid and<br>post-processing<br>CPU]:::error
    end

    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff
    classDef error fill:#F44336,color:#fff

この表では、YOLO26モデル内の各オペレーターがどこで実行されるかを示します。標準のYOLO26n ONNXエクスポートには87個のSiLU活性化関数が含まれ、それぞれがSigmoidとMulとしてエクスポートされます。また、2つのアテンションブロック（バックボーン末尾のC2PSAブロック（レイヤー10）と、P5出力を生成するアテンション対応のC3k2ブロック（レイヤー22））に由来するMatMulオペレーターが4個、Softmaxオペレーターが2個含まれます。

出典: AMDのUG1414サポート対象オペレーター、PyTorchオペレーターのサポート状況、およびVersal AI Edge Gen 2のサポート対象、CPU分割、未対応オペレーターの一覧。サポート状況はDPUの構成やグラフのパターンにも左右されるため、必ずコンパイラーの分割レポートを確認してください。

Hard-SwishでYOLO26をDPU対応にする#

DPUが畳み込みに融合できるのは、ReLU、ReLU6、LeakyReLU、Hard-Swish、Hard-Sigmoidのみです。Hard-SwishはSiLUをハードウェア向けに近似したもので、置き換えに適しています。UltralyticsのモデルYAMLファイルでは、activationキーを指定してConvブロックのデフォルトの活性化関数を変更できます（モデルYAML設定ガイド）。

yolo26.yamlをyolo26-hswish.yamlにコピーし、パラメーターの下に1行追加してください:

# Parameters
nc: 80 # number of classes
activation: nn.Hardswish() # default Conv activation, DPU-native
end2end: True # whether to use end-to-end mode

次にモデルを構築し、事前学習済みYOLO26の重みを転送して、データセットでファインチューニングしてください:

from ultralytics import YOLO

# # Hard-Swish活性化関数を使用してYOLO26nを構築します。名前の「n」はnanoスケールを指定します
model = YOLO("yolo26n-hswish.yaml").load("yolo26n.pt")  # # 事前学習済みの重みを転送します

# # ネットワークがHard-Swishに適応するようファインチューニングします
model.train(data="coco8.yaml", epochs=100, imgsz=640)

活性化関数には重みがないため、事前学習済みの重みはすべて転送されます。エクスポート後のONNXグラフには、HardSwishオペレーターが87個含まれ、SiLUは含まれません。coco8.yamlを独自のデータセットに置き換え、デプロイ前にValモードでSiLUモデルとの精度を比較してください。

DPUでのアテンションブロックの処理#

YOLO26は、最低解像度（入力サイズ640の場合は20×20のグリッド）において、アテンションをレイヤー10のC2PSAブロックと、レイヤー22のアテンション対応C3k2ブロックの2か所に適用します。YOLO11にはC2PSAブロックが1つあります。DPUでは、MatMul演算子とSoftmax演算子がCPUで実行されるため、モデルはDPUとCPUのサブグラフが交互に並ぶ形に分割されます。選択肢は3つあります：

1. CPUブロックを許容する。 コンパイル後の.xmodelにはCPUサブグラフが含まれるため、すべてのオペレーターにCPU実装がある場合は、AMDのGraph Runnerを使用してDPUとCPUのサブグラフをまとめて実行してください。実装がないオペレーターがある場合は、実装して登録する必要があります。20×20ではアテンション計算は小規模ですが、DPUとCPU間の転送が増えるたびにレイテンシーが増加するため、ボード上で測定してください。

2. アテンションなしのYAMLを使用する。 Hard-SwishのYAMLで、C2PSAレイヤーをnn.Identityに置き換えて、ConcatとDetectが使用するレイヤーインデックスを維持し、レイヤー22のアテンションを無効にしてください:

   backbone:
       # ... layers 0-9 unchanged
       - [-1, 1, nn.Identity, []] # 10 C2PSA removed; keeps later layer indices valid
   
   head:
       # ... layers 11-21 unchanged
       - [-1, 1, C3k2, [1024, True, 0.5, False]] # 22 (P5/32-large), attention disabled
       - [[16, 19, 22], 1, Detect, [nc]] # Detect(P3, P4, P5)

   エクスポート後のONNXグラフにはMatMulオペレーターもSoftmaxオペレーターも含まれません。アテンションの重みは適用されなくなるため（YOLO26nの重み666個のうち624個が転送されます）、長めにファインチューニングし、Valモードで精度を比較してください。

3. AMD自身のDPUサンプルで使用されているYOLOv8など、アテンションなしのモデルを使用する。

Versal AI Edge Gen 2では、アテンションオペレーターはNPUのサポート対象として記載されているため、通常はこうした変更は不要です。AMDによると、設定やメモリーの制約により、サポート対象オペレーターであってもCPUにフォールバックすることがあるため、コンパイラーレポートで実行場所を確認してください。

モデル互換性の概要#

AMD XilinxでYOLO26を今すぐデプロイする#

ネイティブエクスポートが利用可能になるまでは、次の4つの手順でデプロイします:

graph LR
    A[1. Train or fine-tune<br>Ultralytics YOLO]:::start --> B{Target?}:::decide
    B -->|Versal NPU| C[2. Export to ONNX<br>model.export]:::proc
    B -->|Zynq or Kria DPU| D[2. Keep the trained<br>PyTorch checkpoint]:::proc
    C --> E[3. Quantize and compile<br>Vitis AI 6.3 Docker]:::proc
    D --> F[3. Quantize and compile<br>Vitis AI 3.5 Docker]:::proc
    E --> G[4. Run on the board<br>VART-ML or ONNX Runtime]:::out
    F --> H[4. Run on the board<br>VART]:::out
    G -.->|accuracy check| A
    H -.->|accuracy check| A

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

ステップ1: モデルを学習またはファインチューニングする#

Trainモードを使って独自のデータで学習するか、Ultralytics Platformで学習してください。DPUをターゲットとする場合は、Hard-Swish YAMLから始めてください。後で量子化による精度への影響を測定できるよう、Valモードでベースラインを記録してください。

ステップ2: NPU向けにONNXへエクスポートする#

ONNXは、AMDのNPUフローで共通して入力形式として使用されます。DPUフローでは、学習済みのPyTorchチェックポイントをVitis AI 3.5 Dockerイメージ内で直接量子化するため、DPUユーザーはこの手順を省略できます。バッチサイズを1に固定し、AMDがサポートするopsetを指定してエクスポートしてください。AMDのVersal AI Edge Gen 2向けYOLOv8mチュートリアルではopset 17を使用しています。

from ultralytics import YOLO

# # ステップ1で学習したモデルを読み込みます
model = YOLO("runs/detect/train/weights/best.pt")

# # AMDコンパイラー向けに静的形状でONNXへエクスポートします
model.export(format="onnx", opset=17, imgsz=640)  # # 'best.pt'と同じ場所に'best.onnx'を作成します

すべてのオプションについては、ONNX統合とエクスポート引数を参照してください。nmsを設定しない場合は、推論後にCPUでNMSを実行してください。YOLO26では、nms=Falseを指定すると、代わりにNMSフリーヘッドが選択されます。AMDがNonMaxSuppressionをモデル全体のCPU実行を引き起こす可能性のあるオペレーターとして挙げているため、nms=TrueでNMSを組み込まないでください。

ステップ3: Vitis AIで量子化してコンパイルする#

以下のワークフローでは、x86-64 Linuxホスト上でAMDのDockerイメージを使用します。この手順ではボードは不要です。デバイスに対応するタブを選択してください:

ステップ4：ボード上で実行して検証する#

まずボードを準備します。コンパイル対象のアクセラレータ構成と、対応するVitis AIランタイムを含むハードウェア設計およびLinuxイメージを実行している必要があります。AMDのセットアップガイドで、Zynq UltraScale+およびKriaのDPUターゲット、Versal AI Edge（VEK280）、Versal AI Edge Gen 2（VEK385）を参照してください。

次に、ランタイムに必要な成果物をコピーします。

NPUの各フローでは、エクスポートされたONNXグラフですでにボックスをデコードし、クラススコアにsigmoidを適用するため、ホスト側では出力を解釈するだけです。

• nmsが未設定の場合：検出モデルは、xywh個のボックスとクラスごとのスコアを含む(1, 4 + nc, anchors)テンソルを出力します。アンカーごとに最も高いクラスを選択し、ボックスをコーナー座標に変換し、信頼度でフィルタリングしてNMSを実行します。Ultralyticsのnon_max_suppression関数は、これらすべての処理を実行します。
• nms=False（YOLO26）：モデルは[x1, y1, x2, y2, score, class]行を含む(1, max_det, 6)テンソルを出力し、必要なのは信頼度のしきい値処理だけです。

どちらの場合も、レターボックス処理された入力から元の画像に合わせてボックスを再スケーリングします。デコード手順より前で分割されたグラフのみ、ホスト側でボックスのデコードが必要です。DPUでは、VARTバッファーに固定小数点のINT8値が格納されます。各テンソルの形状とfix_pointスケールを取得し、上記の処理を行う前に入力を量子化し、出力を逆量子化してください。Graph Runnerはグラフ全体の出力を返しますが、DPU専用ランナーはDPUサブグラフの中間出力を返すため、残りの計算はコード側で行う必要があります。上記のレイアウトはONNX（CPUビュー）のレイアウトです。VART-MLはデフォルトで、形状、データ型、メモリレイアウトが異なる場合があるハードウェアテンソルビューを使用します。そのため、ランナーの入出力テンソル型をCPUビューに設定するか、ハードウェア形式を独自に変換してください（AMDのVART-MLアーキテクチャ概要を参照）。

独自の検証セットと、パフォーマンス指標（mAPなど）を使用して、デバイス上の精度をステップ1のFP32ベースラインと比較します。AMDが公開しているVEK385上のYOLOv8mの結果は、INT8デプロイによる精度への影響を示しています。

出典：AMDのVersal AI Edge Gen 2向けYOLOv8mチュートリアル。dp_size=1でVARTを100回実行した場合の平均推論時間10.69 msも報告されています。

実際の用途#

AMD Xilinxデバイスは、ビジョンAIをリアルタイムかつ低消費電力でセンサーの近くで実行する必要がある場面で広く使われています。

• 産業・建設現場の安全：物体検出と物体カウントを使って、重機周辺の人や機械を検出し、作業区域を監視します。
• 自動車・オフハイウェイ向けビジョン：自動車規格に適合した部品上でカメラベースの認識処理を実行し、自動運転車や運転支援を実現します。
• スマートカメラとビデオ分析：映像の取得、エンコード、YOLO推論を1つのチップ上で組み合わせ、セキュリティシステムやビデオ分析に活用します。
• マシンビジョンと品質検査：FPGAベースの高速画像取得とYOLOのインスタンスセグメンテーションまたは分類を組み合わせ、製造ライン上で欠陥を検出します。
• ロボットとドローン：Kria KR260またはVersalモジュールを使用して、姿勢推定、方向付き物体検出、ナビゲーションを決定論的なレイテンシで実行します。

概要#

AMD Xilinxデバイスでは、2世代のアクセラレーターを使用してYOLOモデルを実行します。Zynq UltraScale+およびKria上のDPUは、固定されたVitis AI 3.5フローを使用し、.xmodelファイルを生成します。Hard-SwishなどのDPUネイティブ活性化関数が必要で、attentionはCPU上で実行されます。Versal AI EdgeおよびVersal AI Edge Gen 2上のNPUは、現行のVitis AIリリースを使用します。Gen 2 NPUはSiLUとattention演算子をサポートし、AMDのYOLOv8mの例をVEK385上でほぼすべてNPU上で実行します。一方、旧世代のVEK280 NPUでの演算子サポートは、Vitis AIのバージョンと精度に依存します。

AMD Xilinxデバイス向けのUltralyticsネイティブエクスポートは、近日対応予定です。それまでは、Ultralyticsで学習し、Versal NPUターゲット向けにONNXにエクスポートするか、DPUターゲット向けにPyTorchチェックポイントを保持して、上記の説明に従ってVitis AIでコンパイルしてください。その他のデプロイ先については、モデルデプロイオプションガイド、デプロイのベストプラクティス、およびHailo、Rockchip RKNN、Axeleraなどのアクセラレーター連携を参照してください。

よくある質問#