Vitis AIを使用したUltralytics YOLO向けAMD Xilinxエクスポート#

format="xilinx"を使用してUltralytics YOLO26モデルをエクスポートすると、AMD Quarkで量子化し、AMD Versal AI Edge Series Gen 2アダプティブSoCのNPU向けに変換します。その後、AMDのVitis AIコンパイラーで.raiモデルをビルドできる状態になります。同じエクスポートで、デプロイ前に任意のホスト上でINT8精度を検証できます。

AMD Xilinxデバイスは、世界中の多くの産業用カメラ、自動車用ビジョンシステム、ロボット、ドローン、医療画像製品に採用されています。Armプロセッサーとプログラマブルロジックを組み合わせており、新しいデバイスでは専用のAI Engineも備えています。そのため、1つのチップで動画を取り込み、前処理し、物体検出を実行し、低く予測可能な推論レイテンシで結果に応じた処理を行えます。

このガイドでは、AMD Xilinxへのエクスポート、Versalボードでのコンパイルと実行、各AMD Xilinxデバイスファミリーの概要、デバイス上でのAI処理、および各アクセラレーターがサポートするUltralytics YOLOオペレーターについて説明します。

AMD Xilinxとは何ですか？#

Xilinxは1980年代にフィールドプログラマブルゲートアレイ（FPGA）の分野を切り開き、アダプティブSoCとFPGAの主要サプライヤーとなりました。AMDは2022年2月にXilinxの買収を完了しました。現在、製品ラインはAMDブランドのAMD Zynq、AMD Kria、AMD Versal、AMD Vitisとして販売されています。

主要な用語と概念#

AMD Xilinxのデプロイでは、独自の用語が使用されます。以下の表で、このガイドに登場するすべての用語を説明します。

エッジAI向けAMD Xilinxデバイスファミリー#

エッジAI向けAMD Xilinxデバイスは、3つのファミリーに分かれます。ZynqとKriaはプログラマブルロジック内のDPUを使用し、このガイドで取り上げるVersal AI EdgeデバイスはAI Engine上のNPUを使用します。

Zynq UltraScale+ MPSoC#

各Zynq UltraScale+チップは、デュアルコア（CG）またはクアッドコア（EGおよびEV）のCortex-A53コアとリアルタイムCortex-R5Fコアを備えるArmプロセッシングシステムを、FPGAロジックと組み合わせています。EVデバイスには、ハードマクロのH.264/H.265ビデオコーデックが追加されています。ニューラルネットワークを実行するには、カメラや動画パイプラインの隣にDPUをロジックとして組み込みます。小型デバイスでは、DPUが設計内の他の機能とリソースを取り合います。

Kriaシステムオンモジュール#

Kria K26モジュールは、Zynq UltraScale+ MPSoC、メモリー、電源を量産対応モジュールにまとめているため、プロセッサー、メモリー、電源サブシステムを自分で設計する必要がありません。このモジュールは、スターターキットボードまたは独自設計のキャリアカードに接続します。スマートカメラ向けのKV260 Vision AI Starter Kitや、ロボティクス向けのKR260 Robotics Starter Kitに搭載されています。K26はZynq UltraScale+をベースとしているため、同じDPUワークフローを使用します。Kriaの製品ラインには他のモジュールも含まれるため、ワークフローを選ぶ前に、使用するモジュールのプロセッサーを確認してください。

VersalアダプティブSoC#

VersalはAMDのアダプティブSoCファミリーです。AI EdgeシリーズとAI Coreシリーズは、Armコアとプログラマブルロジックに加えてハードマクロのAI Engineを搭載していますが、他のVersalシリーズにはAI Engineが搭載されていません。AMDのNPU IPはAI Engineとプログラマブルロジックを組み合わせて動作します。Vitis AIは、VE2302やVE2802など、AI EdgeシリーズのAIE-ML搭載製品を対象としています。Versal AI Edge Series（VEK280評価キット）とVersal AI Edge Series Gen 2（VEK385評価キット）は、AMDが現在エッジAI向けに提供しているターゲットであり、現行のVitis AIリリースの対象です。

AMD XilinxデバイスでのAI実行方法：DPUとNPUの比較#

AMD XilinxのAIデプロイの多くは、同じパターンに従います。アクセラレーターが対応するレイヤーを実行し、Arm CPUが前処理、後処理、アクセラレーターで実行できないレイヤーを処理します。ボード上のランタイムが両者を連携させます。

AMDは、独自のツールチェーンとコンパイル済みモデルファイルを使用する2世代のアクセラレーターを出荷しています。このガイドでは、DPU向けにVitis AI 3.5、NPU向けにVitis AI 6.3を取り上げます。それ以降のリリースについては、AMDの最新ドキュメントを確認してください。

必要なVitis AIフローの選び方#

ボード上のデバイスに応じてフローを選択してください:

AMD Xilinxへのエクスポート：YOLOモデルの変換#

対応タスク#

AMD Xilinxエクスポートは、Ultralyticsの7つすべてのタスクに対応しています。セマンティックセグメンテーションと深度推定は、これらのヘッドを搭載する唯一のファミリーであるYOLO26でのみ利用できます。

インストール#

AMD XilinxエクスポートはLinux（x86-64またはARM64）とPython 3.11～3.13で動作します。これらはAMD Quarkがサポートするバージョンです。初回のエクスポートではQuarkのカスタムオペレーターもコンパイルされるため、g++などのC++コンパイラーが必要です。

# Install the required package for YOLO
pip install ultralytics

初回のエクスポート時に、PyPIからAMD Quarkが自動的にインストールされます。エクスポートの依存関係を事前にインストールするには、次のコマンドを実行してください。

pip install "ultralytics[export-xilinx]"

リポジトリを編集可能な状態でインストールする場合は、"ultralytics[export-xilinx]"を-e ".[export-base,export-xilinx]"に置き換えてください。Python 3.12環境とCIで使用されるスモークエクスポートを再現するには、リポジトリのルートから既存の環境ビルダーを実行します:

ULTRALYTICS_ISOLATED_VENVS="$PWD/.venvs" python .github/scripts/create-export-env.py --env isolated-xilinx

使用方法#

AMD Xilinx形式は、エクスポート、予測、検証モードに対応しています。AMDのVitis AI Execution Providerがない場合、予測と検証では量子化モデルをONNX RuntimeでCPU上で実行し、任意のホストでINT8精度を測定します。Versal AI Edge Series Gen 2ボードなど、ONNX RuntimeからVitisAIExecutionProviderが利用できる場合、Ultralyticsはこれを自動的に選択します。

from ultralytics import YOLO

# YOLO26モデルを読み込みます
model = YOLO("yolo26n.pt")

# # VEK385向けにAMD Xilinx形式へエクスポート（quantize=8は自動的に適用されます）
model.export(format="xilinx")  # creates 'yolo26n_xilinx_model/'

from ultralytics import YOLO

# # エクスポートしたAMD Xilinxモデルを読み込みます
model = YOLO("yolo26n_xilinx_model")

# 推論を実行
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# # エクスポートしたAMD Xilinxモデルを読み込みます
model = YOLO("yolo26n_xilinx_model")

# # COCO8データセットでINT8精度を検証します
metrics = model.val(data="coco8.yaml")

vitis、vitisai、versal形式名は、xilinxの別名です。

エクスポート引数#

nms=Falseを設定すると、YOLO26のNMSフリーヘッドをエクスポートします。AMDがNonMaxSuppressionをモデル全体のCPU実行を引き起こす可能性のあるオペレーターとして挙げているため、組み込みNMS（nms=True）には対応していません。

エクスポートプロセスの詳細については、Ultralyticsのエクスポートに関するドキュメントページをご覧ください。

出力構造#

エクスポートが正常に完了すると、次の構成のモデルディレクトリが作成されます:

yolo26n_xilinx_model/
├── yolo26n.onnx          # AMD Quark VINT8 model with the Ultralytics metadata
└── vitisai_config.json   # Vitis AI compiler configuration for the target device

以下で説明するようにモデルをコンパイルすると、同じディレクトリにyolo26n/コンパイラーキャッシュが追加されます。キャッシュにはyolo26n.rai NPUモデルと、final-vaiml-pass-summary.txtなどのAMDコンパイルレポートが含まれます。

エクスポートの仕組み#

このエクスポートは、AMDが文書化しているVersal AI Edge Series Gen 2向けVitis AIワークフローに従います。

1. ONNXエクスポートでは、opset 17と静的バッチサイズ1を使用します。
2. AMD Quarkによる量子化では、VINT8構成（2のべき乗スケールを使用する対称INT8）と、NPUコンパイルにAMDが要求するInt32Bias=False、enable_npu_cnn=True、DedicatedQDQPair=True、QuantizeAllOpTypes=Trueのオプションを使用します。キャリブレーションでは、推論と同じレターボックス処理、RGB、0～1の前処理を行う、標準のUltralytics INT8キャリブレーションローダーを使用します。
3. 混合精度：モデルヘッドは浮動小数点のまま維持され、Vitis AIコンパイラーはNPU上でBF16として実行します。ヘッドをINT8に量子化すると精度の大部分が失われます。同じ理由から、AMDのYOLOv8mチュートリアルでは後処理部分をINT8の対象外にしています。
4. コンパイラー構成：vitisai_config.jsonでVAIMLターゲットを選択し、nameからデバイスを指定します。

精度#

この表では、COCO val2017（5,000枚、画像サイズ640）で、エクスポートしたINT8モデルとFP32 ONNXモデルを比較しています。どちらもホストCPU上でONNX Runtimeを使用して実行しています。INT8モデルはデフォルトのcoco128.yamlデータセットでキャリブレーションされています。通常、デプロイ先の独自画像でキャリブレーションすると差が縮まります。

ここに示すホストでの結果は、量子化モデルをONNX RuntimeでCPU上で実行したものです。AMDの精度測定方法では、これをNPU結果の比較基準としています。AMDが公開しているVEK385でのYOLOv8mの結果でも、NPU上で同じ混合精度方式が使用されています。

出典：AMDのVersal AI Edge Gen 2向けYOLOv8mチュートリアル。dp_size=1でVARTを100回実行した場合の平均推論時間10.69 msも報告されています。

Versal AI Edge Gen 2でのコンパイルと実行#

エクスポートしたディレクトリは、AMDのVitis AIコンパイラーで処理できる状態です。コンパイラーはNPU上で動作する.raiモデルをビルドします。

1. ホストとボードを準備します。 AMDのVersal AI Edge Gen 2向けVitis AI 6.3 DockerイメージとAMD AI Engineコンパイラーライセンスを使用し、x86-64 Linuxホストでコンパイルします（AMDのライセンスページを参照してください）。AMDのボードセットアップガイドに従ってVEK385をセットアップしてください。

2. コンパイルします。 コンテナー内で、AMDのコンパイルガイドと同じ方法で、Vitis AI Execution Providerを使用するONNX Runtimeセッションを作成します。エクスポートディレクトリにyolo26n.raiを含むyolo26n/キャッシュが書き込まれます。

   import onnxruntime as ort
   
   d = "yolo26n_xilinx_model"
   options = {"config_file": f"{d}/vitisai_config.json", "cache_dir": d, "cache_key": "yolo26n", "target": "VAIML"}
   ort.InferenceSession(f"{d}/yolo26n.onnx", providers=["VitisAIExecutionProvider"], provider_options=[options])

   yolo26n_xilinx_model/yolo26n/final-vaiml-pass-summary.txtを確認すると、モデルのどの程度がNPU上で実行されるかが分かります。YOLO26nを640で使用する場合、AMD Vitis AI 6.3コンパイラーはVEK385 NPU上の単一パーティションに、オペレーターの99.9%と計算量の99.9%を配置します。

3. ボード上で実行します。 エクスポートディレクトリをVEK385にコピーします。Vitis AI Execution Providerを使用するONNX Runtimeがコンパイル済みyolo26n.raiを読み込み、NPU上で実行します。YOLO("yolo26n_xilinx_model")は、このプロバイダーが利用可能な場合に自動的に選択します。

コンパイルに必要なのはAMDのONNX Runtimeだけです。そのため、任意のLinuxマシンでエクスポートし、Ultralyticsをインストールしてコンテナー内の固定バージョンのパッケージを変更する代わりに、ディレクトリをコンテナーにコピーできます。ボード上のように、UltralyticsとAMDのonnxruntime-vitisaiビルドが共存する環境では、標準のonnxruntimeに置き換えず、そのビルドを維持します。

YOLOモデルの互換性とサポート対象オペレーター#

アクセラレーターが高速化できるのは、ハードウェアで実装されているオペレーターのみです。モデルに未対応のオペレーターが含まれている場合、通常、コンパイラーはネットワークの該当部分をArm CPUに割り当てます。アクセラレーターとCPU間の転送が発生するたびに、レイテンシーが増加します。一部のオペレーターは分割できません。Versal AI Edge Gen 2 NPUでは、AMDが挙げるNonZeroやNonMaxSuppressionなどのオペレーターにより、モデル全体がCPUで実行される場合があります。AMD XilinxハードウェアでYOLOモデルがどの程度の性能を発揮するかを左右する最も重要な要因は、オペレーターのサポート状況です。

この表では、YOLO26モデル内の各オペレーターがどこで実行されるかを示します。標準のYOLO26n ONNXエクスポートには87個のSiLU活性化関数が含まれ、それぞれがSigmoidとMulとしてエクスポートされます。また、2つのアテンションブロック（バックボーン末尾のC2PSAブロック（レイヤー10）と、P5出力を生成するアテンション対応のC3k2ブロック（レイヤー22））に由来するMatMulオペレーターが4個、Softmaxオペレーターが2個含まれます。

出典: AMDのUG1414サポート対象オペレーター、PyTorchオペレーターのサポート状況、およびVersal AI Edge Gen 2のサポート対象、CPU分割、未対応オペレーターの一覧。サポート状況はDPUの構成やグラフのパターンにも左右されるため、必ずコンパイラーの分割レポートを確認してください。

Hard-SwishでYOLO26をDPU対応にする#

DPUが畳み込みに融合できるのは、ReLU、ReLU6、LeakyReLU、Hard-Swish、Hard-Sigmoidのみです。Hard-SwishはSiLUをハードウェア向けに近似したもので、置き換えに適しています。UltralyticsのモデルYAMLファイルでは、activationキーを指定してConvブロックのデフォルトの活性化関数を変更できます（モデルYAML設定ガイド）。

yolo26.yamlをyolo26-hswish.yamlにコピーし、パラメーターの下に1行追加してください:

# Parameters
nc: 80 # number of classes
activation: nn.Hardswish() # default Conv activation, DPU-native
end2end: True # whether to use end-to-end mode

次にモデルを構築し、事前学習済みYOLO26の重みを転送して、データセットでファインチューニングしてください:

from ultralytics import YOLO

# # Hard-Swish活性化関数を使用してYOLO26nを構築します。名前の「n」はnanoスケールを指定します
model = YOLO("yolo26n-hswish.yaml").load("yolo26n.pt")  # # 事前学習済みの重みを転送します

# # ネットワークがHard-Swishに適応するようファインチューニングします
model.train(data="coco8.yaml", epochs=100, imgsz=640)

活性化関数には重みがないため、事前学習済みの重みはすべて転送されます。エクスポート後のONNXグラフには、HardSwishオペレーターが87個含まれ、SiLUは含まれません。coco8.yamlを独自のデータセットに置き換え、デプロイ前にValモードでSiLUモデルとの精度を比較してください。

DPUでのアテンションブロックの処理#

YOLO26は、最低解像度（入力サイズ640の場合は20×20のグリッド）において、アテンションをレイヤー10のC2PSAブロックと、レイヤー22のアテンション対応C3k2ブロックの2か所に適用します。YOLO11にはC2PSAブロックが1つあります。DPUでは、MatMul演算子とSoftmax演算子がCPUで実行されるため、モデルはDPUとCPUのサブグラフが交互に並ぶ形に分割されます。選択肢は3つあります：

1. CPUブロックを許容する。 コンパイル後の.xmodelにはCPUサブグラフが含まれるため、すべてのオペレーターにCPU実装がある場合は、AMDのGraph Runnerを使用してDPUとCPUのサブグラフをまとめて実行してください。実装がないオペレーターがある場合は、実装して登録する必要があります。20×20ではアテンション計算は小規模ですが、DPUとCPU間の転送が増えるたびにレイテンシーが増加するため、ボード上で測定してください。

2. アテンションなしのYAMLを使用する。 Hard-SwishのYAMLで、C2PSAレイヤーをnn.Identityに置き換えて、ConcatとDetectが使用するレイヤーインデックスを維持し、レイヤー22のアテンションを無効にしてください:

   backbone:
       # ... layers 0-9 unchanged
       - [-1, 1, nn.Identity, []] # 10 C2PSA removed; keeps later layer indices valid
   
   head:
       # ... layers 11-21 unchanged
       - [-1, 1, C3k2, [1024, True, 0.5, False]] # 22 (P5/32-large), attention disabled
       - [[16, 19, 22], 1, Detect, [nc]] # Detect(P3, P4, P5)

   エクスポート後のONNXグラフにはMatMulオペレーターもSoftmaxオペレーターも含まれません。アテンションの重みは適用されなくなるため（YOLO26nの重み666個のうち624個が転送されます）、長めにファインチューニングし、Valモードで精度を比較してください。

3. AMD自身のDPUサンプルで使用されているYOLOv8など、アテンションなしのモデルを使用する。

Versal AI Edge Gen 2では、アテンションオペレーターはNPUのサポート対象として記載されているため、通常はこうした変更は不要です。AMDによると、設定やメモリーの制約により、サポート対象オペレーターであってもCPUにフォールバックすることがあるため、コンパイラーレポートで実行場所を確認してください。

モデル互換性の概要#

その他のAMD Xilinxターゲットへのデプロイ#

Zynq UltraScale+およびKria DPU、第1世代Versal AI Edge NPUでは、format="xilinx"では生成できないVitis AIワークフローを使用します。Ultralyticsでトレーニングした後、AMDのx86-64 Linux Dockerイメージ内のツールでターゲット用の成果物をビルドしてください。使用するデバイスのタブを選択してください。

コンパイル対象のアクセラレーター構成と対応するVitis AIランタイムを含むハードウェア設計およびLinuxイメージで、ボードを準備してください。Zynq UltraScale+およびKria DPUターゲットとVersal AI Edge（VEK280）のAMDセットアップガイドを参照してから、ランタイムに必要な成果物をコピーしてください。

DPUではVARTバッファーに固定小数点INT8値が格納されます。各テンソルの形状とfix_pointスケールを確認し、後処理の前に入力を量子化し、出力を逆量子化してください。Graph Runnerはグラフ全体の出力を返しますが、DPU専用のRunnerは中間DPUサブグラフの出力を返すため、残りの計算はコードで行う必要があります。VEK280上のVART-MLは、デフォルトでハードウェアテンソルビューを使用します。形状、データ型、メモリレイアウトはONNXのレイアウトと異なる場合があります。Runnerの入力および出力テンソル型をCPUビューとして設定するか、ハードウェア形式を独自に変換してください（AMDのVART-MLアーキテクチャ概要を参照してください）。

実際の用途#

AMD Xilinxデバイスは、ビジョンAIをリアルタイムかつ低消費電力でセンサーの近くで実行する必要がある場面で広く使われています。

• 産業・建設現場の安全：物体検出と物体カウントを使って、重機周辺の人や機械を検出し、作業区域を監視します。
• 自動車・オフハイウェイ向けビジョン：自動車規格に適合した部品上でカメラベースの認識処理を実行し、自動運転車や運転支援を実現します。
• スマートカメラとビデオ分析：映像の取得、エンコード、YOLO推論を1つのチップ上で組み合わせ、セキュリティシステムやビデオ分析に活用します。
• マシンビジョンと品質検査：FPGAベースの高速画像取得とYOLOのインスタンスセグメンテーションまたは分類を組み合わせ、製造ライン上で欠陥を検出します。
• ロボットとドローン：Kria KR260またはVersalモジュールを使用して、姿勢推定、方向付き物体検出、ナビゲーションを決定論的なレイテンシで実行します。

概要#

format="xilinx"でエクスポートすると、AMD QuarkでUltralytics YOLOモデルをVersal AI Edge Series Gen 2 NPU向けに量子化し、ヘッドをBF16のまま維持して、Vitis AIコンパイラー構成をモデルと同じ場所に書き込みます。任意のホストでINT8精度を検証し、AMDのVitis AI Dockerイメージ内で.raiモデルをコンパイルしてから、ONNX RuntimeとVitis AI Execution Providerを使用してボード上で実行してください。

旧型のAMD Xilinxデバイスでは別のワークフローを使用します。Zynq UltraScale+およびKriaのDPUは、凍結されたVitis AI 3.5ツールチェーンと.xmodelファイルを使用し、Hard-SwishなどのDPUネイティブな活性化関数が必要で、AttentionをCPU上で実行します。第1世代Versal AI Edge NPUはスナップショットワークフローを使用します。オペレーターの対応状況はVitis AIのバージョンと精度によって異なります。

その他のデプロイターゲットについては、モデルデプロイオプションガイド、デプロイのベストプラクティス、およびHailo、Rockchip RKNN、Axeleraなどのアクセラレーター統合を参照してください。

よくある質問#