はじめる

Axelera AIのエクスポートとデプロイ

UltralyticsはAxelera AIと提携し、エッジAIデバイス上で高性能かつ電力効率の高い推論を実現します。Ultralytics YOLOモデルをVoyager SDKでエクスポートし、Metis® AIPUに直接デプロイできます。

YOLO向けAxelera AIエッジデプロイエコシステム

Axelera AIは、独自のデータフローアーキテクチャとインメモリーコンピューティングを使用して、エッジでのコンピュータービジョン専用ハードウェアアクセラレーションを提供し、低消費電力で最大856 TOPSを実現します。

適切なハードウェアの選択#

Axelera AIは、さまざまなデプロイ制約に適合する複数のフォームファクターを提供しています。以下の図を参考に、Ultralytics YOLOのデプロイに最適なハードウェアを特定できます。

ハードウェア製品ラインアップ#

Axeleraのハードウェア製品群は、Ultralytics YOLO26とそれ以前のYOLOバージョンを、高いワット当たりFPSで実行できるよう最適化されています。

アクセラレータカード#

これらのカードを使用すると、既存のホストデバイスにAIアクセラレーションを追加でき、既存設備を活用した導入が容易になります。

製品フォームファクターコンピューティング性能(INT8)対象アプリケーション
Metis PCIe x4PCIe Gen3 x16Metis AIPU 4基856 TOPS高密度のビデオ分析、スマートシティ
Metis PCIe x1PCIe Gen3 x1Metis AIPU 1基214 TOPS産業用PC、小売業の待ち行列管理
Metis M.2M.2 2280 M-KeyMetis AIPU 1基214 TOPSドローン、ロボティクス、ポータブル医療機器
Metis M.2 MAXM.2 2280Metis AIPU 1基214 TOPS高度な熱管理が必要な環境

統合システム#

ターンキーソリューションとして、Axeleraはメーカーと連携し、Metis AIPU向けに事前検証済みのシステムを提供しています。

  • Metis Compute Board:Metis AIPUとRockchip RK3588 ARM CPUを組み合わせたスタンドアロンのエッジデバイスです。
  • ワークステーション:Dell(Precision 3460XE)およびLenovo(ThinkStation P360 Ultra)のエンタープライズ向けタワー型ワークステーションです。
  • 産業用PC:AdvantechおよびAetinaの、製造自動化向けに設計された堅牢なシステムです。

対応タスク#

Axeleraへのエクスポートは、Ultralyticsの7つすべてのタスクに対応しています。セマンティックセグメンテーションと深度推定はYOLO26でのみ利用でき、これらのヘッドを搭載しているのはYOLO26ファミリーだけです。

YOLO26の検出、インスタンスセグメンテーション、ポーズ、OBBモデルは、デフォルトでNMSを使用しない一対一ヘッドをエクスポートし、Axeleraランタイムがホスト上でデコードします。nms=Trueを渡すと、代わりに一対多ヘッドがエクスポートされます。この場合、Metisでのスコアは低くなります。YOLO26nの検出では、この方法でCOCO128上のmAP50-95が0.212となるのに対し、NMSを使用しないヘッドでは0.453に達します。

タスクYOLOv8YOLO11YOLO26
検出✅✅✅
セグメンテーション✅✅✅
セマンティック❌❌✅
深度❌❌✅
分類✅✅✅
姿勢推定✅✅✅
OBB✅✅✅
深度モデルは、独自のシーンの画像でキャリブレーションしてください

量子化範囲はキャリブレーション画像から決まり、深度タスク用のデフォルト設定であるdepth8.yamlには、屋内の4フレームが含まれています。654枚の画像を含むNYU Depth V2の検証用スプリットでは、そのデフォルト設定でキャリブレーションしたYOLO26nの深度モデルは、Metis上でδ1 0.742を記録し、PyTorchモデルのスコアは0.783である一方、NYUの学習フレームを100枚使った場合は0.780です。data=を、モデルが実際に処理するシーンからの画像を少なくとも100枚含むvalスプリットを備えたデータセットYAMLとともに渡すと、キャリブレーションではvalスプリットが読み込まれます。

インストール#

プラットフォーム要件

Axelera形式へのエクスポートには、以下が必要です。

  • オペレーティングシステム:Linuxのみ(Ubuntu 22.04/24.04を推奨)
  • ハードウェア:Axelera AIアクセラレータ(Metisデバイス)
  • Python:バージョン3.10、3.11、3.12、3.13
  • PyTorch:torch>=2.8,<2.15
  • Voyager SDK: 1.9.0。エクスポート時にはこのバージョンのdevkitがインストールされ、推論時にはこのバージョンのランタイムがインストールされます
  • Metisカーネルドライバー: metis-dkms 1.7.0以降。pipとは別にインストールします
  • システム依存関係:sudo apt install libgl1(OpenCVに必要ですが、pip経由ではインストールされません)

Ultralyticsのインストール#

pip install ultralytics

詳しい手順については、Ultralyticsのインストールガイドを参照してください。問題が発生した場合は、よくある問題のガイドをご覧ください。

Axeleraドライバーのインストール#

  1. Axeleraリポジトリーキーを追加します。

    sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"
  2. リポジトリーをaptに追加します。

    使用するOSに合った以下のスニペットを選択してください。

    # Ubuntu 22.04
    sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"
    # Ubuntu 24.04
    sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu24 main' > /etc/apt/sources.list.d/axelera.list"
  3. ドライバーをインストールして読み込みます。SDK 1.9にはmetis-dkms 1.7.0以降が必要なため、ここでは最新バージョンをインストールします。

    sudo apt update
    sudo apt install -y metis-dkms
    sudo modprobe metis
カーネルドライバーをSDKと同期させてください

カーネルドライバーはPython SDKパッケージとは別にインストールされるため、SDKをアップグレードした後は、ドライバーもそのSDKの最小要件に合わせて更新する必要があります。SDK 1.9では1.7.0が必要です。インストール時にこの要件は確認されず、最小要件を下回るドライバーではデバイスを利用できません。axdeviceは必要なバージョンを報告し、デバイスを開けずに失敗します。

[libaxldev.c:285] Found kernel driver version 1.6.2, but at least version 1.7.0 is required. Please update the kernel driver
ERROR: AXR_ERROR_CONNECTION_ERROR: Failed to open device metis-0:4:0

手順3:Metisカーネルドライバーのインストールも参照してください。Ubuntuで以前のSDKをすでに使用している場合は、ドライバーを更新してカーネルモジュールを再ロードしてください(再起動は不要です)。

sudo apt update
sudo apt install -y metis-dkms
sudo rmmod metis
sudo modprobe metis

続いてaxdeviceを再実行し、デバイスが検出されることを確認します。

初回実行時にSDKが自動でダウンロードされます

Axeleraモデルを使用するyolo export format=axeleraまたはyolo predictを初めて実行すると、Axelera SDKパッケージが自動でダウンロードされ、インストールされます。接続速度によっては数分かかる場合があり、ダウンロード中は進行状況が表示されません。事前に手動でインストールするには、以下を実行します。

pip install axelera-devkit==1.9.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple
pip install axelera-rt==1.9.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple
SDK 1.8でエクスポートしたモデルは引き続き動作します

SDK 1.9ではコンパイル済みの.axmモデル形式が変更されないため、1.8でエクスポートした_axelera_modelディレクトリは、変更なしで読み込んで実行できます。コンパイラーの改善を反映させる場合にのみ再エクスポートしてください。

形式を変更するSDKでは、古いディレクトリは読み込み時に拒否されます。SDK 1.7以前からアップグレードすると、次のように報告されます。

Error: Unsupported model version: 4.0, expected at least 5.0
Please re-deploy or re-download the model.

YOLOモデルのAxelera形式へのエクスポート#

Axelera形式は、エクスポート、予測、検証の各モードをサポートしています。推論と検証はAxelera Metis AIPUハードウェア上で実行されます。モデルをエクスポートした後、エクスポート済みモデルを読み込んで推論を実行するか、精度を検証してください。

エクスポート
from ultralytics import YOLO

# YOLO26モデルを読み込みます
model = YOLO("yolo26n.pt")

# モデルをAxelera形式にエクスポートします
model.export(format="axelera")  # creates 'yolo26n_axelera_model'
推論
from ultralytics import YOLO

# エクスポート済みのAxeleraモデルを読み込みます
model = YOLO("yolo26n_axelera_model")

# 推論を実行
results = model("https://ultralytics.com/images/bus.jpg")
検証
from ultralytics import YOLO

# エクスポート済みのAxeleraモデルを読み込みます
model = YOLO("yolo26n_axelera_model")

# COCO8データセットで精度を検証します
metrics = model.val(data="coco8.yaml")

エクスポート引数#

引数種類デフォルト説明
formatstr'axelera'Axelera Metis AIPUハードウェア向けのターゲット形式です。
imgszintまたはtuple640モデル入力の画像サイズです。
batch*int1キャリブレーションのバッチサイズです。コンパイル済みモデルは一度に1枚の画像を処理します。
quantizeintまたはstr8/自動量子化精度です。Axelera AIPUでは8(INT8)が必須で、自動的に有効になります。非推奨のhalf/int8フラグを置き換えるものです。INT8量子化を参照してください。
datastrNoneキャリブレーションデータセットのYAMLファイルです。分類タスクでは、代わりにデータセットディレクトリまたは組み込みデータセット名を指定します。省略した場合、Ultralyticsがタスクに応じたキャリブレーションデータセットを選択します。
fractionfloat、int、またはlist1.0キャリブレーション用サブセットを、割合、画像数、または[train, val, test]の割合/画像数で指定します。2要素のリストではtestは全件を使用し、0はスキップします(100~400枚を推奨)。
devicestrNoneエクスポートデバイス:GPU(device=0)またはCPU(device=cpu)。

* モデルは1枚の画像向けにコンパイルされるため、エクスポート時のbatchはキャリブレーションのバッチサイズのみを設定します。代わりにpredictにbatchを渡すと、Axeleraスケジューラーに複数の画像を一度に渡せます(Voyager SDK 1.8.0以降)。詳しくは最大パフォーマンスをご覧ください。

すべてのエクスポートオプションについては、エクスポートモードのドキュメントを参照してください。

出力構造#

yolo26n_axelera_model/
├── yolo26n.axm                  # Axelera model file
├── compiler_config_final.toml  # Compiler configuration used for the build
└── metadata.yaml               # Model metadata (classes, image size, etc.)

Axelera AI ベンチマーク#

Metis AIPUは、低消費電力で高スループットを実現するよう設計されています。

モデルMetis PCIe FPS(フレーム/秒)Metis M.2 FPS(フレーム/秒)
YOLOv8n847771
YOLO11n746574
YOLO26n648.6484.9

ベンチマークはAxelera AIのデータに基づいています。実際のFPSは、モデルサイズ、バッチ処理、入力解像度によって異なります。

これらは、720pの動画ファイルに対してVoyager SDKのストリーミングパイプラインを使用し、モデルZooで測定したホストスループットの値です。単一のpredict呼び出しでは画像あたりのレイテンシが報告されますが、これは別の指標です。

実際の用途#

Axeleraハードウェア上のUltralytics YOLOは、エッジコンピューティングを活用する次のようなアプリケーションに対応しています。

  1. UltralyticsのTrain Modeを使用してモデルをトレーニングします
  2. model.export(format="axelera")を使用してAxelera形式にエクスポートします
  3. yolo valを使用して精度を検証し、量子化による損失が最小限であることを確認します
  4. 定性的な検証にはyolo predictを使用して推論します
  5. PyTorchに依存しない高性能なエンドツーエンドパイプラインにデプロイします。axelera-rtを使用した構成可能なPythonパイプラインについては、Voyager SDKでのYOLOの例をご覧ください

デバイスのヘルスチェック#

Axeleraデバイスが正常に動作していることを確認します。

# if axdevice cannot be found, please run at least one inference (see above) to ensure the required packages are installed
axdevice

詳細な診断については、AxDeviceのドキュメントをご覧ください。

最大パフォーマンス#

モデルは1枚の画像向けにコンパイルされ、1枚の画像は1つのAIPUコアで実行されます。Predictに複数の画像を渡すと、Axeleraスケジューラーにまとめて渡され、デバイスの各コアに分散されます。

yolo predict model=yolo26n_axelera_model source=path/to/images batch=32

ディレクトリ内の128枚のCOCO128画像に対するyolo26nのimgsz=640での実行結果。Metis PCIe、3回実行した中央値:

Voyager SDKデバイスbatch=1batch=8batch=32
1.8.0136 img/s45 img/s40 img/s
1.8.0239 img/s41 img/s41 img/s
1.9.0141 img/s85 img/s109 img/s
1.9.0235 img/s83 img/s113 img/s

SDK 1.9では、バッチサイズを大きくするとスループットが向上し、batch=32では2.7倍になります。一方、1.8ではバッチサイズにかかわらず約40 img/sを維持します。オフラインのスループットを重視する場合は大きなバッチを使用し、画像ごとのレイテンシーが重要な場合はbatch=1を使用してください。2台目のデバイスを追加してもpredictへの効果は小さく、batch=32では各画像のホスト側前処理にすでに約4 msかかっており、デバイス上の処理時間とほぼ同じです。

predictを超えて#

最大スループットが求められる本番環境では、Axelera Voyager SDKにより、次の機能を利用できます。

  • 複数のフレームを同時に処理するストリーミング推論パイプライン
  • 複数のコアにまたがるモデルのコンパイル
  • 高解像度カメラ向けのタイル分割推論

これらの方法では、predictがホスト上で実行するPyTorchの前処理と後処理を省略します。FPSベンチマークについてはモデルゾーをご覧ください。本番環境でのサポートについてはAxeleraにお問い合わせください。

既知の問題#

既知の制限事項
  • M.2の電力制限:電源の制約により、M.2アクセラレーターでは大規模または特大規模のモデルで実行時エラーが発生する場合があります。

サポートについては、Axeleraコミュニティをご覧ください。

よくある質問#

  • Voyager SDKは、YOLOv8、YOLO11、YOLO26モデルのエクスポートをサポートしています。モデルごとに利用できるタスクについては、サポート対象タスクをご覧ください。

  • はい。Ultralytics Train Modeを使用してトレーニングしたモデルは、サポート対象のレイヤーと演算を使用していれば、Axelera形式にエクスポートできます。

  • AxeleraのVoyager SDKは、混合精度AIPUアーキテクチャ向けにモデルを自動的に量子化します。多くの物体検出タスクでは、性能向上(FPSの向上、消費電力の低減)が、mAPへの小さな影響を通常上回ります。量子化にかかる時間はモデルのサイズによって数秒から数時間です。エクスポート後にyolo valを実行して精度を確認してください。

  • 画像は100~400枚を推奨します。400枚を超えても追加の効果はなく、量子化にかかる時間が長くなります。100枚、200枚、400枚で試し、最適なバランスを見つけてください。

  • SDK、ドライバー、コンパイラーツールは、Voyager SDK GitHubリポジトリから入手できます。

コメント1

質問したり、結果を共有したり、ほかの人をサポートしたりできます。

  1. Glenn JocherUltralytics

    Excited for Axelera support to land in the Ultralytics Python package!

    Early runs on the Metis AIPU look seriously impressive, huge FPS and great efficiency. Big shoutout to the Axelera team for the smooth collaboration. More coming soon.

    Drop any questions in this thread. Happy to help!

    1