Axelera AIのエクスポートとデプロイ
UltralyticsはAxelera AIと提携し、エッジAIデバイス上で高性能かつ電力効率の高い推論を実現します。Ultralytics YOLOモデルをVoyager SDKでエクスポートし、Metis® AIPUに直接デプロイできます。
Axelera AIは、独自のデータフローアーキテクチャとインメモリーコンピューティングを使用して、エッジでのコンピュータービジョン専用ハードウェアアクセラレーションを提供し、低消費電力で最大856 TOPSを実現します。
適切なハードウェアの選択#
Axelera AIは、さまざまなデプロイ制約に適合する複数のフォームファクターを提供しています。以下の図を参考に、Ultralytics YOLOのデプロイに最適なハードウェアを特定できます。
ハードウェア製品ラインアップ#
Axeleraのハードウェア製品群は、Ultralytics YOLO26とそれ以前のYOLOバージョンを、高いワット当たりFPSで実行できるよう最適化されています。
アクセラレータカード#
これらのカードを使用すると、既存のホストデバイスにAIアクセラレーションを追加でき、既存設備を活用した導入が容易になります。
| 製品 | フォームファクター | コンピューティング | 性能(INT8) | 対象アプリケーション |
|---|---|---|---|---|
| Metis PCIe x4 | PCIe Gen3 x16 | Metis AIPU 4基 | 856 TOPS | 高密度のビデオ分析、スマートシティ |
| Metis PCIe x1 | PCIe Gen3 x1 | Metis AIPU 1基 | 214 TOPS | 産業用PC、小売業の待ち行列管理 |
| Metis M.2 | M.2 2280 M-Key | Metis AIPU 1基 | 214 TOPS | ドローン、ロボティクス、ポータブル医療機器 |
| Metis M.2 MAX | M.2 2280 | Metis AIPU 1基 | 214 TOPS | 高度な熱管理が必要な環境 |
統合システム#
ターンキーソリューションとして、Axeleraはメーカーと連携し、Metis AIPU向けに事前検証済みのシステムを提供しています。
- Metis Compute Board:Metis AIPUとRockchip RK3588 ARM CPUを組み合わせたスタンドアロンのエッジデバイスです。
- ワークステーション:Dell(Precision 3460XE)およびLenovo(ThinkStation P360 Ultra)のエンタープライズ向けタワー型ワークステーションです。
- 産業用PC:AdvantechおよびAetinaの、製造自動化向けに設計された堅牢なシステムです。
対応タスク#
Axeleraへのエクスポートは、Ultralyticsの7つすべてのタスクに対応しています。セマンティックセグメンテーションと深度推定はYOLO26でのみ利用でき、これらのヘッドを搭載しているのはYOLO26ファミリーだけです。
YOLO26の検出、インスタンスセグメンテーション、ポーズ、OBBモデルは、デフォルトでNMSを使用しない一対一ヘッドをエクスポートし、Axeleraランタイムがホスト上でデコードします。nms=Trueを渡すと、代わりに一対多ヘッドがエクスポートされます。この場合、Metisでのスコアは低くなります。YOLO26nの検出では、この方法でCOCO128上のmAP50-95が0.212となるのに対し、NMSを使用しないヘッドでは0.453に達します。
量子化範囲はキャリブレーション画像から決まり、深度タスク用のデフォルト設定であるdepth8.yamlには、屋内の4フレームが含まれています。654枚の画像を含むNYU Depth V2の検証用スプリットでは、そのデフォルト設定でキャリブレーションしたYOLO26nの深度モデルは、Metis上でδ1 0.742を記録し、PyTorchモデルのスコアは0.783である一方、NYUの学習フレームを100枚使った場合は0.780です。data=を、モデルが実際に処理するシーンからの画像を少なくとも100枚含むvalスプリットを備えたデータセットYAMLとともに渡すと、キャリブレーションではvalスプリットが読み込まれます。
インストール#
Axelera形式へのエクスポートには、以下が必要です。
- オペレーティングシステム:Linuxのみ(Ubuntu 22.04/24.04を推奨)
- ハードウェア:Axelera AIアクセラレータ(Metisデバイス)
- Python:バージョン3.10、3.11、3.12、3.13
- PyTorch:
torch>=2.8,<2.15 - Voyager SDK: 1.9.0。エクスポート時にはこのバージョンのdevkitがインストールされ、推論時にはこのバージョンのランタイムがインストールされます
- Metisカーネルドライバー:
metis-dkms1.7.0以降。pipとは別にインストールします - システム依存関係:
sudo apt install libgl1(OpenCVに必要ですが、pip経由ではインストールされません)
Ultralyticsのインストール#
pip install ultralytics詳しい手順については、Ultralyticsのインストールガイドを参照してください。問題が発生した場合は、よくある問題のガイドをご覧ください。
Axeleraドライバーのインストール#
-
Axeleraリポジトリーキーを追加します。
sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg" -
リポジトリーをaptに追加します。
使用するOSに合った以下のスニペットを選択してください。
# Ubuntu 22.04 sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"# Ubuntu 24.04 sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu24 main' > /etc/apt/sources.list.d/axelera.list" -
ドライバーをインストールして読み込みます。SDK 1.9には
metis-dkms1.7.0以降が必要なため、ここでは最新バージョンをインストールします。sudo apt update sudo apt install -y metis-dkms sudo modprobe metis
カーネルドライバーはPython SDKパッケージとは別にインストールされるため、SDKをアップグレードした後は、ドライバーもそのSDKの最小要件に合わせて更新する必要があります。SDK 1.9では1.7.0が必要です。インストール時にこの要件は確認されず、最小要件を下回るドライバーではデバイスを利用できません。axdeviceは必要なバージョンを報告し、デバイスを開けずに失敗します。
[libaxldev.c:285] Found kernel driver version 1.6.2, but at least version 1.7.0 is required. Please update the kernel driver
ERROR: AXR_ERROR_CONNECTION_ERROR: Failed to open device metis-0:4:0手順3:Metisカーネルドライバーのインストールも参照してください。Ubuntuで以前のSDKをすでに使用している場合は、ドライバーを更新してカーネルモジュールを再ロードしてください(再起動は不要です)。
sudo apt update
sudo apt install -y metis-dkms
sudo rmmod metis
sudo modprobe metis続いてaxdeviceを再実行し、デバイスが検出されることを確認します。
Axeleraモデルを使用するyolo export format=axeleraまたはyolo predictを初めて実行すると、Axelera SDKパッケージが自動でダウンロードされ、インストールされます。接続速度によっては数分かかる場合があり、ダウンロード中は進行状況が表示されません。事前に手動でインストールするには、以下を実行します。
pip install axelera-devkit==1.9.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple
pip install axelera-rt==1.9.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simpleSDK 1.9ではコンパイル済みの.axmモデル形式が変更されないため、1.8でエクスポートした_axelera_modelディレクトリは、変更なしで読み込んで実行できます。コンパイラーの改善を反映させる場合にのみ再エクスポートしてください。
形式を変更するSDKでは、古いディレクトリは読み込み時に拒否されます。SDK 1.7以前からアップグレードすると、次のように報告されます。
Error: Unsupported model version: 4.0, expected at least 5.0
Please re-deploy or re-download the model.YOLOモデルのAxelera形式へのエクスポート#
Axelera形式は、エクスポート、予測、検証の各モードをサポートしています。推論と検証はAxelera Metis AIPUハードウェア上で実行されます。モデルをエクスポートした後、エクスポート済みモデルを読み込んで推論を実行するか、精度を検証してください。
from ultralytics import YOLO
# YOLO26モデルを読み込みます
model = YOLO("yolo26n.pt")
# モデルをAxelera形式にエクスポートします
model.export(format="axelera") # creates 'yolo26n_axelera_model'from ultralytics import YOLO
# エクスポート済みのAxeleraモデルを読み込みます
model = YOLO("yolo26n_axelera_model")
# 推論を実行
results = model("https://ultralytics.com/images/bus.jpg")from ultralytics import YOLO
# エクスポート済みのAxeleraモデルを読み込みます
model = YOLO("yolo26n_axelera_model")
# COCO8データセットで精度を検証します
metrics = model.val(data="coco8.yaml")エクスポート引数#
| 引数 | 種類 | デフォルト | 説明 |
|---|---|---|---|
format | str | 'axelera' | Axelera Metis AIPUハードウェア向けのターゲット形式です。 |
imgsz | intまたはtuple | 640 | モデル入力の画像サイズです。 |
batch* | int | 1 | キャリブレーションのバッチサイズです。コンパイル済みモデルは一度に1枚の画像を処理します。 |
quantize | intまたはstr | 8/自動 | 量子化精度です。Axelera AIPUでは8(INT8)が必須で、自動的に有効になります。非推奨のhalf/int8フラグを置き換えるものです。INT8量子化を参照してください。 |
data | str | None | キャリブレーションデータセットのYAMLファイルです。分類タスクでは、代わりにデータセットディレクトリまたは組み込みデータセット名を指定します。省略した場合、Ultralyticsがタスクに応じたキャリブレーションデータセットを選択します。 |
fraction | float、int、またはlist | 1.0 | キャリブレーション用サブセットを、割合、画像数、または[train, val, test]の割合/画像数で指定します。2要素のリストではtestは全件を使用し、0はスキップします(100~400枚を推奨)。 |
device | str | None | エクスポートデバイス:GPU(device=0)またはCPU(device=cpu)。 |
* モデルは1枚の画像向けにコンパイルされるため、エクスポート時のbatchはキャリブレーションのバッチサイズのみを設定します。代わりにpredictにbatchを渡すと、Axeleraスケジューラーに複数の画像を一度に渡せます(Voyager SDK 1.8.0以降)。詳しくは最大パフォーマンスをご覧ください。
すべてのエクスポートオプションについては、エクスポートモードのドキュメントを参照してください。
出力構造#
yolo26n_axelera_model/
├── yolo26n.axm # Axelera model file
├── compiler_config_final.toml # Compiler configuration used for the build
└── metadata.yaml # Model metadata (classes, image size, etc.)Axelera AI ベンチマーク#
Metis AIPUは、低消費電力で高スループットを実現するよう設計されています。
| モデル | Metis PCIe FPS(フレーム/秒) | Metis M.2 FPS(フレーム/秒) |
|---|---|---|
| YOLOv8n | 847 | 771 |
| YOLO11n | 746 | 574 |
| YOLO26n | 648.6 | 484.9 |
ベンチマークはAxelera AIのデータに基づいています。実際のFPSは、モデルサイズ、バッチ処理、入力解像度によって異なります。
これらは、720pの動画ファイルに対してVoyager SDKのストリーミングパイプラインを使用し、モデルZooで測定したホストスループットの値です。単一のpredict呼び出しでは画像あたりのレイテンシが報告されますが、これは別の指標です。
実際の用途#
Axeleraハードウェア上のUltralytics YOLOは、エッジコンピューティングを活用する次のようなアプリケーションに対応しています。
- スマートリテール:物体カウントとヒートマップ分析をリアルタイムで行い、店舗運営を最適化します。
- 産業安全:製造環境における低レイテンシのPPE検出。
- ドローン分析:農業や捜索救助活動向けに、UAV上で高速な物体検出を実現します。
- 交通システム:エッジベースのナンバープレート認識と速度推定。
推奨ワークフロー#
- UltralyticsのTrain Modeを使用してモデルをトレーニングします
model.export(format="axelera")を使用してAxelera形式にエクスポートしますyolo valを使用して精度を検証し、量子化による損失が最小限であることを確認します- 定性的な検証には
yolo predictを使用して推論します - PyTorchに依存しない高性能なエンドツーエンドパイプラインにデプロイします。
axelera-rtを使用した構成可能なPythonパイプラインについては、Voyager SDKでのYOLOの例をご覧ください
デバイスのヘルスチェック#
Axeleraデバイスが正常に動作していることを確認します。
# if axdevice cannot be found, please run at least one inference (see above) to ensure the required packages are installed
axdevice詳細な診断については、AxDeviceのドキュメントをご覧ください。
最大パフォーマンス#
モデルは1枚の画像向けにコンパイルされ、1枚の画像は1つのAIPUコアで実行されます。Predictに複数の画像を渡すと、Axeleraスケジューラーにまとめて渡され、デバイスの各コアに分散されます。
yolo predict model=yolo26n_axelera_model source=path/to/images batch=32ディレクトリ内の128枚のCOCO128画像に対するyolo26nのimgsz=640での実行結果。Metis PCIe、3回実行した中央値:
| Voyager SDK | デバイス | batch=1 | batch=8 | batch=32 |
|---|---|---|---|---|
| 1.8.0 | 1 | 36 img/s | 45 img/s | 40 img/s |
| 1.8.0 | 2 | 39 img/s | 41 img/s | 41 img/s |
| 1.9.0 | 1 | 41 img/s | 85 img/s | 109 img/s |
| 1.9.0 | 2 | 35 img/s | 83 img/s | 113 img/s |
SDK 1.9では、バッチサイズを大きくするとスループットが向上し、batch=32では2.7倍になります。一方、1.8ではバッチサイズにかかわらず約40 img/sを維持します。オフラインのスループットを重視する場合は大きなバッチを使用し、画像ごとのレイテンシーが重要な場合はbatch=1を使用してください。2台目のデバイスを追加してもpredictへの効果は小さく、batch=32では各画像のホスト側前処理にすでに約4 msかかっており、デバイス上の処理時間とほぼ同じです。
predictを超えて#
最大スループットが求められる本番環境では、Axelera Voyager SDKにより、次の機能を利用できます。
- 複数のフレームを同時に処理するストリーミング推論パイプライン
- 複数のコアにまたがるモデルのコンパイル
- 高解像度カメラ向けのタイル分割推論
これらの方法では、predictがホスト上で実行するPyTorchの前処理と後処理を省略します。FPSベンチマークについてはモデルゾーをご覧ください。本番環境でのサポートについてはAxeleraにお問い合わせください。
既知の問題#
- M.2の電力制限:電源の制約により、M.2アクセラレーターでは大規模または特大規模のモデルで実行時エラーが発生する場合があります。
サポートについては、Axeleraコミュニティをご覧ください。
よくある質問#
はい。Ultralytics Train Modeを使用してトレーニングしたモデルは、サポート対象のレイヤーと演算を使用していれば、Axelera形式にエクスポートできます。
画像は100~400枚を推奨します。400枚を超えても追加の効果はなく、量子化にかかる時間が長くなります。100枚、200枚、400枚で試し、最適なバランスを見つけてください。
SDK、ドライバー、コンパイラーツールは、Voyager SDK GitHubリポジトリから入手できます。
コメント1
質問したり、結果を共有したり、ほかの人をサポートしたりできます。
Glenn JocherUltralyticsExcited for Axelera support to land in the Ultralytics Python package!
Early runs on the Metis AIPU look seriously impressive, huge FPS and great efficiency. Big shoutout to the Axelera team for the smooth collaboration. More coming soon.
Drop any questions in this thread. Happy to help!
1