Экспорт и развертывание Axelera AI#

Ultralytics сотрудничает с Axelera AI для обеспечения высокой производительности и энергоэффективности инференса на устройствах Edge AI. Экспортируй и развертывай модели Ultralytics YOLO напрямую на Metis® AIPU, используя Voyager SDK.

Axelera AI обеспечивает специализированное аппаратное ускорение для computer vision на периферии, используя проприетарную архитектуру потока данных и in-memory computing для достижения производительности до 856 TOPS при низком энергопотреблении.

Выбор подходящего оборудования#

Axelera AI предлагает различные форм-факторы для соответствия разным ограничениям развертывания. Приведенная ниже таблица поможет определить оптимальное оборудование для твоего развертывания Ultralytics YOLO.

graph TD
    A[Start: Select Deployment Target]:::start --> B{Device Type?}:::decide
    B -->|Edge Server / Workstation| C{Throughput Needs?}:::decide
    B -->|Embedded / Robotics| D{Space Constraints?}:::decide
    B -->|Standalone / R&D| E[Dev Kits & Systems]:::proc

    C -->|Max Density <br> 30+ Streams| F[**Metis PCIe x4**<br>856 TOPS]:::out
    C -->|Standard PC <br> Low Profile| G[**Metis PCIe x1**<br>214 TOPS]:::out

    D -->|Drones & Handhelds| H[**Metis M.2**<br>2280 M-Key]:::out
    D -->|High Performance Embedded| I[**Metis M.2 MAX**<br>Extended Thermal]:::out

    E -->|ARM-based All-in-One| J[**Metis Compute Board**<br>RK3588 + AIPU]:::out
    E -->|Prototyping| K[**Arduino Portenta x8**<br>Integration Kit]:::out

    click F "https://store.axelera.ai/"
    click G "https://store.axelera.ai/"
    click H "https://store.axelera.ai/"
    click J "https://store.axelera.ai/"

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Аппаратное портфолио#

Аппаратная линейка Axelera оптимизирована для запуска Ultralytics YOLO26 и более ранних версий с высокой эффективностью FPS на ватт.

Карты-ускорители#

Эти платы обеспечивают ускорение ИИ на существующих хост-устройствах, способствуя brownfield deployments.

Интегрированные системы#

Для готовых решений Axelera сотрудничает с производителями, предоставляя системы, предварительно проверенные для Metis AIPU.

• Metis Compute Board: Автономное периферийное устройство, объединяющее Metis AIPU с ARM CPU Rockchip RK3588.
• Рабочие станции: Корпоративные башни от Dell (Precision 3460XE) и Lenovo (ThinkStation P360 Ultra).
• Промышленные ПК: Защищенные системы от Advantech и Aetina, разработанные для manufacturing automation.

Поддерживаемые задачи#

Оценка глубины не поддерживается: голова глубины порождает операторы, которые компилятор Metis AIPU не может понизить. Сегментация YOLO26 также не поддерживается Ultralytics export, но все же может быть развернута через Voyager SDK, как описано ниже.

Установка#

Установка Ultralytics#

pip install ultralytics

Подробные инструкции см. в нашем руководстве по установке Ultralytics. Если у тебя возникли трудности, обратись к нашему руководству по частым проблемам.

Установка драйвера Axelera#

1. Добавь ключ репозитория Axelera:

   sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

2. Добавь репозиторий в apt:

   Выбери подходящий фрагмент кода ниже, соответствующий используемой ОС.

   # Ubuntu 22.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

   # Ubuntu 24.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu24 main' > /etc/apt/sources.list.d/axelera.list"

3. Установи SDK и загрузи драйвер:

   sudo apt update
   sudo apt install -y metis-dkms=1.5.5
   sudo modprobe metis

[libaxldev.c:285] Found kernel driver version 1.4.16, but at least version 1.4.18 is required. Please update the kernel driver
ERROR: AXR_ERROR_CONNECTION_ERROR: Failed to open device metis-0:4:0

sudo apt update
sudo apt install -y metis-dkms=1.5.5
sudo rmmod metis
sudo modprobe metis

pip install axelera-devkit==1.7.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple
pip install axelera-rt==1.7.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple

Экспорт моделей YOLO в Axelera#

Формат Axelera поддерживает режимы Export, Predict и Validate. Инференс и валидация выполняются на аппаратном обеспечении Axelera Metis AIPU. Экспортируй модель, затем загрузи экспортированную модель для запуска инференса или проверки ее точности.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to Axelera format
model.export(format="axelera")  # creates 'yolo26n_axelera_model'

from ultralytics import YOLO

# Load the exported Axelera model
model = YOLO("yolo26n_axelera_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported Axelera model
model = YOLO("yolo26n_axelera_model")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Аргументы экспорта#

Все варианты экспорта см. в документации по режиму экспорта.

Структура вывода#

yolo26n_axelera_model/
├── yolo26n.axm                  # Axelera model file
├── compiler_config_final.toml  # Compiler configuration used for the build
└── metadata.yaml               # Model metadata (classes, image size, etc.)

Бенчмарки Axelera AI#

Metis AIPU максимизирует пропускную способность при минимизации энергопотребления.

Бенчмарки основаны на данных Axelera AI. Фактический FPS зависит от размера модели, пакетирования и входного разрешения.

Применение в реальных условиях#

Ultralytics YOLO на оборудовании Axelera открывает возможности для продвинутых периферийных вычислительных решений:

• Умный ритейл: Object counting в реальном времени и heatmap analytics для оптимизации магазина.
• Промышленная безопасность: Низкозадержечное PPE detection в производственных средах.
• Аналитика дронов: Высокоскоростное object detection на БПЛА для agriculture и поисково-спасательных операций.
• Системы движения: Периферийное license plate recognition и speed estimation.

Рекомендуемый рабочий процесс#

1. Обучай (Train) свою модель с помощью режима обучения Ultralytics
2. Экспорт в формат Axelera с помощью model.export(format="axelera")
3. Проверяй (Validate) точность с помощью yolo val, чтобы убедиться в минимальной потере качества при квантовании
4. Предсказывай (Predict) с помощью yolo predict для качественной проверки
5. Развертывание в высокопроизводительный сквозной пайплайн без зависимости от PyTorch — см. примеры использования YOLO в Voyager SDK для составных конвейеров Python с использованием axelera-rt

Проверка работоспособности устройства#

Проверь, что твое устройство Axelera функционирует правильно:

# if axdevice cannot be found, please run at least one inference (see above) to ensure the required packages are installed
axdevice

Подробную диагностику см. в документации по AxDevice.

Максимальная производительность#

Эта интеграция использует одноядерную конфигурацию для совместимости. Для промышленного использования, требующего максимальной пропускной способности, Axelera Voyager SDK предлагает:

• Использование нескольких ядер (четырехъядерный Metis AIPU)
• Потоковые конвейеры логического вывода
• Тайловый логический вывод для камер с более высоким разрешением

См. model-zoo для получения бенчмарков FPS или свяжись с Axelera для получения производственной поддержки.

Известные проблемы#

Для получения поддержки посети сообщество Axelera.

FAQ#