Экспорт и развёртывание Axelera AI#

Ultralytics сотрудничает с Axelera AI, обеспечивая высокопроизводительный и энергоэффективный инференс на устройствах Edge AI. Экспортируй и развёртывай модели Ultralytics YOLO напрямую на Metis® AIPU с помощью Voyager SDK.

Axelera AI предоставляет специализированное аппаратное ускорение для компьютерного зрения на периферии, используя проприетарную архитектуру потоков данных и вычисления в памяти, чтобы обеспечивать до 856 TOPS при низком энергопотреблении.

Выбор подходящего оборудования#

Axelera AI предлагает различные форм-факторы для разных ограничений развёртывания. Приведённая ниже таблица помогает определить оптимальное оборудование для развёртывания Ultralytics YOLO.

graph TD
    A[Start: Select Deployment Target]:::start --> B{Device Type?}:::decide
    B -->|Edge Server / Workstation| C{Throughput Needs?}:::decide
    B -->|Embedded / Robotics| D{Space Constraints?}:::decide
    B -->|Standalone / R&D| E[Dev Kits & Systems]:::proc

    C -->|Max Density <br> 30+ Streams| F[**Metis PCIe x4**<br>856 TOPS]:::out
    C -->|Standard PC <br> Low Profile| G[**Metis PCIe x1**<br>214 TOPS]:::out

    D -->|Drones & Handhelds| H[**Metis M.2**<br>2280 M-Key]:::out
    D -->|High Performance Embedded| I[**Metis M.2 MAX**<br>Extended Thermal]:::out

    E -->|ARM-based All-in-One| J[**Metis Compute Board**<br>RK3588 + AIPU]:::out
    E -->|Prototyping| K[**Arduino Portenta x8**<br>Integration Kit]:::out

    click F "https://store.axelera.ai/"
    click G "https://store.axelera.ai/"
    click H "https://store.axelera.ai/"
    click J "https://store.axelera.ai/"

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Линейка оборудования#

Линейка оборудования Axelera оптимизирована для запуска Ultralytics YOLO26 и предыдущих версий с высокой эффективностью FPS на ватт.

Платы-ускорители#

Эти платы обеспечивают ускорение ИИ в существующих хост-устройствах, упрощая развёртывание на действующей инфраструктуре.

Интегрированные системы#

Для готовых решений Axelera сотрудничает с производителями, предоставляя системы, предварительно проверенные для работы с Metis AIPU.

• Metis Compute Board: автономное периферийное устройство, объединяющее Metis AIPU с ARM CPU Rockchip RK3588.
• Рабочие станции: корпоративные башенные системы от Dell (Precision 3460XE) и Lenovo (ThinkStation P360 Ultra).
• Промышленные ПК: защищённые системы от Advantech и Aetina, предназначенные для автоматизации производства.

Поддерживаемые задачи#

Оценка глубины не поддерживается: голова оценки глубины генерирует операторы, которые компилятор Metis AIPU не может транслировать. Сегментация экземпляров YOLO26 также не поддерживается Ultralytics export, но все равно может быть развернута через Voyager SDK, как описано ниже. Сегментация семантики YOLO26 поддерживается.

Установка#

Установка Ultralytics#

pip install ultralytics

Подробные инструкции см. в нашем руководстве по установке Ultralytics. Если у тебя возникнут проблемы, обратись к нашему руководству по распространённым проблемам.

Установка драйвера Axelera#

1. Добавь ключ репозитория Axelera:

   sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

2. Добавь репозиторий в apt:

   Выбери приведённый ниже фрагмент, соответствующий используемой ОС.

   # Ubuntu 22.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

   # Ubuntu 24.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu24 main' > /etc/apt/sources.list.d/axelera.list"

3. Установи и загрузи драйвер. SDK 1.8 требует metis-dkms 1.6.2 или новее, поэтому здесь устанавливается самая новая версия:

   sudo apt update
   sudo apt install -y metis-dkms
   sudo modprobe metis

[libaxldev.c:285] Found kernel driver version 1.5.5, but at least version 1.6.2 is required. Please update the kernel driver
ERROR: AXR_ERROR_CONNECTION_ERROR: Failed to open device metis-0:4:0

sudo apt update
sudo apt install -y metis-dkms
sudo rmmod metis
sudo modprobe metis

pip install axelera-devkit==1.8.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple
pip install axelera-rt==1.8.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple

Error: Unsupported model version: 4.0, expected at least 5.0
Please re-deploy or re-download the model.

Экспорт моделей YOLO в Axelera#

Формат Axelera поддерживает режимы экспорта, предсказания и валидации. Инференс и валидация выполняются на оборудовании Axelera Metis AIPU. Экспортируй модель, затем загрузи экспортированную модель для запуска инференса или проверки её точности.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to Axelera format
model.export(format="axelera")  # creates 'yolo26n_axelera_model'

from ultralytics import YOLO

# Load the exported Axelera model
model = YOLO("yolo26n_axelera_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported Axelera model
model = YOLO("yolo26n_axelera_model")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Аргументы экспорта#

* Инференс с batch>1 требует Voyager SDK 1.8.0 или новее; модели скомпилированы для одного изображения.

Все параметры экспорта см. в документации по режиму экспорта.

Структура выходных данных#

yolo26n_axelera_model/
├── yolo26n.axm                  # Axelera model file
├── compiler_config_final.toml  # Compiler configuration used for the build
└── metadata.yaml               # Model metadata (classes, image size, etc.)

Тесты производительности Axelera AI#

Metis AIPU максимизирует пропускную способность и одновременно минимизирует энергопотребление.

Результаты основаны на данных Axelera AI. Фактический FPS зависит от размера модели, размера пакета и разрешения входных данных.

Это показатели пропускной способности хоста, измеренные зоопарком моделей с помощью конвейера потоковой передачи Voyager SDK поверх видеофайла 720p. Один вызов predict, напротив, сообщает задержку для каждого изображения, что является другой величиной.

Практические применения#

Ultralytics YOLO на оборудовании Axelera обеспечивает передовые решения для периферийных вычислений:

• Умная розничная торговля: Подсчёт объектов и аналитика тепловых карт в реальном времени для оптимизации магазинов.
• Промышленная безопасность: обнаружение СИЗ с низкой задержкой на производственных объектах.
• Аналитика с дронов: высокоскоростная детекция объектов на БПЛА для сельского хозяйства и поисково-спасательных операций.
• Транспортные системы: периферийное распознавание номерных знаков и оценка скорости.

Рекомендуемый рабочий процесс#

1. Обучи модель с помощью Ultralytics режима обучения
2. Экспортируй модель в формат Axelera с помощью model.export(format="axelera")
3. Проверь точность с помощью yolo val, чтобы убедиться в минимальной потере качества из-за квантования
4. Выполни предсказание с помощью yolo predict для качественной валидации
5. Разверни высокопроизводительный сквозной конвейер без зависимости от PyTorch — см. примеры YOLO для Voyager SDK, демонстрирующие компонуемые конвейеры Python с использованием axelera-rt

Проверка состояния устройства#

Убедись, что устройство Axelera работает корректно:

# if axdevice cannot be found, please run at least one inference (see above) to ensure the required packages are installed
axdevice

Подробную диагностику см. в документации AxDevice.

Максимальная производительность#

Модели скомпилированы для одного изображения. Передача нескольких изображений в Predict направляет их через планировщик Axelera (Voyager SDK 1.8 или новее), поэтому batch>1 работает корректно, хотя при измерении от начала до конца на одном устройстве работает не быстрее, чем batch=1:

yolo predict model=yolo26n_axelera_model source=path/to/images batch=8

Для производства, требующего максимальной пропускной способности, Axelera Voyager SDK предлагает:

• Конвейеры потокового инференса, которые держат в обработке несколько кадров
• Компиляцию одной модели на нескольких ядрах
• Мозаичный инференс для камер с более высоким разрешением

См. каталог моделей, чтобы ознакомиться с тестами производительности в FPS, или свяжись с Axelera по вопросам поддержки в рабочих средах.

Известные проблемы#

Для получения поддержки посети сообщество Axelera.

Часто задаваемые вопросы#