Экспорт и развертывание в Axelera AI

Ultralytics сотрудничает с Axelera AI, чтобы обеспечить высокопроизводительный и энергоэффективный инференс на устройствах Edge AI. Экспортируй и разворачивай модели Ultralytics YOLO напрямую на Metis® AIPU с помощью Voyager SDK.

Axelera AI предоставляет выделенное аппаратное ускорение для компьютерного зрения на периферии, используя проприетарную архитектуру потока данных и вычисления в памяти для обеспечения производительности до 856 TOPS при низком энергопотреблении.

Выбор подходящего оборудования

Axelera AI предлагает различные форм-факторы для соответствия разным ограничениям развертывания. Приведенная ниже таблица поможет определить оптимальное оборудование для твоего развертывания Ultralytics YOLO.

graph TD
    A[Start: Select Deployment Target] --> B{Device Type?}
    B -->|Edge Server / Workstation| C{Throughput Needs?}
    B -->|Embedded / Robotics| D{Space Constraints?}
    B -->|Standalone / R&D| E[Dev Kits & Systems]

    C -->|Max Density <br> 30+ Streams| F[**Metis PCIe x4**<br>856 TOPS]
    C -->|Standard PC <br> Low Profile| G[**Metis PCIe x1**<br>214 TOPS]

    D -->|Drones & Handhelds| H[**Metis M.2**<br>2280 M-Key]
    D -->|High Performance Embedded| I[**Metis M.2 MAX**<br>Extended Thermal]

    E -->|ARM-based All-in-One| J[**Metis Compute Board**<br>RK3588 + AIPU]
    E -->|Prototyping| K[**Arduino Portenta x8**<br>Integration Kit]

    click F "https://store.axelera.ai/"
    click G "https://store.axelera.ai/"
    click H "https://store.axelera.ai/"
    click J "https://store.axelera.ai/"

Портфолио оборудования

Линейка оборудования Axelera оптимизирована для запуска Ultralytics YOLO26 и устаревших версий с высокой эффективностью кадров в секунду на ватт.

Карты-ускорители

Эти карты обеспечивают ускорение ИИ в существующих хост-устройствах, облегчая развертывание на устаревшей инфраструктуре.

Интегрированные системы

Для готовых решений Axelera сотрудничает с производителями, предоставляя системы, предварительно проверенные для Metis AIPU.

• Metis Compute Board: Автономное периферийное устройство, объединяющее Metis AIPU с ARM-процессором Rockchip RK3588.
• Рабочие станции: Корпоративные башни от Dell (Precision 3460XE) и Lenovo (ThinkStation P360 Ultra).
• Промышленные ПК: Защищенные системы от Advantech и Aetina, разработанные для автоматизации производства.

Поддерживаемые задачи

Следующие задачи поддерживаются в моделях YOLOv8, YOLO11 и YOLO26.

Установка

Установка Ultralytics

pip install ultralytics

Для получения подробных инструкций обратись к нашему руководству по установке Ultralytics. Если возникнут трудности, ознакомься с нашим руководством по распространенным проблемам.

Установка драйвера Axelera

1. Добавь ключ репозитория Axelera:

   sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

2. Добавь репозиторий в apt:

   Выбери подходящий фрагмент кода ниже в соответствии с используемой ОС.

   # Ubuntu 22.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

   # Ubuntu 24.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu24 main' > /etc/apt/sources.list.d/axelera.list"

3. Установи SDK и загрузи драйвер:

   sudo apt update
   sudo apt install -y metis-dkms=1.4.16
   sudo modprobe metis

pip install axelera-devkit==1.6.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple
pip install axelera-rt==1.6.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple

Экспорт моделей YOLO в Axelera

Экспортируй обученные модели YOLO, используя стандартную команду экспорта Ultralytics.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export to Axelera format
model.export(format="axelera")  # creates 'yolo26n_axelera_model' directory

Аргументы экспорта

Все опции экспорта смотри в документации режима Export.

Структура вывода

yolo26n_axelera_model/
├── yolo26n.axm              # Axelera model file
└── metadata.yaml            # Model metadata (classes, image size, etc.)

Запуск инференса

Загрузи экспортированную модель с помощью API Ultralytics и выполни инференс, аналогично тому, как загружаются модели ONNX.

from ultralytics import YOLO

# Load the exported Axelera model
model = YOLO("yolo26n_axelera_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

# Process results
for r in results:
    print(f"Detected {len(r.boxes)} objects")
    r.show()  # Display results

Бенчмарки Axelera AI

Metis AIPU максимизирует пропускную способность, минимизируя энергопотребление.

Бенчмарки основаны на данных Axelera AI. Фактический FPS зависит от размера модели, пакетирования и разрешения входных данных.

Применение в реальных условиях

Ultralytics YOLO на оборудовании Axelera позволяет создавать продвинутые решения для периферийных вычислений:

• Умная розница: Подсчет объектов в реальном времени и аналитика тепловых карт для оптимизации магазина.
• Промышленная безопасность: Обнаружение СИЗ с низкой задержкой в производственных условиях.
• Аналитика с дронов: Высокоскоростное обнаружение объектов на БПЛА для сельского хозяйства и поисково-спасательных работ.
• Traffic Systems: Edge-based license plate recognition and speed estimation.

Рекомендуемый рабочий процесс

1. Обучи свою модель, используя Train Mode в Ultralytics
2. Экспортируй в формат Axelera, используя model.export(format="axelera")
3. Проверь точность с помощью yolo val, чтобы убедиться в минимальных потерях от квантования
4. Выполни предсказание с помощью yolo predict для качественной проверки
5. Разверни в высокопроизводительный сквозной конвейер без зависимости от PyTorch — смотри примеры YOLO на Voyager SDK для создания композитных Python-конвейеров с использованием axelera-rt

Проверка работоспособности устройства

Убедись, что твое устройство Axelera функционирует должным образом:

# if axdevice cannot be found, please run at least one inference (see above) to ensure the required packages are installed
axdevice

Для подробной диагностики обратись к документации AxDevice.

Максимальная производительность

Эта интеграция использует одноядерную конфигурацию для совместимости. Для продакшена, требующего максимальной пропускной способности, Axelera Voyager SDK предлагает:

• Использование нескольких ядер (четырехъядерный Metis AIPU)
• Потоковые конвейеры логического вывода
• Тайловый (фрагментированный) логический вывод для камер высокого разрешения

См. model-zoo для получения данных о бенчмарках FPS или свяжись с Axelera для получения поддержки в продакшене.

Известные проблемы

Для получения поддержки посети сообщество Axelera.

Часто задаваемые вопросы (FAQ)

Какие версии YOLO поддерживаются на Axelera?

Voyager SDK поддерживает экспорт моделей YOLOv8, YOLO11 и YOLO26. См. Поддерживаемые задачи для получения информации о доступности задач для каждой модели.

Могу ли я развернуть свои собственные обученные модели?

Да. Любая модель, обученная с использованием режима обучения Ultralytics, может быть экспортирована в формат Axelera, при условии, что она использует поддерживаемые слои и операции.

Как квантование INT8 влияет на точность?

Voyager SDK от Axelera автоматически квантует модели для архитектуры AIPU со смешанной точностью. Для большинства задач обнаружения объектов прирост производительности (более высокий FPS, меньшее энергопотребление) значительно перевешивает минимальное влияние на mAP. Квантование занимает от нескольких секунд до нескольких часов в зависимости от размера модели. Запусти yolo val после экспорта, чтобы проверить точность.

Сколько калибровочных изображений мне следует использовать?

Мы рекомендуем от 100 до 400 изображений. Более 400 не дает дополнительных преимуществ и увеличивает время квантования. Поэкспериментируй со 100, 200 и 400 изображениями, чтобы найти оптимальный баланс.

Где я могу найти Voyager SDK?

SDK, драйверы и инструменты компилятора доступны через портал разработчиков Axelera.