Экспорт и развертывание Axelera AI

Ultralytics сотрудничает с Axelera AI, чтобы обеспечить высокопроизводительный и энергоэффективный вывод на устройствах Edge AI. Экспортируйте и развертывайте модели Ultralytics YOLO непосредственно на Metis® AIPU с помощью Voyager SDK.

Axelera AI предоставляет специализированное аппаратное ускорение для компьютерного зрения на периферии, используя проприетарную архитектуру потоков данных и вычисления в памяти для обеспечения до 856 TOPS при низком энергопотреблении.

Выбор подходящего оборудования

Axelera AI предлагает различные форм-факторы для соответствия различным ограничениям развертывания. Приведенная ниже диаграмма помогает определить оптимальное оборудование для вашего развертывания Ultralytics YOLO.

graph TD
    A[Start: Select Deployment Target] --> B{Device Type?}
    B -->|Edge Server / Workstation| C{Throughput Needs?}
    B -->|Embedded / Robotics| D{Space Constraints?}
    B -->|Standalone / R&D| E[Dev Kits & Systems]

    C -->|Max Density <br> 30+ Streams| F[**Metis PCIe x4**<br>856 TOPS]
    C -->|Standard PC <br> Low Profile| G[**Metis PCIe x1**<br>214 TOPS]

    D -->|Drones & Handhelds| H[**Metis M.2**<br>2280 M-Key]
    D -->|High Performance Embedded| I[**Metis M.2 MAX**<br>Extended Thermal]

    E -->|ARM-based All-in-One| J[**Metis Compute Board**<br>RK3588 + AIPU]
    E -->|Prototyping| K[**Arduino Portenta x8**<br>Integration Kit]

    click F "https://store.axelera.ai/"
    click G "https://store.axelera.ai/"
    click H "https://store.axelera.ai/"
    click J "https://store.axelera.ai/"

Портфель оборудования

Линейка оборудования Axelera оптимизирована для запуска Ultralytics YOLO26 и устаревших версий с высокой эффективностью FPS на ватт.

Карты ускорителей

Эти карты обеспечивают ускорение ИИ в существующих хост-устройствах, облегчая развертывания на существующей инфраструктуре.

Интегрированные системы

Для готовых решений Axelera сотрудничает с производителями, чтобы предоставлять системы, предварительно проверенные для Metis AIPU.

• Вычислительная плата Metis: Автономное периферийное устройство, объединяющее Metis AIPU с Rockchip RK3588 ARM CPU.
• Рабочие станции: Корпоративные башни от Dell (Precision 3460XE) и Lenovo (ThinkStation P360 Ultra).
• Промышленные ПК: Прочные системы от Advantech и Aetina, предназначенные для автоматизации производства.

Поддерживаемые задачи

Следующие задачи поддерживаются в моделях YOLOv8, YOLO11 и YOLO26.

Установка

Установка Ultralytics

pip install ultralytics

Подробные инструкции см. в нашем руководстве по установке Ultralytics. В случае возникновения трудностей обратитесь к нашему руководству по распространенным проблемам.

Установка драйвера Axelera

1. Добавьте ключ репозитория Axelera:

   sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"
   

2. Добавьте репозиторий в apt:

   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"
   

3. Установите SDK и загрузите драйвер:

   sudo apt update
   sudo apt install -y metis-dkms=1.4.16
   sudo modprobe metis
   

Экспорт моделей YOLO в Axelera

Экспортируйте обученные модели YOLO с помощью стандартной команды экспорта Ultralytics.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export to Axelera format
model.export(format="axelera")  # creates 'yolo26n_axelera_model' directory

yolo export model=yolo26n.pt format=axelera

Аргументы экспорта

Все параметры экспорта см. в документации по режиму экспорта.

Структура вывода

yolo26n_axelera_model/
├── yolo26n.axm              # Axelera model file
└── metadata.yaml            # Model metadata (classes, image size, etc.)

Запуск логического вывода

Загрузите экспортированную модель с помощью API Ultralytics и выполните инференс, аналогично загрузке моделей ONNX.

from ultralytics import YOLO

# Load the exported Axelera model
model = YOLO("yolo26n_axelera_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

# Process results
for r in results:
    print(f"Detected {len(r.boxes)} objects")
    r.show()  # Display results

yolo predict model='yolo26n_axelera_model' source='https://ultralytics.com/images/bus.jpg'

Тесты производительности Axelera AI

Metis AIPU максимизирует пропускную способность, минимизируя при этом энергопотребление.

Бенчмарки основаны на данных Axelera AI. Фактический FPS зависит от размера модели, пакетной обработки и входного разрешения.

Приложения в реальном мире

Ultralytics YOLO на оборудовании Axelera обеспечивает передовые решения для edge computing:

• Интеллектуальная розничная торговля: Подсчет объектов и аналитика тепловых карт в реальном времени для оптимизации магазина.
• Промышленная безопасность: Обнаружение средств индивидуальной защиты с низкой задержкой в производственных условиях.
• Аналитика с дронов: Высокоскоростное detect объектов на БПЛА для сельского хозяйства и поисково-спасательных операций.
• Транспортные системы: Распознавание номерных знаков и оценка скорости на периферийных устройствах.

Рекомендуемый рабочий процесс

1. Обучите вашу модель, используя режим обучения Ultralytics
2. Экспорт в формат Axelera с использованием model.export(format="axelera")
3. Проверка точность с yolo val для проверки минимальных потерь при квантовании
4. Прогнозирование используя yolo predict для качественной валидации
5. Развертывание в высокопроизводительный сквозной конвейер без PyTorch — см. Примеры использования YOLO SDK Voyager для модульных Python с использованием axelera-rt

Проверка работоспособности устройства

Убедитесь, что ваше устройство Axelera функционирует правильно:

# if axdevice cannot be found, please run at least one inference (see above) to ensure the required packages are installed
axdevice

Для подробной диагностики см. документацию AxDevice.

Максимальная производительность

Эта интеграция использует одноядерную конфигурацию для обеспечения совместимости. Для производственных задач, требующих максимальной пропускной способности, Axelera Voyager SDK предлагает:

• Использование многоядерности (четырехъядерный Metis AIPU)
• Конвейеры потокового вывода
• Плиточный вывод для камер высокого разрешения

См. model-zoo для сравнения FPS или свяжитесь с Axelera для получения производственной поддержки.

Известные проблемы

Для получения поддержки посетите сообщество Axelera.

Часто задаваемые вопросы

Какие версии YOLO поддерживаются на Axelera?

SDK Voyager поддерживает экспорт YOLOv8, YOLO11и YOLO26. См. раздел «Поддерживаемые задачи» для ознакомления с доступными задачами для каждой модели.

Можно ли развертывать модели, обученные на пользовательских данных?

Да. Любая модель, обученная с использованием Ultralytics Train Mode, может быть экспортирована в формат Axelera, при условии, что она использует поддерживаемые слои и операции.

Как влияет квантование INT8 на точность?

Voyager SDK от Axelera автоматически квантует модели для архитектуры AIPU со смешанной точностью. Для большинства обнаружения объектов задач, выигрыш в производительности (более высокий FPS, меньшее энергопотребление) значительно перевешивает минимальное влияние на mAP. Квантование занимает от нескольких секунд до нескольких часов в зависимости от размера модели. Запустите yolo val после экспорта для проверки точности.

Сколько калибровочных изображений следует использовать?

Мы рекомендуем от 100 до 400 изображений. Более 400 изображений не дают дополнительной выгоды и увеличивают время квантования. Экспериментируйте со 100, 200 и 400 изображениями, чтобы найти оптимальный баланс.

Где я могу найти Voyager SDK?

SDK, драйверы и инструменты компилятора доступны через Портал разработчика Axelera.

📅 Создано 4 месяцев назад ✏️ Обновлено 2 дней назад

Комментарии