Экспорт и развертывание искусственного интеллекта Axelera

Ultralytics с Axelera AI, чтобы обеспечить высокопроизводительное и энергоэффективное вычисление на устройствах Edge AI. Экспортируйте и развертывайте YOLO Ultralytics YOLO непосредственно на Metis® AIPU с помощью Voyager SDK.

Axelera AI обеспечивает специализированное аппаратное ускорение для компьютерного зрения на периферии, используя запатентованную архитектуру потока данных и вычисления в памяти, чтобы обеспечить производительность до 856 TOPS при низком энергопотреблении.

Выбор подходящего оборудования

Axelera AI предлагает различные форм-факторы для соответствия различным ограничениям развертывания. Приведенная ниже диаграмма помогает определить оптимальное оборудование для вашего развертывания Ultralytics YOLO.

graph TD
    A[Start: Select Deployment Target] --> B{Device Type?}
    B -->|Edge Server / Workstation| C{Throughput Needs?}
    B -->|Embedded / Robotics| D{Space Constraints?}
    B -->|Standalone / R&D| E[Dev Kits & Systems]

    C -->|Max Density <br> 30+ Streams| F[**Metis PCIe x4**<br>856 TOPS]
    C -->|Standard PC <br> Low Profile| G[**Metis PCIe x1**<br>214 TOPS]

    D -->|Drones & Handhelds| H[**Metis M.2**<br>2280 M-Key]
    D -->|High Performance Embedded| I[**Metis M.2 MAX**<br>Extended Thermal]

    E -->|ARM-based All-in-One| J[**Metis Compute Board**<br>RK3588 + AIPU]
    E -->|Prototyping| K[**Arduino Portenta x8**<br>Integration Kit]

    click F "https://store.axelera.ai/"
    click G "https://store.axelera.ai/"
    click H "https://store.axelera.ai/"
    click J "https://store.axelera.ai/"

Портфель оборудования

Линейка оборудования Axelera оптимизирована для запуска Ultralytics YOLO11 и устаревших версий с высокой энергоэффективностью FPS-per-watt.

Карты ускорителей

Эти карты обеспечивают ускорение ИИ в существующих хост-устройствах, облегчая развертывания на существующей инфраструктуре.

Интегрированные системы

Для готовых решений Axelera сотрудничает с производителями, чтобы предоставлять системы, предварительно проверенные для Metis AIPU.

• Вычислительная плата Metis: Автономное периферийное устройство, объединяющее Metis AIPU с Rockchip RK3588 ARM CPU.
• Рабочие станции: Корпоративные башни от Dell (Precision 3460XE) и Lenovo (ThinkStation P360 Ultra).
• Промышленные ПК: Прочные системы от Advantech и Aetina, предназначенные для автоматизации производства.

Поддерживаемые задачи

В настоящее время модели обнаружения объектов могут быть экспортированы в формат Axelera. В настоящее время ведется работа по интеграции дополнительных задач:

Установка

Установка Ultralytics

pip install ultralytics

Подробные инструкции см. в руководствеUltralytics . Если у вас возникли трудности, обратитесь к руководству по распространенным проблемам.

Установка драйвера Axelera

1. Добавьте ключ репозитория Axelera:

   sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"
   

2. Добавьте репозиторий в apt:

   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"
   

3. Установите SDK и загрузите драйвер:

   sudo apt update
   sudo apt install -y axelera-voyager-sdk-base
   sudo modprobe metis
   yes | sudo /opt/axelera/sdk/latest/axelera_fix_groups.sh $USER
   

Экспорт моделей YOLO в Axelera

Экспортируйте обученные YOLO с помощью стандартной команды Ultralytics .

from ultralytics import YOLO

# Load a YOLO11 model
model = YOLO("yolo11n.pt")

# Export to Axelera format
model.export(format="axelera")  # creates 'yolo11n_axelera_model' directory

yolo export model=yolo11n.pt format=axelera

Аргументы экспорта

Все параметры экспорта см. в документации по режиму экспорта.

Структура вывода

yolo11n_axelera_model/
├── yolo11n.axm              # Axelera model file
└── metadata.yaml            # Model metadata (classes, image size, etc.)

Запуск логического вывода

Загрузите экспортированную модель с помощью Ultralytics и запустите инференцию, аналогично загрузке ONNX .

from ultralytics import YOLO

# Load the exported Axelera model
model = YOLO("yolo11n_axelera_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

# Process results
for r in results:
    print(f"Detected {len(r.boxes)} objects")
    r.show()  # Display results

yolo predict model='yolo11n_axelera_model' source='https://ultralytics.com/images/bus.jpg'

Производительность Inference

Metis AIPU обеспечивает максимальную пропускную способность при минимальном энергопотреблении.

Тесты основаны на данных Axelera AI. Фактическая частота кадров зависит от размера модели, пакетной обработки и разрешения входных данных.

Приложения в реальном мире

Ultralytics YOLO на оборудовании Axelera обеспечивает передовые решения для edge computing:

• Интеллектуальная розничная торговля: Подсчет объектов и аналитика тепловых карт в реальном времени для оптимизации магазина.
• Промышленная безопасность: Обнаружение средств индивидуальной защиты с низкой задержкой в производственных условиях.
• Аналитика с дронов: Высокоскоростное detect объектов на БПЛА для сельского хозяйства и поисково-спасательных операций.
• Транспортные системы: Распознавание номерных знаков и оценка скорости на периферийных устройствах.

Рекомендуемый рабочий процесс

1. Обучите свою модель с помощьюрежима обучения Ultralytics
2. Экспорт в формат Axelera с помощью model.export(format="axelera")
3. Проверка точность с yolo val для проверки минимальных потерь при квантовании
4. Прогнозирование используя yolo predict для качественной валидации

Проверка работоспособности устройства

Убедитесь, что устройство Axelera работает правильно:

. /opt/axelera/sdk/latest/axelera_activate.sh
axdevice

Подробную информацию о диагностике см. в документации AxDevice.

Максимальная производительность

Эта интеграция использует одноядерную конфигурацию для обеспечения совместимости. Для производства, требующего максимальной пропускной способности, Axelera Voyager SDK предлагает:

• Использование многоядерных процессоров (четырехъядерный Metis AIPU)
• Потоковые конвейеры инференса
• Мозаичное выведение для камер с более высоким разрешением

См. модельный зоопарк для тестов FPS или обратитесь в Axelera для получения поддержки по производству.

Известные проблемы

Для получения поддержки посетите сообщество Axelera.

Часто задаваемые вопросы

Какие версии YOLO поддерживаются на Axelera?

SDK Voyager поддерживает экспорт YOLOv8 и YOLO11 .

Могу ли я развернуть модели, обученные по индивидуальному заказу?

Да. Любая модель, обученная с использованием Ultralytics Train Mode, может быть экспортирована в формат Axelera, при условии, что она использует поддерживаемые слои и операции.

Как влияет квантование INT8 на точность?

SDK Voyager от Axelera автоматически квантует модели для архитектуры AIPU со смешанной точностью. Для большинства обнаружения объектов задачах, прирост производительности (более высокая частота кадров, более низкое энергопотребление) значительно перевешивает минимальное влияние на mAP. Квантование занимает от нескольких секунд до нескольких часов в зависимости от размера модели. Запустить yolo val после экспорта для проверки точности.

Сколько калибровочных изображений следует использовать?

Мы рекомендуем от 100 до 400 изображений. Более 400 изображений не дают дополнительных преимуществ и увеличивают время квантования. Поэкспериментируйте с 100, 200 и 400 изображениями, чтобы найти оптимальный баланс.

Где я могу найти Voyager SDK?

SDK, драйверы и инструменты компилятора доступны через Портал разработчика Axelera.

📅 Создано 20 дней назад ✏️ Обновлено 3 дня назад

Комментарии