Экспорт и развёртывание для Axelera AI#

Ultralytics сотрудничает с Axelera AI, чтобы обеспечить высокопроизводительный и энергоэффективный инференс на устройствах периферийного ИИ. Экспортируй и развёртывай модели Ultralytics YOLO напрямую на Metis® AIPU с помощью Voyager SDK.

Axelera AI предоставляет специализированное аппаратное ускорение для компьютерного зрения на периферии, используя проприетарную архитектуру потоков данных и вычисления в памяти, чтобы обеспечивать производительность до 856 TOPS при низком энергопотреблении.

Выбор подходящего оборудования#

Axelera AI предлагает различные форм-факторы для разных условий развёртывания. Диаграмма ниже поможет выбрать оптимальное оборудование для развёртывания Ultralytics YOLO.

Линейка оборудования#

Линейка оборудования Axelera оптимизирована для запуска Ultralytics YOLO26 и более ранних версий с высокой эффективностью по FPS на ватт.

Карты-ускорители#

Эти карты обеспечивают аппаратное ускорение ИИ на существующих хост-устройствах, упрощая развёртывание в существующей инфраструктуре.

Интегрированные системы#

Для готовых решений Axelera сотрудничает с производителями, предлагая системы, предварительно проверенные на совместимость с Metis AIPU.

• Вычислительная плата Metis: автономное периферийное устройство, объединяющее Metis AIPU и ARM CPU Rockchip RK3588.
• Рабочие станции: корпоративные башенные системы Dell (Precision 3460XE) и Lenovo (ThinkStation P360 Ultra).
• Промышленные ПК: защищённые системы от Advantech и Aetina, предназначенные для автоматизации производства.

Поддерживаемые задачи#

Экспорт Axelera поддерживает все семь задач Ultralytics. Семантическая сегментация и оценка глубины доступны только в YOLO26 — единственном семействе с такими головами.

Модели YOLO26 для обнаружения объектов, сегментации экземпляров, оценки позы и OBB по умолчанию экспортируют свою голову one-to-one без NMS, а среда выполнения Axelera декодирует её на хосте. Передача nms=True приводит к экспорту головы one-to-many, которая показывает более низкие результаты на Metis: таким образом, YOLO26n для обнаружения объектов достигает mAP50-95 0.212 на COCO128 против 0.453 с головой без NMS.

Установка#

Установка Ultralytics#

pip install ultralytics

Подробные инструкции смотри в нашем руководстве по установке Ultralytics. Если возникнут трудности, обратись к нашему руководству по распространённым проблемам.

Установка драйвера Axelera#

1. Добавь ключ репозитория Axelera:

   sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

2. Добавь репозиторий в apt:

   Выбери подходящий фрагмент ниже в соответствии с используемой операционной системой.

   # Ubuntu 22.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

   # Ubuntu 24.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu24 main' > /etc/apt/sources.list.d/axelera.list"

3. Установи драйвер и загрузи его. Для SDK 1.9 требуется metis-dkms версии 1.7.0 или новее, поэтому здесь устанавливается последняя версия:

   sudo apt update
   sudo apt install -y metis-dkms
   sudo modprobe metis

[libaxldev.c:285] Found kernel driver version 1.6.2, but at least version 1.7.0 is required. Please update the kernel driver
ERROR: AXR_ERROR_CONNECTION_ERROR: Failed to open device metis-0:4:0

sudo apt update
sudo apt install -y metis-dkms
sudo rmmod metis
sudo modprobe metis

pip install axelera-devkit==1.9.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple
pip install axelera-rt==1.9.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple

Error: Unsupported model version: 4.0, expected at least 5.0
Please re-deploy or re-download the model.

Экспорт моделей YOLO в Axelera#

Формат Axelera поддерживает режимы Экспорт, Предсказание и Валидация. Инференс и валидация выполняются на оборудовании Axelera Metis AIPU. Экспортируй модель, затем загрузи её, чтобы запустить инференс или проверить точность.

from ultralytics import YOLO

# Загрузи модель YOLO26
model = YOLO("yolo26n.pt")

# Экспортировать модель в формат Axelera
model.export(format="axelera")  # creates 'yolo26n_axelera_model'

from ultralytics import YOLO

# Загрузить экспортированную модель Axelera
model = YOLO("yolo26n_axelera_model")

# Выполнить инференс
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Загрузить экспортированную модель Axelera
model = YOLO("yolo26n_axelera_model")

# Проверить точность на наборе данных COCO8
metrics = model.val(data="coco8.yaml")

Аргументы экспорта#

* Модели компилируются для обработки одного изображения, поэтому параметр экспорта batch задаёт только размер пакета для калибровки. Вместо этого передай batch в predict, чтобы передавать планировщику Axelera сразу несколько изображений (Voyager SDK 1.8.0 или новее): см. Максимальная производительность.

Все параметры экспорта смотри в документации по режиму экспорта.

Структура вывода#

yolo26n_axelera_model/
├── yolo26n.axm                  # Axelera model file
├── compiler_config_final.toml  # Compiler configuration used for the build
└── metadata.yaml               # Model metadata (classes, image size, etc.)

Бенчмарки Axelera AI#

AIPU Metis обеспечивает максимальную пропускную способность при минимальном энергопотреблении.

Бенчмарки основаны на данных Axelera AI. Фактический FPS зависит от размера модели, пакетной обработки и разрешения входных данных.

Это показатели пропускной способности хоста, измеренные с помощью зоопарка моделей и потокового конвейера Voyager SDK на видеофайле с разрешением 720p. Один вызов predict показывает задержку обработки одного изображения — это другая величина.

Применение в реальных условиях#

Ultralytics YOLO на оборудовании Axelera позволяет создавать передовые решения для периферийных вычислений:

• Умная розница: подсчёт объектов в реальном времени и аналитика тепловых карт для оптимизации работы магазинов.
• Промышленная безопасность: обнаружение средств индивидуальной защиты с низкой задержкой на производстве.
• Аналитика с дронов: высокоскоростное обнаружение объектов на БПЛА для сельского хозяйства и поисково-спасательных операций.
• Транспортные системы: распознавание государственных регистрационных знаков и оценка скорости на периферийных устройствах.

Рекомендуемый рабочий процесс#

1. Обучи модель с помощью режима Train Ultralytics
2. Экспортируй модель в формат Axelera с помощью model.export(format="axelera")
3. Проверь точность с помощью yolo val, чтобы убедиться, что потери при квантовании минимальны
4. Выполни предсказание с помощью yolo predict для качественной проверки
5. Разверни модель в высокопроизводительном сквозном конвейере без зависимости от PyTorch — смотри примеры YOLO для Voyager SDK, где показаны компонуемые конвейеры Python с использованием axelera-rt

Проверка состояния устройства#

Убедись, что устройство Axelera работает правильно:

# if axdevice cannot be found, please run at least one inference (see above) to ensure the required packages are installed
axdevice

Подробную диагностику смотри в документации AxDevice.

Максимальная производительность#

Модели компилируются для обработки одного изображения, и одно изображение обрабатывается на одном ядре AIPU. Передача нескольких изображений в предсказание позволяет передать их планировщику Axelera одновременно, чтобы он распределил их по ядрам устройства:

yolo predict model=yolo26n_axelera_model source=path/to/images batch=32

yolo26n при imgsz=640 на 128 изображениях COCO128 в каталоге, Metis PCIe, медиана трёх запусков:

В SDK 1.9 пропускную способность увеличивает пакетная обработка: в 2,7 раза при batch=32, тогда как в версии 1.8 она остаётся около 40 изобр./с при любом размере пакета. Для максимальной пропускной способности при офлайн-обработке используй большой пакет, а когда важна задержка на одно изображение — batch=1. Второе устройство почти не увеличивает predict: при batch=32 предварительная обработка на хосте уже занимает около 4 мс на изображение — столько же, сколько и обработка на устройстве.

За пределами predict#

Для производственных систем, которым нужна максимальная пропускная способность, Axelera Voyager SDK предлагает:

• Потоковые конвейеры инференса, позволяющие одновременно обрабатывать несколько кадров
• Компиляцию одной модели для нескольких ядер
• Тайловый инференс для камер с более высоким разрешением

Эти варианты пропускают предварительную и последующую обработку PyTorch, которую predict выполняет на хосте. См. каталог моделей с тестами FPS или свяжись с Axelera по вопросам поддержки при внедрении в производство.

Известные проблемы#

Чтобы получить поддержку, посети сообщество Axelera.

Часто задаваемые вопросы#