Axelera AI 내보내기 및 배포#

Ultralytics는 Axelera AI와 협력하여 Edge AI 디바이스에서 고성능·저전력 추론을 지원합니다. Ultralytics YOLO 모델을 Voyager SDK를 사용하여 Metis® AIPU에 직접 내보내고 배포할 수 있습니다.

Axelera AI는 독점 데이터플로 아키텍처와 인메모리 컴퓨팅을 사용하여 낮은 전력 소비로 최대 856 TOPS를 제공하는 엣지 컴퓨터 비전 전용 하드웨어 가속을 제공합니다.

적합한 하드웨어 선택#

Axelera AI는 다양한 배포 제약 조건에 맞는 여러 폼 팩터를 제공합니다. 아래 차트는 Ultralytics YOLO 배포에 적합한 최적의 하드웨어를 식별하는 데 도움이 됩니다.

graph TD
    A[Start: Select Deployment Target]:::start --> B{Device Type?}:::decide
    B -->|Edge Server / Workstation| C{Throughput Needs?}:::decide
    B -->|Embedded / Robotics| D{Space Constraints?}:::decide
    B -->|Standalone / R&D| E[Dev Kits & Systems]:::proc

    C -->|Max Density <br> 30+ Streams| F[**Metis PCIe x4**<br>856 TOPS]:::out
    C -->|Standard PC <br> Low Profile| G[**Metis PCIe x1**<br>214 TOPS]:::out

    D -->|Drones & Handhelds| H[**Metis M.2**<br>2280 M-Key]:::out
    D -->|High Performance Embedded| I[**Metis M.2 MAX**<br>Extended Thermal]:::out

    E -->|ARM-based All-in-One| J[**Metis Compute Board**<br>RK3588 + AIPU]:::out
    E -->|Prototyping| K[**Arduino Portenta x8**<br>Integration Kit]:::out

    click F "https://store.axelera.ai/"
    click G "https://store.axelera.ai/"
    click H "https://store.axelera.ai/"
    click J "https://store.axelera.ai/"

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

하드웨어 제품군#

Axelera 하드웨어 제품군은 높은 와트당 FPS 효율로 Ultralytics YOLO26 및 이전 버전을 실행하도록 최적화되어 있습니다.

가속기 카드#

이 카드는 기존 호스트 디바이스에서 AI 가속을 지원하여 브라운필드 배포를 용이하게 합니다.

통합 시스템#

턴키 솔루션을 위해 Axelera는 제조업체와 협력하여 Metis AIPU에 대해 사전 검증된 시스템을 제공합니다.

• Metis Compute Board: Metis AIPU와 Rockchip RK3588 ARM CPU를 결합한 독립형 엣지 디바이스입니다.
• 워크스테이션: Dell (Precision 3460XE) 및 Lenovo (ThinkStation P360 Ultra)의 엔터프라이즈 타워입니다.
• 산업용 PC: 제조 자동화를 위해 설계된 Advantech 및 Aetina의 러기드 시스템입니다.

지원되는 작업#

깊이 추정은 지원되지 않습니다. 깊이 헤드가 Metis AIPU 컴파일러가 로어링할 수 없는 연산자를 생성하기 때문입니다. 또한 YOLO26 인스턴스 세분화는 Ultralytics export에서도 지원되지 않으나, 아래에 설명된 대로 Voyager SDK를 통해 배포할 수 있습니다. YOLO26 시맨틱 세분화는 지원됩니다.

설치#

Ultralytics 설치#

pip install ultralytics

자세한 지침은 Ultralytics 설치 가이드를 참조하십시오. 문제가 발생하면 일반적인 문제 가이드를 참조하십시오.

Axelera 드라이버 설치#

1. Axelera 저장소 키를 추가합니다:

   sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

2. 저장소를 apt에 추가합니다:

   사용 중인 OS에 맞는 아래 스니펫을 선택합니다.

   # Ubuntu 22.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

   # Ubuntu 24.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu24 main' > /etc/apt/sources.list.d/axelera.list"

3. 드라이버를 설치하고 로드합니다. SDK 1.8에는 metis-dkms 1.6.2 이상이 필요하므로 최신 버전이 여기에 설치됩니다:

   sudo apt update
   sudo apt install -y metis-dkms
   sudo modprobe metis

[libaxldev.c:285] Found kernel driver version 1.5.5, but at least version 1.6.2 is required. Please update the kernel driver
ERROR: AXR_ERROR_CONNECTION_ERROR: Failed to open device metis-0:4:0

sudo apt update
sudo apt install -y metis-dkms
sudo rmmod metis
sudo modprobe metis

pip install axelera-devkit==1.8.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple
pip install axelera-rt==1.8.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple

Error: Unsupported model version: 4.0, expected at least 5.0
Please re-deploy or re-download the model.

YOLO 모델을 Axelera로 내보내기#

Axelera 형식은 내보내기, 예측 및 검증 모드를 지원합니다. 추론과 검증은 Axelera Metis AIPU 하드웨어에서 실행됩니다. 모델을 내보낸 다음 내보낸 모델을 로드하여 추론을 실행하거나 정확도를 검증합니다.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to Axelera format
model.export(format="axelera")  # creates 'yolo26n_axelera_model'

from ultralytics import YOLO

# Load the exported Axelera model
model = YOLO("yolo26n_axelera_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported Axelera model
model = YOLO("yolo26n_axelera_model")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

내보내기 인수#

* batch>1을 사용한 추론에는 Voyager SDK 1.8.0 이상이 필요합니다. 모델은 단일 이미지용으로 컴파일됩니다.

모든 내보내기 옵션은 내보내기 모드 문서를 참조하십시오.

출력 구조#

yolo26n_axelera_model/
├── yolo26n.axm                  # Axelera model file
├── compiler_config_final.toml  # Compiler configuration used for the build
└── metadata.yaml               # Model metadata (classes, image size, etc.)

Axelera AI 벤치마크#

Metis AIPU는 에너지 소비를 최소화하면서 처리량을 극대화합니다.

벤치마크는 Axelera AI 데이터에 기반합니다. 실제 FPS는 모델 크기, 배칭 및 입력 해상도에 따라 달라집니다.

이러한 수치는 720p 비디오 파일을 통한 Voyager SDK의 스트리밍 파이프라인과 함께 모델 주로 측정된 호스트 처리량 수치입니다. 단일 predict 호출은 대신 이미지당 지연 시간을 보고하며, 이는 다른 측정값입니다.

실제 애플리케이션#

Axelera 하드웨어에서 Ultralytics YOLO를 사용하면 다음과 같은 고급 엣지 컴퓨팅 솔루션을 구현할 수 있습니다:

• 스마트 리테일: 매장 최적화를 위한 실시간 객체 수 세기 및 히트맵 분석입니다.
• 산업 안전: 제조 환경에서 지연 시간이 짧은 PPE 검출입니다.
• 드론 분석: 농업 및 수색·구조를 위한 UAV의 고속 객체 검출입니다.
• 교통 시스템: 엣지 기반 차량 번호판 인식 및 속도 추정입니다.

권장 워크플로#

1. Ultralytics 학습 모드를 사용하여 모델을 학습합니다.
2. model.export(format="axelera")을 사용하여 Axelera 형식으로 내보냅니다.
3. yolo val으로 정확도를 검증하여 양자화 손실이 최소인지 확인합니다.
4. 정성적 검증을 위해 yolo predict을 사용하여 예측합니다.
5. PyTorch 종속성 없이 고성능 엔드투엔드 파이프라인에 배포합니다. axelera-rt을 사용하는 조합 가능한 Python 파이프라인은 Voyager SDK의 YOLO 예제를 참조하십시오.

디바이스 상태 점검#

Axelera 디바이스가 정상적으로 작동하는지 확인합니다:

# if axdevice cannot be found, please run at least one inference (see above) to ensure the required packages are installed
axdevice

자세한 진단은 AxDevice 문서를 참조하십시오.

최대 성능#

모델은 단일 이미지용으로 컴파일됩니다. 여러 이미지를 예측에 전달하면 Axelera 스케줄러(Voyager SDK 1.8 이상)를 통해 라우팅되므로 batch>1이 올바르게 실행되지만, 단일 장치에서 엔드투엔드로 측정할 경우 batch=1보다 빠르지 않습니다:

yolo predict model=yolo26n_axelera_model source=path/to/images batch=8

최대 처리량이 필요한 프로덕션 환경의 경우 Axelera Voyager SDK에서 다음 기능을 제공합니다:

• 여러 프레임을 동시에 처리하는 스트리밍 추론 파이프라인
• 여러 코어에 걸쳐 하나의 모델 컴파일
• 고해상도 카메라를 위한 타일 방식 추론

FPS 벤치마크는 model-zoo를 참조하거나 프로덕션 지원은 Axelera에 문의하시기 바랍니다.

알려진 문제#

지원이 필요하면 Axelera Community를 방문하시기 바랍니다.

FAQ#