Xuất và triển khai Axelera AI#

Ultralytics hợp tác với Axelera AI để hỗ trợ inference hiệu năng cao, tiết kiệm năng lượng trên các thiết bị Edge AI. Xuất và triển khai trực tiếp Ultralytics YOLO models lên Metis® AIPU bằng Voyager SDK.

Axelera AI cung cấp khả năng tăng tốc phần cứng chuyên dụng cho computer vision tại edge, sử dụng kiến trúc dataflow độc quyền và in-memory computing để đạt tối đa 856 TOPS với mức tiêu thụ điện năng thấp.

Lựa chọn Phần cứng Phù hợp#

Axelera AI cung cấp nhiều form factor khác nhau để đáp ứng các ràng buộc triển khai đa dạng. Biểu đồ bên dưới giúp xác định phần cứng tối ưu cho việc triển khai Ultralytics YOLO của bạn.

graph TD
    A[Start: Select Deployment Target]:::start --> B{Device Type?}:::decide
    B -->|Edge Server / Workstation| C{Throughput Needs?}:::decide
    B -->|Embedded / Robotics| D{Space Constraints?}:::decide
    B -->|Standalone / R&D| E[Dev Kits & Systems]:::proc

    C -->|Max Density <br> 30+ Streams| F[**Metis PCIe x4**<br>856 TOPS]:::out
    C -->|Standard PC <br> Low Profile| G[**Metis PCIe x1**<br>214 TOPS]:::out

    D -->|Drones & Handhelds| H[**Metis M.2**<br>2280 M-Key]:::out
    D -->|High Performance Embedded| I[**Metis M.2 MAX**<br>Extended Thermal]:::out

    E -->|ARM-based All-in-One| J[**Metis Compute Board**<br>RK3588 + AIPU]:::out
    E -->|Prototyping| K[**Arduino Portenta x8**<br>Integration Kit]:::out

    click F "https://store.axelera.ai/"
    click G "https://store.axelera.ai/"
    click H "https://store.axelera.ai/"
    click J "https://store.axelera.ai/"

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Danh mục Phần cứng#

Dòng phần cứng Axelera được tối ưu để chạy Ultralytics YOLO26 và các phiên bản cũ với hiệu suất FPS trên mỗi watt cao.

Card Tăng tốc#

Các card này hỗ trợ tăng tốc AI trên những thiết bị host hiện có, tạo điều kiện cho brownfield deployments.

Hệ thống Tích hợp#

Đối với các giải pháp turnkey, Axelera hợp tác với các nhà sản xuất để cung cấp những hệ thống được xác thực trước cho Metis AIPU.

• Metis Compute Board: Thiết bị edge độc lập kết hợp Metis AIPU với CPU ARM Rockchip RK3588.
• Workstations: Các máy trạm dạng tower cho doanh nghiệp từ Dell (Precision 3460XE) và Lenovo (ThinkStation P360 Ultra).
• PC công nghiệp: Các hệ thống gia cường từ Advantech và Aetina, được thiết kế cho manufacturing automation.

Các Task được hỗ trợ#

Ước lượng độ sâu không được hỗ trợ: phần đầu độ sâu phát ra các toán tử mà trình biên dịch Metis AIPU không thể hạ thấp. Phân đoạn thực thể YOLO26 cũng không được hỗ trợ bởi Ultralytics export, nhưng vẫn có thể được triển khai thông qua Voyager SDK như được mô tả bên dưới. Phân đoạn ngữ nghĩa YOLO26 được hỗ trợ.

Cài đặt#

Cài đặt Ultralytics#

pip install ultralytics

Để xem hướng dẫn chi tiết, hãy tham khảo Hướng dẫn cài đặt Ultralytics. Nếu gặp khó khăn, hãy xem Hướng dẫn các sự cố thường gặp.

Cài đặt Driver Axelera#

1. Thêm key repository Axelera:

   sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

2. Thêm repository vào apt:

   Chọn snippet phù hợp bên dưới tương ứng với OS đang sử dụng.

   # Ubuntu 22.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

   # Ubuntu 24.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu24 main' > /etc/apt/sources.list.d/axelera.list"

3. Cài đặt trình điều khiển và tải nó. SDK 1.8 cần metis-dkms 1.6.2 trở lên, vì vậy phiên bản mới nhất được cài đặt ở đây:

   sudo apt update
   sudo apt install -y metis-dkms
   sudo modprobe metis

[libaxldev.c:285] Found kernel driver version 1.5.5, but at least version 1.6.2 is required. Please update the kernel driver
ERROR: AXR_ERROR_CONNECTION_ERROR: Failed to open device metis-0:4:0

sudo apt update
sudo apt install -y metis-dkms
sudo rmmod metis
sudo modprobe metis

pip install axelera-devkit==1.8.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple
pip install axelera-rt==1.8.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple

Error: Unsupported model version: 4.0, expected at least 5.0
Please re-deploy or re-download the model.

Xuất YOLO Models sang Axelera#

Format Axelera hỗ trợ các mode Export, Predict và Validate. Inference và validation chạy trên phần cứng Axelera Metis AIPU. Hãy xuất model, sau đó load model đã xuất để chạy inference hoặc xác thực độ chính xác.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to Axelera format
model.export(format="axelera")  # creates 'yolo26n_axelera_model'

from ultralytics import YOLO

# Load the exported Axelera model
model = YOLO("yolo26n_axelera_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported Axelera model
model = YOLO("yolo26n_axelera_model")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Đối số Export#

* Quá trình suy luận với batch>1 yêu cầu Voyager SDK 1.8.0 trở lên; các mô hình được biên dịch cho một hình ảnh duy nhất.

Để xem tất cả tùy chọn export, hãy tham khảo tài liệu Export Mode.

Cấu trúc Output#

yolo26n_axelera_model/
├── yolo26n.axm                  # Axelera model file
├── compiler_config_final.toml  # Compiler configuration used for the build
└── metadata.yaml               # Model metadata (classes, image size, etc.)

Benchmark Axelera AI#

Metis AIPU tối đa hóa throughput đồng thời giảm thiểu mức tiêu thụ năng lượng.

Benchmark dựa trên dữ liệu của Axelera AI. FPS thực tế phụ thuộc vào kích thước model, batching và độ phân giải input.

Đây là các số liệu thông lượng máy chủ, được đo lường bởi kho mô hình với đường ống phát trựcstreaming của Voyager SDK qua tệp video 720p. Một lệnh gọi predict đơn lẻ thay vào đó báo cáo độ trễ trên mỗi hình ảnh, đây là một đại lượng khác.

Ứng dụng thực tế#

Ultralytics YOLO trên phần cứng Axelera hỗ trợ các giải pháp edge computing nâng cao:

• Bán lẻ thông minh: Object counting theo thời gian thực và heatmap analytics để tối ưu hóa cửa hàng.
• An toàn công nghiệp: PPE detection với độ trễ thấp trong môi trường sản xuất.
• Phân tích drone: Object detection tốc độ cao trên UAV cho nông nghiệp và tìm kiếm cứu nạn.
• Hệ thống giao thông: License plate recognition và speed estimation dựa trên edge.

Workflow Khuyến nghị#

1. Train model bằng Ultralytics Train Mode
2. Export sang format Axelera bằng model.export(format="axelera")
3. Validate độ chính xác bằng yolo val để xác minh mức mất mát quantization tối thiểu
4. Predict bằng yolo predict để validation định tính
5. Deploy lên pipeline end-to-end hiệu năng cao mà không phụ thuộc PyTorch — xem các ví dụ YOLO trên Voyager SDK để biết các pipeline Python có thể kết hợp sử dụng axelera-rt

Kiểm tra Tình trạng Thiết bị#

Xác minh thiết bị Axelera của bạn đang hoạt động bình thường:

# if axdevice cannot be found, please run at least one inference (see above) to ensure the required packages are installed
axdevice

Để xem chẩn đoán chi tiết, hãy tham khảo tài liệu AxDevice.

Hiệu năng Tối đa#

Các mô hình được biên dịch cho một hình ảnh duy nhất. Việc truyền nhiều hình ảnh tới Predict sẽ định tuyến chúng qua bộ lập lịch Axelera (Voyager SDK 1.8 trở lên), do đó batch>1 chạy chính xác, mặc dù được đo lường đầu cuối trên một thiết bị duy nhất, nó không nhanh hơn batch=1:

yolo predict model=yolo26n_axelera_model source=path/to/images batch=8

Đối với hoạt động sản xuất yêu cầu thông lượng tối đa, Axelera Voyager SDK cung cấp:

• Các đường ống suy luận phát trực tuyến giữ nhiều khung hình đang xử lý
• Biên dịch một mô hình trên nhiều lõi
• Suy luận theo ô cho camera độ phân giải cao hơn

Xem model-zoo để tham khảo benchmark FPS hoặc liên hệ Axelera để được hỗ trợ production.

Các vấn đề đã biết#

Để được hỗ trợ, hãy truy cập Axelera Community.

FAQ#