Xuất và Triển khai trên Axelera AI#

Ultralytics hợp tác với Axelera AI để hỗ trợ suy luận hiệu năng cao và tiết kiệm năng lượng trên các thiết bị Edge AI. Xuất và triển khai Ultralytics YOLO models trực tiếp lên Metis® AIPU bằng cách sử dụng Voyager SDK.

Axelera AI cung cấp phần cứng tăng tốc chuyên dụng cho computer vision ở biên, sử dụng kiến trúc luồng dữ liệu độc quyền và in-memory computing để mang lại hiệu suất lên tới 856 TOPS với mức tiêu thụ điện năng thấp.

Chọn Phần cứng Phù hợp#

Axelera AI cung cấp nhiều kích thước (form factor) khác nhau để phù hợp với các ràng buộc triển khai khác nhau. Biểu đồ dưới đây giúp xác định phần cứng tối ưu cho việc triển khai Ultralytics YOLO của bạn.

graph TD
    A[Start: Select Deployment Target]:::start --> B{Device Type?}:::decide
    B -->|Edge Server / Workstation| C{Throughput Needs?}:::decide
    B -->|Embedded / Robotics| D{Space Constraints?}:::decide
    B -->|Standalone / R&D| E[Dev Kits & Systems]:::proc

    C -->|Max Density <br> 30+ Streams| F[**Metis PCIe x4**<br>856 TOPS]:::out
    C -->|Standard PC <br> Low Profile| G[**Metis PCIe x1**<br>214 TOPS]:::out

    D -->|Drones & Handhelds| H[**Metis M.2**<br>2280 M-Key]:::out
    D -->|High Performance Embedded| I[**Metis M.2 MAX**<br>Extended Thermal]:::out

    E -->|ARM-based All-in-One| J[**Metis Compute Board**<br>RK3588 + AIPU]:::out
    E -->|Prototyping| K[**Arduino Portenta x8**<br>Integration Kit]:::out

    click F "https://store.axelera.ai/"
    click G "https://store.axelera.ai/"
    click H "https://store.axelera.ai/"
    click J "https://store.axelera.ai/"

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Danh mục Phần cứng#

Dòng phần cứng Axelera được tối ưu hóa để chạy Ultralytics YOLO26 và các phiên bản cũ với hiệu suất FPS trên mỗi watt cao.

Thẻ Tăng tốc (Accelerator Cards)#

Các thẻ này hỗ trợ tăng tốc AI trong các thiết bị chủ hiện có, tạo điều kiện thuận lợi cho brownfield deployments.

Hệ thống Tích hợp#

Đối với các giải pháp chìa khóa trao tay, Axelera hợp tác với các nhà sản xuất để cung cấp các hệ thống đã được kiểm duyệt trước cho Metis AIPU.

• Metis Compute Board: Thiết bị biên độc lập kết hợp Metis AIPU với CPU ARM Rockchip RK3588.
• Workstations: Các máy trạm doanh nghiệp từ Dell (Precision 3460XE) và Lenovo (ThinkStation P360 Ultra).
• Industrial PCs: Các hệ thống được gia cố từ Advantech và Aetina được thiết kế cho manufacturing automation.

Các tác vụ được hỗ trợ#

Ước lượng chiều sâu không được hỗ trợ: đầu chiều sâu phát ra các toán tử mà trình biên dịch Metis AIPU không thể hạ cấp. Phân đoạn YOLO26 cũng không được hỗ trợ bởi Ultralytics export, nhưng vẫn có thể được triển khai thông qua Voyager SDK như mô tả bên dưới.

Cài đặt#

Cài đặt Ultralytics#

pip install ultralytics

Để biết hướng dẫn chi tiết, hãy xem Ultralytics Installation guide của chúng tôi. Nếu bạn gặp khó khăn, hãy tham khảo Common Issues guide của chúng tôi.

Cài đặt Driver Axelera#

1. Thêm khóa kho lưu trữ Axelera:

   sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

2. Thêm kho lưu trữ vào apt:

   Chọn đoạn mã phù hợp từ bên dưới để khớp với HĐH đang sử dụng.

   # Ubuntu 22.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

   # Ubuntu 24.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu24 main' > /etc/apt/sources.list.d/axelera.list"

3. Cài đặt SDK và tải driver:

   sudo apt update
   sudo apt install -y metis-dkms=1.5.5
   sudo modprobe metis

[libaxldev.c:285] Found kernel driver version 1.4.16, but at least version 1.4.18 is required. Please update the kernel driver
ERROR: AXR_ERROR_CONNECTION_ERROR: Failed to open device metis-0:4:0

sudo apt update
sudo apt install -y metis-dkms=1.5.5
sudo rmmod metis
sudo modprobe metis

pip install axelera-devkit==1.7.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple
pip install axelera-rt==1.7.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple

Xuất YOLO Models sang Axelera#

Định dạng Axelera hỗ trợ các chế độ Export, Predict và Validate. Suy luận và kiểm định chạy trên phần cứng Axelera Metis AIPU. Xuất mô hình của bạn, sau đó tải mô hình đã xuất để chạy suy luận hoặc kiểm định độ chính xác của nó.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to Axelera format
model.export(format="axelera")  # creates 'yolo26n_axelera_model'

from ultralytics import YOLO

# Load the exported Axelera model
model = YOLO("yolo26n_axelera_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported Axelera model
model = YOLO("yolo26n_axelera_model")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Đối số xuất#

Đối với tất cả các tùy chọn xuất, hãy xem Export Mode documentation.

Cấu trúc đầu ra#

yolo26n_axelera_model/
├── yolo26n.axm                  # Axelera model file
├── compiler_config_final.toml  # Compiler configuration used for the build
└── metadata.yaml               # Model metadata (classes, image size, etc.)

Điểm chuẩn Axelera AI#

Metis AIPU tối đa hóa thông lượng trong khi giảm thiểu tiêu thụ năng lượng.

Các điểm chuẩn dựa trên dữ liệu của Axelera AI. FPS thực tế phụ thuộc vào kích thước model, batching và độ phân giải đầu vào.

Ứng dụng trong thực tế#

Ultralytics YOLO trên phần cứng Axelera cho phép các giải pháp điện toán biên nâng cao:

• Smart Retail: Object counting thời gian thực và heatmap analytics để tối ưu hóa cửa hàng.
• Industrial Safety: PPE detection độ trễ thấp trong môi trường sản xuất.
• Drone Analytics: Object detection tốc độ cao trên UAV phục vụ agriculture và tìm kiếm cứu nạn.
• Traffic Systems: License plate recognition và speed estimation dựa trên biên.

Quy trình làm việc được đề xuất#

1. Huấn luyện (Train) model của bạn bằng Chế độ Huấn luyện của Ultralytics
2. Xuất sang định dạng Axelera bằng cách sử dụng model.export(format="axelera")
3. Xác thực (Validate) độ chính xác với yolo val để xác minh mức thất thoát do lượng tử hóa là tối thiểu
4. Dự đoán (Predict) bằng yolo predict để xác thực định tính
5. Triển khai vào một đường ống (pipeline) đầu cuối hiệu năng cao mà không phụ thuộc vào PyTorch — hãy xem YOLO on Voyager SDK examples để biết các đường ống Python có thể kết hợp sử dụng axelera-rt

Kiểm tra Tình trạng Thiết bị#

Xác minh thiết bị Axelera của bạn đang hoạt động bình thường:

# if axdevice cannot be found, please run at least one inference (see above) to ensure the required packages are installed
axdevice

Để chẩn đoán chi tiết, hãy xem AxDevice documentation.

Hiệu suất tối đa#

Tích hợp này sử dụng cấu hình đơn nhân để đảm bảo tính tương thích. Đối với môi trường sản xuất yêu cầu thông lượng tối đa, Axelera Voyager SDK cung cấp:

• Tận dụng đa nhân (Metis AIPU lõi tứ)
• Các pipeline suy luận truyền phát (streaming)
• Suy luận theo ô (tiled inferencing) cho các camera có độ phân giải cao hơn

Xem model-zoo để biết các điểm chuẩn FPS hoặc contact Axelera để được hỗ trợ trong sản xuất.

Các vấn đề đã biết#

Để nhận hỗ trợ, hãy truy cập Axelera Community.

Câu hỏi thường gặp#