Xuất và triển khai trên Axelera AI#

Ultralytics hợp tác với Axelera AI để hỗ trợ suy luận hiệu năng cao, tiết kiệm năng lượng trên các thiết bị Edge AI. Xuất và triển khai trực tiếp model Ultralytics YOLO lên Metis® AIPU bằng Voyager SDK.

Axelera AI cung cấp khả năng tăng tốc phần cứng chuyên dụng cho thị giác máy tính ở biên, sử dụng kiến trúc luồng dữ liệu độc quyền và điện toán trong bộ nhớ để mang lại hiệu năng lên đến 856 TOPS với mức tiêu thụ điện năng thấp.

Lựa chọn phần cứng phù hợp#

Axelera AI cung cấp nhiều dạng thiết bị để đáp ứng các giới hạn triển khai khác nhau. Biểu đồ dưới đây giúp xác định phần cứng tối ưu cho triển khai Ultralytics YOLO của bạn.

graph TD
    A[Start: Select Deployment Target]:::start --> B{Device Type?}:::decide
    B -->|Edge Server / Workstation| C{Throughput Needs?}:::decide
    B -->|Embedded / Robotics| D{Space Constraints?}:::decide
    B -->|Standalone / R&D| E[Dev Kits & Systems]:::proc

    C -->|Max Density <br> 30+ Streams| F[**Metis PCIe x4**<br>856 TOPS]:::out
    C -->|Standard PC <br> Low Profile| G[**Metis PCIe x1**<br>214 TOPS]:::out

    D -->|Drones & Handhelds| H[**Metis M.2**<br>2280 M-Key]:::out
    D -->|High Performance Embedded| I[**Metis M.2 MAX**<br>Extended Thermal]:::out

    E -->|ARM-based All-in-One| J[**Metis Compute Board**<br>RK3588 + AIPU]:::out
    E -->|Prototyping| K[**Arduino Portenta x8**<br>Integration Kit]:::out

    click F "https://store.axelera.ai/"
    click G "https://store.axelera.ai/"
    click H "https://store.axelera.ai/"
    click J "https://store.axelera.ai/"

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Danh mục phần cứng#

Dòng phần cứng Axelera được tối ưu để chạy Ultralytics YOLO26 và các phiên bản cũ với hiệu suất FPS trên mỗi watt cao.

Card tăng tốc#

Các card này cho phép tăng tốc AI trên các thiết bị host hiện có, hỗ trợ triển khai trên hạ tầng hiện hữu.

Hệ thống tích hợp#

Đối với các giải pháp trọn gói, Axelera hợp tác với các nhà sản xuất để cung cấp hệ thống đã được xác thực trước cho Metis AIPU.

• Bo mạch tính toán Metis: Thiết bị edge độc lập kết hợp Metis AIPU với CPU ARM Rockchip RK3588.
• Máy trạm: Máy dạng tower cho doanh nghiệp của Dell (Precision 3460XE) và Lenovo (ThinkStation P360 Ultra).
• PC công nghiệp: Các hệ thống gia cường của Advantech và Aetina, được thiết kế cho tự động hóa sản xuất.

Các tác vụ được hỗ trợ#

Không hỗ trợ ước lượng độ sâu: head độ sâu tạo ra các toán tử mà compiler Metis AIPU không thể hạ cấp. Ultralytics export cũng không hỗ trợ phân đoạn đối tượng YOLO26, nhưng vẫn có thể triển khai thông qua Voyager SDK như mô tả bên dưới. Phân đoạn ngữ nghĩa YOLO26 được hỗ trợ.

Cài đặt#

Cài đặt Ultralytics#

pip install ultralytics

Để xem hướng dẫn chi tiết, hãy tham khảo hướng dẫn Cài đặt Ultralytics. Nếu gặp khó khăn, hãy xem hướng dẫn Các sự cố thường gặp của chúng tôi.

Cài đặt driver Axelera#

1. Thêm khóa repository Axelera:

   sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

2. Thêm repository vào apt:

   Chọn đoạn lệnh phù hợp bên dưới với hệ điều hành đang sử dụng.

   # Ubuntu 22.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

   # Ubuntu 24.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu24 main' > /etc/apt/sources.list.d/axelera.list"

3. Cài đặt driver và tải driver vào kernel. SDK 1.8 yêu cầu metis-dkms phiên bản 1.6.2 trở lên, vì vậy tại đây sẽ cài đặt phiên bản mới nhất:

   sudo apt update
   sudo apt install -y metis-dkms
   sudo modprobe metis

[libaxldev.c:285] Found kernel driver version 1.5.5, but at least version 1.6.2 is required. Please update the kernel driver
ERROR: AXR_ERROR_CONNECTION_ERROR: Failed to open device metis-0:4:0

sudo apt update
sudo apt install -y metis-dkms
sudo rmmod metis
sudo modprobe metis

pip install axelera-devkit==1.8.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple
pip install axelera-rt==1.8.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple

Error: Unsupported model version: 4.0, expected at least 5.0
Please re-deploy or re-download the model.

Xuất model YOLO sang Axelera#

Định dạng Axelera hỗ trợ các chế độ Xuất, Dự đoán và Đánh giá. Suy luận và đánh giá chạy trên phần cứng Axelera Metis AIPU. Hãy xuất model, sau đó tải model đã xuất để chạy suy luận hoặc đánh giá độ chính xác.

from ultralytics import YOLO

# Nạp model YOLO26
model = YOLO("yolo26n.pt")

# # Xuất model sang định dạng Axelera
model.export(format="axelera")  # creates 'yolo26n_axelera_model'

from ultralytics import YOLO

# # Tải model Axelera đã xuất
model = YOLO("yolo26n_axelera_model")

# Chạy suy luận
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# # Tải model Axelera đã xuất
model = YOLO("yolo26n_axelera_model")

# # Đánh giá độ chính xác trên bộ dữ liệu COCO8
metrics = model.val(data="coco8.yaml")

Các tham số xuất model#

* Suy luận bằng batch>1 yêu cầu Voyager SDK phiên bản 1.8.0 trở lên; model được biên dịch cho một ảnh duy nhất.

Để xem tất cả tùy chọn xuất, hãy tham khảo tài liệu Chế độ xuất.

Cấu trúc đầu ra#

yolo26n_axelera_model/
├── yolo26n.axm                  # Axelera model file
├── compiler_config_final.toml  # Compiler configuration used for the build
└── metadata.yaml               # Model metadata (classes, image size, etc.)

Điểm chuẩn Axelera AI#

AIPU Metis tối đa hóa thông lượng đồng thời giảm thiểu mức tiêu thụ năng lượng.

Điểm chuẩn dựa trên dữ liệu của Axelera AI. FPS thực tế phụ thuộc vào kích thước model, batching và độ phân giải đầu vào.

Đây là số liệu thông lượng phía host, được đo bằng model zoo với pipeline streaming của Voyager SDK trên tệp video 720p. Một lệnh gọi predict riêng lẻ báo cáo độ trễ trên mỗi ảnh, đây là một đại lượng khác.

Ứng dụng thực tế#

Ultralytics YOLO trên phần cứng Axelera hỗ trợ các giải pháp điện toán biên tiên tiến:

• Bán lẻ thông minh: Đếm đối tượng theo thời gian thực và phân tích heatmap để tối ưu hóa cửa hàng.
• An toàn công nghiệp: Phát hiện PPE độ trễ thấp trong môi trường sản xuất.
• Phân tích bằng drone: Phát hiện đối tượng tốc độ cao trên UAV phục vụ nông nghiệp và tìm kiếm cứu nạn.
• Hệ thống giao thông: Nhận dạng biển số và ước tính tốc độ trên thiết bị biên.

Quy trình được khuyến nghị#

1. Huấn luyện model bằng Train Mode của Ultralytics
2. Xuất sang định dạng Axelera bằng model.export(format="axelera")
3. Xác thực độ chính xác bằng yolo val để xác minh mức suy giảm do lượng tử hóa là tối thiểu
4. Dự đoán bằng yolo predict để xác thực định tính
5. Triển khai vào pipeline đầu cuối hiệu năng cao mà không phụ thuộc vào PyTorch — xem các ví dụ YOLO trên Voyager SDK để tham khảo pipeline Python có thể kết hợp, sử dụng axelera-rt

Kiểm tra tình trạng thiết bị#

Xác minh thiết bị Axelera của bạn đang hoạt động bình thường:

# if axdevice cannot be found, please run at least one inference (see above) to ensure the required packages are installed
axdevice

Để xem chẩn đoán chi tiết, hãy tham khảo tài liệu AxDevice.

Hiệu năng tối đa#

Các model được biên dịch cho một ảnh. Truyền nhiều ảnh vào Predict sẽ đưa chúng qua bộ lập lịch Axelera (Voyager SDK 1.8 trở lên), vì vậy batch>1 chạy chính xác; tuy nhiên, khi đo đầu cuối trên một thiết bị đơn lẻ, tốc độ không nhanh hơn batch=1:

yolo predict model=yolo26n_axelera_model source=path/to/images batch=8

Đối với môi trường production cần thông lượng tối đa, Axelera Voyager SDK cung cấp:

• Pipeline suy luận streaming duy trì nhiều frame đang được xử lý
• Biên dịch một model trên nhiều lõi
• Suy luận theo vùng chia ô cho camera độ phân giải cao hơn

Xem model-zoo để tham khảo điểm chuẩn FPS hoặc liên hệ Axelera để được hỗ trợ triển khai production.

Các vấn đề đã biết#

Để được hỗ trợ, hãy truy cập Cộng đồng Axelera.

Câu hỏi thường gặp#