Xuất và Triển khai trên Axelera AI

Ultralytics hợp tác với Axelera AI để hỗ trợ suy luận hiệu suất cao, tiết kiệm năng lượng trên các thiết bị Edge AI. Hãy xuất và triển khai các model Ultralytics YOLO trực tiếp lên Metis® AIPU bằng cách sử dụng Voyager SDK.

Axelera AI cung cấp phần cứng chuyên dụng để tăng tốc computer vision tại biên (edge), sử dụng kiến trúc luồng dữ liệu độc quyền và in-memory computing để mang lại hiệu suất lên đến 856 TOPS với mức tiêu thụ điện năng thấp.

Lựa chọn Phần cứng Phù hợp

Axelera AI cung cấp các dạng cấu hình khác nhau để phù hợp với các hạn chế triển khai khác nhau. Bảng dưới đây giúp xác định phần cứng tối ưu cho việc triển khai Ultralytics YOLO của bạn.

graph TD
    A[Start: Select Deployment Target] --> B{Device Type?}
    B -->|Edge Server / Workstation| C{Throughput Needs?}
    B -->|Embedded / Robotics| D{Space Constraints?}
    B -->|Standalone / R&D| E[Dev Kits & Systems]

    C -->|Max Density <br> 30+ Streams| F[**Metis PCIe x4**<br>856 TOPS]
    C -->|Standard PC <br> Low Profile| G[**Metis PCIe x1**<br>214 TOPS]

    D -->|Drones & Handhelds| H[**Metis M.2**<br>2280 M-Key]
    D -->|High Performance Embedded| I[**Metis M.2 MAX**<br>Extended Thermal]

    E -->|ARM-based All-in-One| J[**Metis Compute Board**<br>RK3588 + AIPU]
    E -->|Prototyping| K[**Arduino Portenta x8**<br>Integration Kit]

    click F "https://store.axelera.ai/"
    click G "https://store.axelera.ai/"
    click H "https://store.axelera.ai/"
    click J "https://store.axelera.ai/"

Danh mục Phần cứng

Dòng phần cứng Axelera được tối ưu hóa để chạy Ultralytics YOLO26 và các phiên bản cũ hơn với hiệu suất FPS-per-watt cao.

Card Tăng tốc

Các card này cho phép tăng tốc AI trên các thiết bị chủ (host) hiện có, tạo điều kiện thuận lợi cho các triển khai brownfield.

Hệ thống Tích hợp

Đối với các giải pháp chìa khóa trao tay, Axelera hợp tác với các nhà sản xuất để cung cấp các hệ thống đã được kiểm chứng cho Metis AIPU.

• Metis Compute Board: Một thiết bị edge độc lập kết hợp Metis AIPU với CPU ARM Rockchip RK3588.
• Workstations: Các tháp doanh nghiệp từ Dell (Precision 3460XE) và Lenovo (ThinkStation P360 Ultra).
• Industrial PCs: Các hệ thống siêu bền từ Advantech và Aetina được thiết kế cho tự động hóa sản xuất.

Các tác vụ được hỗ trợ

Các tác vụ sau được hỗ trợ trên các model YOLOv8, YOLO11 và YOLO26.

Cài đặt

Cài đặt Ultralytics

pip install ultralytics

Để biết hướng dẫn chi tiết, hãy xem Hướng dẫn Cài đặt Ultralytics của chúng tôi. Nếu bạn gặp khó khăn, hãy tham khảo Hướng dẫn các Vấn đề Thường gặp của chúng tôi.

Cài đặt Driver Axelera

1. Thêm khóa kho lưu trữ Axelera:

   sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

2. Thêm kho lưu trữ vào apt:

   Chọn đoạn mã thích hợp bên dưới để khớp với HĐH đang sử dụng.

   # Ubuntu 22.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

   # Ubuntu 24.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu24 main' > /etc/apt/sources.list.d/axelera.list"

3. Cài đặt SDK và tải driver:

   sudo apt update
   sudo apt install -y metis-dkms=1.4.16
   sudo modprobe metis

pip install axelera-devkit==1.6.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple
pip install axelera-rt==1.6.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple

Xuất Model YOLO sang Axelera

Xuất các model YOLO đã huấn luyện của bạn bằng lệnh xuất tiêu chuẩn của Ultralytics.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export to Axelera format
model.export(format="axelera")  # creates 'yolo26n_axelera_model' directory

Các đối số Xuất

Đối với tất cả các tùy chọn xuất, xem Tài liệu về Chế độ Xuất.

Cấu trúc Đầu ra

yolo26n_axelera_model/
├── yolo26n.axm              # Axelera model file
└── metadata.yaml            # Model metadata (classes, image size, etc.)

Chạy suy luận

Tải model đã xuất với API Ultralytics và chạy suy luận, tương tự như tải các model ONNX.

from ultralytics import YOLO

# Load the exported Axelera model
model = YOLO("yolo26n_axelera_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

# Process results
for r in results:
    print(f"Detected {len(r.boxes)} objects")
    r.show()  # Display results

Điểm chuẩn Axelera AI

Metis AIPU tối đa hóa thông lượng trong khi giảm thiểu tiêu thụ năng lượng.

Điểm chuẩn dựa trên dữ liệu của Axelera AI. FPS thực tế phụ thuộc vào kích thước model, batching và độ phân giải đầu vào.

Ứng dụng trong thế giới thực

Ultralytics YOLO trên phần cứng Axelera hỗ trợ các giải pháp edge computing tiên tiến:

• Bán lẻ thông minh: Đếm đối tượng thời gian thực và phân tích bản đồ nhiệt để tối ưu hóa cửa hàng.
• An toàn công nghiệp: Phát hiện PPE độ trễ thấp trong môi trường sản xuất.
• Phân tích Drone: Phát hiện đối tượng tốc độ cao trên UAV cho nông nghiệp và tìm kiếm cứu nạn.
• Hệ thống giao thông: Nhận dạng biển số xe và ước tính tốc độ dựa trên edge.

Quy trình khuyến nghị

1. Huấn luyện model của bạn bằng Chế độ Huấn luyện của Ultralytics
2. Xuất sang định dạng Axelera bằng cách sử dụng model.export(format="axelera")
3. Xác thực độ chính xác bằng yolo val để kiểm tra mức độ mất mát do lượng tử hóa tối thiểu
4. Dự đoán sử dụng yolo predict để xác thực định tính
5. Triển khai lên một pipeline end-to-end hiệu suất cao không cần phụ thuộc PyTorch — xem các ví dụ về YOLO trên Voyager SDK cho các pipeline Python có thể kết hợp sử dụng axelera-rt

Kiểm tra Tình trạng Thiết bị

Xác minh thiết bị Axelera của bạn đang hoạt động bình thường:

# if axdevice cannot be found, please run at least one inference (see above) to ensure the required packages are installed
axdevice

Để biết thông tin chẩn đoán chi tiết, hãy xem tài liệu AxDevice.

Hiệu suất tối đa

Tích hợp này sử dụng cấu hình đơn nhân để đảm bảo tính tương thích. Đối với môi trường production yêu cầu lưu lượng xử lý tối đa, Axelera Voyager SDK cung cấp:

• Khả năng sử dụng đa nhân (Metis AIPU lõi tứ)
• Các pipeline inference trực tuyến
• Inference theo ô (tiled inferencing) cho các camera có độ phân giải cao hơn

Xem model-zoo để biết các benchmark FPS hoặc liên hệ với Axelera để được hỗ trợ cho môi trường production.

Các vấn đề thường gặp

Để được hỗ trợ, hãy truy cập Cộng đồng Axelera.

Câu hỏi thường gặp (FAQ)

Những phiên bản YOLO nào được hỗ trợ trên Axelera?

Voyager SDK hỗ trợ export các model YOLOv8, YOLO11, và YOLO26. Xem Các tác vụ được hỗ trợ để biết tính sẵn sàng của tác vụ cho từng model.

Tôi có thể deploy các model tự huấn luyện không?

Có. Bất kỳ model nào được huấn luyện bằng Ultralytics Train Mode đều có thể được export sang định dạng Axelera, với điều kiện model đó sử dụng các lớp (layers) và thao tác được hỗ trợ.

Lượng tử hóa INT8 ảnh hưởng đến độ chính xác như thế nào?

Voyager SDK của Axelera tự động lượng tử hóa các model cho kiến trúc AIPU hỗn hợp. Đối với hầu hết các tác vụ object detection, việc cải thiện hiệu suất (FPS cao hơn, tiêu thụ điện năng thấp hơn) có lợi thế vượt trội so với tác động tối thiểu lên mAP. Quá trình lượng tử hóa mất từ vài giây đến vài giờ tùy thuộc vào kích thước model. Hãy chạy yolo val sau khi export để xác minh độ chính xác.

Tôi nên sử dụng bao nhiêu ảnh hiệu chỉnh (calibration images)?

Chúng tôi khuyến nghị sử dụng từ 100 đến 400 ảnh. Số lượng nhiều hơn 400 không mang lại lợi ích bổ sung và sẽ làm tăng thời gian lượng tử hóa. Hãy thử nghiệm với 100, 200 và 400 ảnh để tìm ra sự cân bằng tối ưu.

Tôi có thể tìm Voyager SDK ở đâu?

SDK, trình điều khiển (drivers) và các công cụ trình biên dịch có sẵn thông qua Axelera Developer Portal.