Xuất và Triển khai Axelera AI

Ultralytics hợp tác với Axelera AI để cho phép suy luận hiệu suất cao, tiết kiệm năng lượng trên các thiết bị Edge AI. Xuất và triển khai mô hình Ultralytics YOLO trực tiếp lên Metis® AIPU sử dụng Voyager SDK.

Axelera AI cung cấp khả năng tăng tốc phần cứng chuyên dụng cho thị giác máy tính tại biên, sử dụng kiến trúc luồng dữ liệu độc quyền và tính toán trong bộ nhớ để đạt tới 856 TOPS với mức tiêu thụ điện năng thấp.

Chọn phần cứng phù hợp

Axelera AI cung cấp nhiều yếu tố hình thức khác nhau để phù hợp với các ràng buộc triển khai khác nhau. Biểu đồ dưới đây giúp xác định phần cứng tối ưu cho việc triển khai Ultralytics YOLO của bạn.

graph TD
    A[Start: Select Deployment Target] --> B{Device Type?}
    B -->|Edge Server / Workstation| C{Throughput Needs?}
    B -->|Embedded / Robotics| D{Space Constraints?}
    B -->|Standalone / R&D| E[Dev Kits & Systems]

    C -->|Max Density <br> 30+ Streams| F[**Metis PCIe x4**<br>856 TOPS]
    C -->|Standard PC <br> Low Profile| G[**Metis PCIe x1**<br>214 TOPS]

    D -->|Drones & Handhelds| H[**Metis M.2**<br>2280 M-Key]
    D -->|High Performance Embedded| I[**Metis M.2 MAX**<br>Extended Thermal]

    E -->|ARM-based All-in-One| J[**Metis Compute Board**<br>RK3588 + AIPU]
    E -->|Prototyping| K[**Arduino Portenta x8**<br>Integration Kit]

    click F "https://store.axelera.ai/"
    click G "https://store.axelera.ai/"
    click H "https://store.axelera.ai/"
    click J "https://store.axelera.ai/"

Danh mục phần cứng

Dòng sản phẩm phần cứng của Axelera được tối ưu hóa để chạy Ultralytics YOLO26 và các phiên bản cũ hơn với hiệu suất FPS trên mỗi watt cao.

Card tăng tốc

Các card này cho phép tăng tốc AI trong các thiết bị máy chủ hiện có, tạo điều kiện thuận lợi cho việc triển khai brownfield.

Hệ thống tích hợp

Đối với các giải pháp chìa khóa trao tay, Axelera hợp tác với các nhà sản xuất để cung cấp các hệ thống đã được xác thực trước cho Metis AIPU.

• Bo mạch tính toán Metis: Một thiết bị biên độc lập kết hợp Metis AIPU với CPU ARM Rockchip RK3588.
• Máy trạm: Các máy tính dạng tháp dành cho doanh nghiệp từ Dell (Precision 3460XE) và Lenovo (ThinkStation P360 Ultra).
• Máy tính công nghiệp: Các hệ thống bền bỉ từ Advantech và Aetina được thiết kế cho tự động hóa sản xuất.

Các Tác Vụ Được Hỗ Trợ

Hiện tại, các mô hình detect đối tượng có thể được xuất sang định dạng Axelera. Các tác vụ bổ sung đang được tích hợp:

Cài đặt

Cài đặt Ultralytics

pip install ultralytics

Để biết hướng dẫn chi tiết, hãy xem hướng dẫn cài đặt Ultralytics của chúng tôi. Nếu bạn gặp khó khăn, hãy tham khảo hướng dẫn về các vấn đề thường gặp của chúng tôi.

Cài đặt Driver Axelera

1. Thêm khóa kho lưu trữ Axelera:

   sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"
   

2. Thêm kho lưu trữ vào apt:

   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"
   

3. Cài đặt SDK và tải trình điều khiển:

   sudo apt update
   sudo apt install -y axelera-voyager-sdk-base
   sudo modprobe metis
   yes | sudo /opt/axelera/sdk/latest/axelera_fix_groups.sh $USER
   

Xuất mô hình YOLO sang Axelera

Xuất các mô hình YOLO đã huấn luyện của bạn bằng lệnh xuất tiêu chuẩn của Ultralytics.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export to Axelera format
model.export(format="axelera")  # creates 'yolo26n_axelera_model' directory

yolo export model=yolo26n.pt format=axelera

Các đối số xuất

Để biết tất cả các tùy chọn xuất, hãy xem tài liệu Chế độ Xuất.

Cấu trúc đầu ra

yolo26n_axelera_model/
├── yolo26n.axm              # Axelera model file
└── metadata.yaml            # Model metadata (classes, image size, etc.)

Chạy suy luận

Tải mô hình đã xuất bằng API của Ultralytics và chạy suy luận, tương tự như tải các mô hình ONNX.

from ultralytics import YOLO

# Load the exported Axelera model
model = YOLO("yolo26n_axelera_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

# Process results
for r in results:
    print(f"Detected {len(r.boxes)} objects")
    r.show()  # Display results

yolo predict model='yolo26n_axelera_model' source='https://ultralytics.com/images/bus.jpg'

Hiệu suất suy luận

Metis AIPU tối đa hóa thông lượng đồng thời giảm thiểu mức tiêu thụ năng lượng.

Điểm chuẩn dựa trên dữ liệu của Axelera AI. FPS thực tế phụ thuộc vào kích thước mô hình, phân lô và độ phân giải đầu vào.

Các ứng dụng thực tế

Ultralytics YOLO trên phần cứng Axelera cho phép các giải pháp điện toán biên tiên tiến:

• Bán lẻ thông minh: Đếm đối tượng và phân tích bản đồ nhiệt theo thời gian thực để tối ưu hóa cửa hàng.
• An toàn công nghiệp: Phát hiện PPE độ trễ thấp trong môi trường sản xuất.
• Phân tích từ Drone: Phát hiện đối tượng tốc độ cao trên UAV cho nông nghiệp và tìm kiếm cứu nạn.
• Hệ thống giao thông: Nhận dạng biển số xe và ước tính tốc độ dựa trên biên.

Quy trình làm việc được khuyến nghị

1. Huấn luyện mô hình của bạn bằng Chế độ Huấn luyện của Ultralytics
2. Xuất sang định dạng Axelera bằng cách sử dụng model.export(format="axelera")
3. Xác thực độ chính xác với yolo val để xác minh tổn thất lượng tử hóa tối thiểu
4. Dự đoán bằng cách sử dụng yolo predict để xác thực định tính

Kiểm tra tình trạng thiết bị

Xác minh thiết bị Axelera của bạn đang hoạt động bình thường:

. /opt/axelera/sdk/latest/axelera_activate.sh
axdevice

Để biết chẩn đoán chi tiết, hãy xem tài liệu AxDevice.

Hiệu suất tối đa

Tích hợp này sử dụng cấu hình lõi đơn để tương thích. Đối với sản xuất yêu cầu thông lượng tối đa, Axelera Voyager SDK cung cấp:

• Tận dụng đa lõi (AIPU Metis lõi tứ)
• Các pipeline suy luận theo luồng
• Suy luận theo ô cho camera độ phân giải cao hơn

Xem model-zoo để biết điểm chuẩn FPS hoặc liên hệ Axelera để được hỗ trợ sản xuất.

Các vấn đề đã biết

Để được hỗ trợ, hãy truy cập Cộng đồng Axelera.

Câu hỏi thường gặp

Các phiên bản YOLO nào được hỗ trợ trên Axelera?

Voyager SDK hỗ trợ xuất các mô hình YOLOv8 và YOLO26.

Tôi có thể triển khai các mô hình được huấn luyện tùy chỉnh không?

Có. Bất kỳ mô hình nào được huấn luyện bằng Chế độ huấn luyện của Ultralytics đều có thể được xuất sang định dạng Axelera, miễn là nó sử dụng các lớp và phép toán được hỗ trợ.

Lượng tử hóa INT8 ảnh hưởng đến độ chính xác như thế nào?

SDK Voyager của Axelera tự động lượng tử hóa các mô hình cho kiến trúc AIPU độ chính xác hỗn hợp. Đối với hầu hết phát hiện đối tượng các tác vụ, những cải thiện về hiệu suất (FPS cao hơn, điện năng thấp hơn) vượt trội đáng kể so với tác động tối thiểu đến mAP. Lượng tử hóa mất từ vài giây đến vài giờ tùy thuộc vào kích thước mô hình. Chạy yolo val sau khi xuất để xác minh độ chính xác.

Tôi nên sử dụng bao nhiêu ảnh hiệu chuẩn?

Chúng tôi khuyến nghị sử dụng từ 100 đến 400 ảnh. Sử dụng hơn 400 ảnh không mang lại lợi ích bổ sung và làm tăng thời gian lượng tử hóa. Hãy thử nghiệm với 100, 200 và 400 ảnh để tìm ra sự cân bằng tối ưu.

Tôi có thể tìm Voyager SDK ở đâu?

Bộ SDK, trình điều khiển và công cụ biên dịch có sẵn thông qua Cổng thông tin nhà phát triển Axelera.

📅 Được tạo 2 tháng trước ✏️ Cập nhật 7 ngày trước

Bình luận