Xuất và triển khai AI Axelera

Ultralytics Hợp tác với Axelera AI để cho phép suy luận hiệu năng cao, tiết kiệm năng lượng trên các thiết bị Edge AI . Xuất và triển khai các mô hình Ultralytics YOLO trực tiếp lên Metis® AIPU bằng cách sử dụng Voyager SDK .

Axelera AI cung cấp khả năng tăng tốc phần cứng chuyên dụng cho thị giác máy tính tại biên, sử dụng kiến trúc luồng dữ liệu độc quyền và điện toán trong bộ nhớ để đạt hiệu năng lên đến 856 TOPS với mức tiêu thụ điện năng thấp.

Lựa chọn phần cứng phù hợp

Axelera AI cung cấp nhiều kiểu dáng khác nhau để phù hợp với các hạn chế triển khai khác nhau. Biểu đồ bên dưới giúp xác định phần cứng tối ưu cho bạn. Ultralytics YOLO triển khai.

graph TD
    A[Start: Select Deployment Target] --> B{Device Type?}
    B -->|Edge Server / Workstation| C{Throughput Needs?}
    B -->|Embedded / Robotics| D{Space Constraints?}
    B -->|Standalone / R&D| E[Dev Kits & Systems]

    C -->|Max Density <br> 30+ Streams| F[**Metis PCIe x4**<br>856 TOPS]
    C -->|Standard PC <br> Low Profile| G[**Metis PCIe x1**<br>214 TOPS]

    D -->|Drones & Handhelds| H[**Metis M.2**<br>2280 M-Key]
    D -->|High Performance Embedded| I[**Metis M.2 MAX**<br>Extended Thermal]

    E -->|ARM-based All-in-One| J[**Metis Compute Board**<br>RK3588 + AIPU]
    E -->|Prototyping| K[**Arduino Portenta x8**<br>Integration Kit]

    click F "https://store.axelera.ai/"
    click G "https://store.axelera.ai/"
    click H "https://store.axelera.ai/"
    click J "https://store.axelera.ai/"

Danh mục phần cứng

Dòng phần cứng Axelera được tối ưu hóa để chạy Ultralytics YOLO11 và các phiên bản cũ với hiệu suất FPS trên watt cao.

Thẻ tăng tốc

Các thẻ này cho phép tăng tốc AI trong các thiết bị chủ hiện có, tạo điều kiện thuận lợi cho việc triển khai brownfield .

Hệ thống tích hợp

Đối với các giải pháp trọn gói, Axelera hợp tác với các nhà sản xuất để cung cấp các hệ thống được xác thực trước cho Metis AIPU.

• Metis Compute Board : Một thiết bị biên độc lập ghép nối Metis AIPU với Rockchip RK3588 ARM CPU .
• Máy trạm : Máy trạm doanh nghiệp của Dell (Precision 3460XE) và Lenovo (ThinkStation P360 Ultra).
• Máy tính công nghiệp : Hệ thống bền bỉ từ Advantech và Aetina được thiết kế cho tự động hóa sản xuất .

Các Tác Vụ Được Hỗ Trợ

Hiện tại, các mô hình phát hiện đối tượng có thể được xuất sang định dạng Axelera. Các tác vụ bổ sung đang được tích hợp:

Cài đặt

Cài đặt Ultralytics

pip install ultralytics

Để biết hướng dẫn chi tiết, vui lòng xem hướng dẫn Cài đặt Ultralytics của chúng tôi. Nếu gặp khó khăn, hãy tham khảo hướng dẫn Các vấn đề thường gặp .

Cài đặt trình điều khiển Axelera

1. Thêm khóa kho lưu trữ Axelera:

   sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"
   

2. Thêm kho lưu trữ vào apt:

   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"
   

3. Cài đặt SDK và tải trình điều khiển:

   sudo apt update
   sudo apt install -y axelera-voyager-sdk-base
   sudo modprobe metis
   yes | sudo /opt/axelera/sdk/latest/axelera_fix_groups.sh $USER
   

Xuất khẩu YOLO Các mô hình đến Axelera

Xuất dữ liệu đã được đào tạo của bạn YOLO các mô hình sử dụng tiêu chuẩn Ultralytics lệnh xuất khẩu.

from ultralytics import YOLO

# Load a YOLO11 model
model = YOLO("yolo11n.pt")

# Export to Axelera format
model.export(format="axelera")  # creates 'yolo11n_axelera_model' directory

yolo export model=yolo11n.pt format=axelera

Các đối số xuất

Để xem tất cả các tùy chọn xuất, vui lòng tham khảo tài liệu Chế độ xuất .

Cấu trúc đầu ra

yolo11n_axelera_model/
├── yolo11n.axm              # Axelera model file
└── metadata.yaml            # Model metadata (classes, image size, etc.)

Chạy suy luận

Tải mô hình đã xuất bằng Ultralytics API và chạy suy luận, tương tự như việc tải các mô hình ONNX .

from ultralytics import YOLO

# Load the exported Axelera model
model = YOLO("yolo11n_axelera_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

# Process results
for r in results:
    print(f"Detected {len(r.boxes)} objects")
    r.show()  # Display results

yolo predict model='yolo11n_axelera_model' source='https://ultralytics.com/images/bus.jpg'

Hiệu suất suy luận

Hệ thống Metis AIPU tối đa hóa hiệu suất đồng thời giảm thiểu mức tiêu thụ năng lượng.

Các chỉ số hiệu năng dựa trên dữ liệu của Axelera AI. Tốc độ khung hình thực tế phụ thuộc vào kích thước mô hình, phương pháp xử lý theo lô và độ phân giải đầu vào.

Các ứng dụng thực tế

Ultralytics YOLO trên phần cứng Axelera cho phép các giải pháp điện toán biên tiên tiến:

• Bán lẻ thông minh : Đếm đối tượng theo thời gian thực và phân tích bản đồ nhiệt để tối ưu hóa cửa hàng.
• An toàn công nghiệp : Phát hiện PPE có độ trễ thấp trong môi trường sản xuất.
• Phân tích máy bay không người lái : Phát hiện vật thể tốc độ cao trên UAV phục vụ nông nghiệp và tìm kiếm cứu nạn.
• Hệ thống giao thông : Nhận dạng biển số xe dựa trên cạnh và ước tính tốc độ .

Quy trình làm việc được đề xuất

1. Huấn luyện mô hình của bạn bằng cách sử dụng Ultralytics Chế độ tàu hỏa
2. Xuất sang định dạng Axelera bằng cách sử dụng model.export(format="axelera")
3. Xác thực độ chính xác với yolo val để xác minh tổn thất lượng tử hóa tối thiểu
4. Dự đoán bằng cách sử dụng yolo predict để xác thực định tính

Kiểm tra tình trạng thiết bị

Hãy kiểm tra xem thiết bị Axelera của bạn có hoạt động bình thường hay không:

. /opt/axelera/sdk/latest/axelera_activate.sh
axdevice

Để biết thông tin chẩn đoán chi tiết, vui lòng xem tài liệu hướng dẫn của AxDevice .

Hiệu suất tối đa

Việc tích hợp này sử dụng cấu hình lõi đơn để đảm bảo tính tương thích. Đối với môi trường sản xuất yêu cầu thông lượng tối đa, Axelera Voyager SDK cung cấp:

• Tận dụng đa lõi (bộ xử lý Metis AIPU lõi tứ)
• Các quy trình suy luận luồng
• Suy luận theo ô cho camera độ phân giải cao hơn

Xem kho mô hình để biết điểm chuẩn FPS hoặc liên hệ với Axelera để được hỗ trợ sản xuất.

Các vấn đề đã biết

Để được hỗ trợ, hãy truy cập Cộng đồng Axelera .

Câu hỏi thường gặp

Cái gì YOLO phiên bản nào được hỗ trợ trên Axelera?

Bộ SDK Voyager hỗ trợ xuất các mô hình YOLOv8 và YOLO11 .

Tôi có thể triển khai các mô hình được huấn luyện tùy chỉnh không?

Có. Bất kỳ mô hình nào được đào tạo bằng Ultralytics Train Mode đều có thể được xuất sang định dạng Axelera, miễn là mô hình đó sử dụng các lớp và thao tác được hỗ trợ.

Lượng tử hóa INT8 ảnh hưởng đến độ chính xác như thế nào?

SDK Voyager của Axelera tự động lượng tử hóa các mô hình cho kiến trúc AIPU độ chính xác hỗn hợp. Đối với hầu hết các trường hợp, phát hiện đối tượng Đối với các tác vụ này, hiệu suất đạt được (tốc độ khung hình cao hơn, điện năng tiêu thụ thấp hơn) vượt trội hơn hẳn so với tác động tối thiểu lên hiệu suất tổng thể. mAPQuá trình lượng tử hóa mất từ vài giây đến vài giờ tùy thuộc vào kích thước mô hình. Chạy yolo val Sau khi xuất khẩu để xác minh độ chính xác.

Tôi nên sử dụng bao nhiêu ảnh hiệu chuẩn?

Chúng tôi khuyến nghị sử dụng từ 100 đến 400 hình ảnh. Nhiều hơn 400 hình ảnh không mang lại lợi ích bổ sung nào và làm tăng thời gian lượng tử hóa. Hãy thử nghiệm với 100, 200 và 400 hình ảnh để tìm ra sự cân bằng tối ưu.

Tôi có thể tìm Voyager SDK ở đâu?

SDK, trình điều khiển và công cụ biên dịch có sẵn thông qua Cổng thông tin dành cho nhà phát triển Axelera .

📅 Được tạo cách đây 18 ngày ✏️ Cập nhật cách đây 1 ngày

Bình luận