Rockchip RKNN Xuất khẩu cho Ultralytics YOLO11 Mô hình
Khi triển khai các mô hình thị giác máy tính trên các thiết bị nhúng, đặc biệt là các thiết bị được cung cấp bởi bộ xử lý Rockchip, việc có định dạng mô hình tương thích là điều cần thiết. Xuất các mô hình Ultralytics YOLO11 sang định dạng RKNN đảm bảo hiệu suất và khả năng tương thích được tối ưu hóa với phần cứng của Rockchip. Hướng dẫn này sẽ hướng dẫn bạn cách chuyển đổi YOLO11 mô hình sang định dạng RKNN, cho phép triển khai hiệu quả trên nền tảng Rockchip.
Ghi chú
Hướng dẫn này đã được thử nghiệm với Radxa Rock 5B dựa trên Rockchip RK3588 và Radxa Zero 3W dựa trên Rockchip RK3566. Hướng dẫn này dự kiến sẽ hoạt động trên các thiết bị khác dựa trên Rockchip hỗ trợ rknn-toolkit2 như RK3576, RK3568, RK3562, RV1103, RV1106, RV1103B, RV1106B và RK2118.
Rockchip là gì?
Nổi tiếng với việc cung cấp các giải pháp linh hoạt và tiết kiệm điện năng, Rockchip thiết kế các Hệ thống trên Chip (SoC) tiên tiến cung cấp năng lượng cho nhiều loại thiết bị điện tử tiêu dùng, ứng dụng công nghiệp và công nghệ AI. Với kiến trúc dựa trên ARM, Bộ xử lý thần kinh (NPU) tích hợp và hỗ trợ đa phương tiện độ phân giải cao, Rockchip SoC cho phép hiệu suất tiên tiến cho các thiết bị như máy tính bảng, TV thông minh, hệ thống IoT và ứng dụng AI biên. Các công ty như Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas và Banana Pi cung cấp nhiều sản phẩm dựa trên Rockchip SoC, mở rộng hơn nữa phạm vi tiếp cận và tác động của họ trên nhiều thị trường khác nhau.
Bộ công cụ RKNN
Bộ công cụ RKNN là một bộ công cụ và thư viện do Rockchip cung cấp để tạo điều kiện triển khai các mô hình học sâu trên nền tảng phần cứng của họ. RKNN, hay Mạng nơ-ron Rockchip, là định dạng độc quyền được các công cụ này sử dụng. Các mô hình RKNN được thiết kế để tận dụng tối đa khả năng tăng tốc phần cứng do NPU (Bộ xử lý nơ-ron) của Rockchip cung cấp, đảm bảo hiệu suất cao trong các tác vụ AI trên các thiết bị như RK3588, RK3566, RV1103, RV1106 và các hệ thống khác do Rockchip cung cấp.
Các tính năng chính của mô hình RKNN
Các mô hình RKNN mang lại một số lợi thế khi triển khai trên nền tảng Rockchip:
- Được tối ưu hóa cho NPU : Các mô hình RKNN được tối ưu hóa cụ thể để chạy trên NPU của Rockchip, đảm bảo hiệu suất và hiệu quả tối đa.
- Độ trễ thấp : Định dạng RKNN giảm thiểu độ trễ suy luận, điều này rất quan trọng đối với các ứng dụng thời gian thực trên các thiết bị biên.
- Tùy chỉnh theo nền tảng cụ thể : Các mô hình RKNN có thể được tùy chỉnh theo các nền tảng Rockchip cụ thể, cho phép sử dụng tốt hơn tài nguyên phần cứng.
Flash OS đến phần cứng Rockchip
Bước đầu tiên sau khi có được thiết bị chạy Rockchip là flash hệ điều hành để phần cứng có thể khởi động vào môi trường làm việc. Trong hướng dẫn này, chúng tôi sẽ chỉ ra hướng dẫn bắt đầu của hai thiết bị mà chúng tôi đã thử nghiệm là Radxa Rock 5B và Radxa Zero 3W.
Xuất sang RKNN: Chuyển đổi YOLO11 Người mẫu
Xuất khẩu một Ultralytics YOLO11 mô hình sang định dạng RKNN và chạy suy luận với mô hình đã xuất.
Ghi chú
Đảm bảo sử dụng PC Linux chạy trên X86 để xuất mô hình sang RKNN vì việc xuất trên các thiết bị chạy trên Rockchip (ARM64) không được hỗ trợ.
Cài đặt
Để cài đặt các gói cần thiết, hãy chạy:
Để biết hướng dẫn chi tiết và các biện pháp thực hành tốt nhất liên quan đến quy trình cài đặt, hãy xem hướng dẫn Cài đặt Ultralytics của chúng tôi. Trong khi cài đặt các gói cần thiết cho YOLO11 , nếu bạn gặp bất kỳ khó khăn nào, hãy tham khảo hướng dẫn Sự cố thường gặp của chúng tôi để biết giải pháp và mẹo.
Cách sử dụng
Ghi chú
Hiện tại, tính năng xuất chỉ được hỗ trợ cho các mô hình phát hiện. Sẽ có thêm nhiều mô hình hỗ trợ trong tương lai.
Cách sử dụng
Xuất khẩu đối số
Lý lẽ | Kiểu | Mặc định | Sự miêu tả |
---|---|---|---|
format |
str |
rknn |
Định dạng mục tiêu cho mô hình được xuất ra, xác định khả năng tương thích với nhiều môi trường triển khai khác nhau. |
imgsz |
int hoặc tuple |
640 |
Kích thước hình ảnh mong muốn cho đầu vào mô hình. Có thể là số nguyên cho hình ảnh vuông hoặc một bộ (height, width) cho các kích thước cụ thể. |
batch |
int |
1 |
Chỉ định kích thước suy luận lô mô hình xuất hoặc số lượng hình ảnh tối đa mà mô hình xuất sẽ xử lý đồng thời trong predict cách thức. |
name |
str |
rk3588 |
Chỉ định mô hình Rockchip (rk3588, rk3576, rk3566, rk3568, rk3562, rv1103, rv1106, rv1103b, rv1106b, rk2118) |
Để biết thêm chi tiết về quy trình xuất, hãy truy cập trang tài liệu Ultralytics về xuất .
Triển khai Đã xuất YOLO11 Mô hình RKNN
Sau khi bạn đã xuất thành công Ultralytics YOLO11 mô hình sang định dạng RKNN, bước tiếp theo là triển khai các mô hình này trên các thiết bị sử dụng Rockchip.
Cài đặt
Để cài đặt các gói cần thiết, hãy chạy:
Cách sử dụng
Cách sử dụng
Ghi chú
Nếu bạn gặp thông báo nhật ký cho biết phiên bản thời gian chạy RKNN không khớp với phiên bản RKNN Toolkit và suy luận không thành công, vui lòng thay thế /usr/lib/librknnrt.so
với chính thức tập tin librknnrt.so.
Tiêu chuẩn
YOLO11 các tiêu chuẩn dưới đây được chạy bởi Ultralytics nhóm trên Radxa Rock 5B dựa trên Rockchip RK3588 với rknn
định dạng mô hình đo tốc độ và độ chính xác.
Người mẫu | Định dạng | Trạng thái | Kích thước (MB) | mAP50-95(B) | Thời gian suy luận (ms/im) |
---|---|---|---|---|---|
YOLO11n | rknn |
✅ | 7.4 | 0.61 | 99.5 |
YOLO11s | rknn |
✅ | 20.7 | 0.741 | 122.3 |
YOLO11m | rknn |
✅ | 41.9 | 0.764 | 298.0 |
YOLO11l | rknn |
✅ | 53.3 | 0.72 | 319.6 |
YOLO11x | rknn |
✅ | 114.6 | 0.828 | 632.1 |
Ghi chú
Xác thực cho điểm chuẩn trên được thực hiện bằng cách sử dụng tập dữ liệu coco8
Bản tóm tắt
Trong hướng dẫn này, bạn đã học cách xuất Ultralytics YOLO11 mô hình sang định dạng RKNN để nâng cao việc triển khai trên nền tảng Rockchip. Bạn cũng đã được giới thiệu về RKNN Toolkit và những lợi thế cụ thể khi sử dụng mô hình RKNN cho các ứng dụng AI biên.
Để biết thêm chi tiết về cách sử dụng, hãy truy cập tài liệu chính thức của RKNN .
Ngoài ra, nếu bạn muốn biết thêm về những điều khác Ultralytics YOLO11 tích hợp, hãy truy cập trang hướng dẫn tích hợp của chúng tôi. Bạn sẽ tìm thấy nhiều tài nguyên và thông tin hữu ích ở đó.
CÂU HỎI THƯỜNG GẶP
Làm thế nào để tôi xuất khẩu của tôi Ultralytics YOLO mô hình sang định dạng RKNN?
Bạn có thể dễ dàng xuất khẩu Ultralytics YOLO mô hình sang định dạng RKNN bằng cách sử dụng export()
phương pháp trong Ultralytics Python gói hoặc thông qua giao diện dòng lệnh ( CLI ). Đảm bảo bạn đang sử dụng PC Linux dựa trên x86 cho quá trình xuất, vì các thiết bị ARM64 như Rockchip không được hỗ trợ cho hoạt động này. Bạn có thể chỉ định nền tảng Rockchip mục tiêu bằng cách sử dụng name
lập luận, chẳng hạn như rk3588
, rk3566
hoặc các loại khác. Quá trình này tạo ra một mô hình RKNN được tối ưu hóa, sẵn sàng triển khai trên thiết bị Rockchip của bạn, tận dụng Bộ xử lý thần kinh (NPU) để suy luận nhanh hơn.
Ví dụ
Lợi ích của việc sử dụng mô hình RKNN trên thiết bị Rockchip là gì?
Các mô hình RKNN được thiết kế đặc biệt để tận dụng khả năng tăng tốc phần cứng của các Đơn vị xử lý thần kinh (NPU) của Rockchip. Việc tối ưu hóa này dẫn đến tốc độ suy luận nhanh hơn đáng kể và độ trễ giảm so với việc chạy các định dạng mô hình chung như ONNX hoặc TensorFlow Lite trên cùng một phần cứng. Sử dụng các mô hình RKNN cho phép sử dụng hiệu quả hơn các tài nguyên của thiết bị, dẫn đến mức tiêu thụ điện năng thấp hơn và hiệu suất tổng thể tốt hơn, đặc biệt quan trọng đối với các ứng dụng thời gian thực trên các thiết bị biên. Bằng cách chuyển đổi Ultralytics YOLO các mô hình RKNN, bạn có thể đạt được hiệu suất tối ưu trên các thiết bị được hỗ trợ bởi Rockchip SoC như RK3588, RK3566 và các loại khác.
Tôi có thể triển khai các mô hình RKNN trên các thiết bị từ các nhà sản xuất khác như NVIDIA hoặc Google ?
Các mô hình RKNN được tối ưu hóa cụ thể cho các nền tảng Rockchip và NPU tích hợp của chúng. Mặc dù về mặt kỹ thuật, bạn có thể chạy mô hình RKNN trên các nền tảng khác bằng cách sử dụng phần mềm mô phỏng, nhưng bạn sẽ không được hưởng lợi từ khả năng tăng tốc phần cứng do các thiết bị Rockchip cung cấp. Để có hiệu suất tối ưu trên các nền tảng khác, bạn nên xuất Ultralytics YOLO các mô hình thành các định dạng được thiết kế riêng cho các nền tảng đó, chẳng hạn như TensorRT vì NVIDIA GPU hoặc TensorFlow Lite cho Google Cạnh của 's TPU . Ultralytics hỗ trợ xuất sang nhiều định dạng khác nhau, đảm bảo khả năng tương thích với nhiều bộ tăng tốc phần cứng khác nhau.
Nền tảng Rockchip nào được hỗ trợ để triển khai mô hình RKNN?
Các Ultralytics YOLO Xuất sang định dạng RKNN hỗ trợ nhiều nền tảng Rockchip, bao gồm RK3588, RK3576, RK3566, RK3568, RK3562, RV1103, RV1106, RV1103B, RV1106B và RK2118 phổ biến. Các nền tảng này thường được tìm thấy trong các thiết bị từ các nhà sản xuất như Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas và Banana Pi. Hỗ trợ rộng rãi này đảm bảo rằng bạn có thể triển khai các mô hình RKNN được tối ưu hóa của mình trên nhiều thiết bị chạy bằng Rockchip, từ máy tính bảng đơn đến hệ thống công nghiệp, tận dụng tối đa khả năng tăng tốc AI của chúng để nâng cao hiệu suất trong các ứng dụng thị giác máy tính của bạn.
Hiệu suất của mô hình RKNN so với các định dạng khác trên thiết bị Rockchip như thế nào?
Các mô hình RKNN thường vượt trội hơn các định dạng khác như ONNX hoặc TensorFlow Lite trên các thiết bị Rockchip do chúng được tối ưu hóa cho NPU của Rockchip. Ví dụ, các điểm chuẩn trên Radxa Rock 5B (RK3588) cho thấy YOLO11n ở định dạng RKNN đạt thời gian suy luận là 99,5 ms/hình ảnh, nhanh hơn đáng kể so với các định dạng khác. Ưu điểm về hiệu suất này là nhất quán trên nhiều YOLO11 kích thước mô hình, như được chứng minh trong phần chuẩn mực . Bằng cách tận dụng phần cứng NPU chuyên dụng, các mô hình RKNN giảm thiểu độ trễ và tối đa hóa thông lượng, khiến chúng trở nên lý tưởng cho các ứng dụng thời gian thực trên các thiết bị biên dựa trên Rockchip.