Coral Edge TPU on a Raspberry Pi with Ultralytics YOLO11 🚀
Coral Edge là gì TPU?
The Coral Edge TPU is a compact device that adds an Edge TPU coprocessor to your system. It enables low-power, high-performance ML inference for TensorFlow Lite models. Read more at the Coral Edge TPU home page.
Xem: How to Run Inference on Raspberry Pi using Google Coral Edge TPU
Tăng hiệu suất mô hình Raspberry Pi với Coral Edge TPU
Nhiều người muốn chạy mô hình của họ trên thiết bị nhúng hoặc thiết bị di động như Raspberry Pi, vì chúng rất tiết kiệm năng lượng và có thể được sử dụng trong nhiều ứng dụng khác nhau. Tuy nhiên, hiệu suất suy luận trên các thiết bị này thường kém ngay cả khi sử dụng các định dạng như onnx hoặc openvino. Rìa san hô TPU là một giải pháp tuyệt vời cho vấn đề này, vì nó có thể được sử dụng với Raspberry Pi và tăng tốc hiệu suất suy luận rất nhiều.
Cạnh TPU trên Raspberry Pi với TensorFlow Lite (Mới) ⭐
Hướng dẫn hiện có của Coral về cách sử dụng EdgeTPU với Raspberry Pi đã lỗi thời và Coral Edge hiện tại TPU Bản dựng thời gian chạy không hoạt động với hiện tại TensorFlow Phiên bản thời gian chạy Lite nữa. Thêm vào đó, Google dường như đã từ bỏ hoàn toàn dự án Coral và không có bất kỳ cập nhật nào từ năm 2021 đến năm 2024. Hướng dẫn này sẽ chỉ cho bạn cách lấy Edge TPU Làm việc với các phiên bản mới nhất của TensorFlow Thời gian chạy Lite và Coral Edge được cập nhật TPU thời gian chạy trên máy tính bảng đơn Raspberry Pi (SBC).
Điều kiện tiên quyết
- Raspberry Pi 4B (khuyến nghị 2GB trở lên) hoặc Raspberry Pi 5 (Khuyến nghị)
- Hệ điều hành Raspberry Pi Bullseye / Bookworm (64-bit) với máy tính để bàn (Khuyến nghị)
- Máy gia tốc USB san hô
- A non-ARM based platform for exporting an Ultralytics PyTorch model
Hướng dẫn cài đặt
Hướng dẫn này giả định rằng bạn đã cài đặt hệ điều hành Raspberry Pi đang hoạt động và đã cài đặt ultralytics
và tất cả các phụ thuộc. Để có được ultralytics
đã cài đặt, hãy truy cập Hướng dẫn bắt đầu nhanh để thiết lập trước khi tiếp tục tại đây.
Cài đặt Edge TPU Runtime
Đầu tiên, chúng ta cần cài đặt Edge TPU Runtime. Có rất nhiều phiên bản khác nhau có sẵn, vì vậy bạn cần chọn phiên bản phù hợp với hệ điều hành của mình.
Hệ điều hành Raspberry Pi | Chế độ tần số cao | Phiên bản để tải xuống |
---|---|---|
Mắt bò 32bit | Không | libedgetpu1-std_ ... .bullseye_armhf.deb |
Mắt bò 64bit | Không | libedgetpu1-std_ ... .bullseye_arm64.deb |
Mắt bò 32bit | Có | libedgetpu1-max_ ... .bullseye_armhf.deb |
Mắt bò 64bit | Có | libedgetpu1-max_ ... .bullseye_arm64.deb |
Mọt sách 32bit | Không | libedgetpu1-std_ ... .bookworm_armhf.deb |
Mọt sách 64bit | Không | libedgetpu1-std_ ... .bookworm_arm64.deb |
Mọt sách 32bit | Có | libedgetpu1-max_ ... .bookworm_armhf.deb |
Mọt sách 64bit | Có | libedgetpu1-max_ ... .bookworm_arm64.deb |
Tải xuống phiên bản mới nhất từ đây.
Sau khi tải xuống tệp, bạn có thể cài đặt nó bằng lệnh sau:
Sau khi cài đặt thời gian chạy, bạn cần cắm Coral Edge của mình TPU vào cổng USB 3.0 trên Raspberry Pi của bạn. Điều này là do, theo hướng dẫn chính thức, một mới udev
Quy tắc cần có hiệu lực sau khi cài đặt.
Quan trọng
Nếu bạn đã có Coral Edge TPU thời gian chạy được cài đặt, gỡ cài đặt nó bằng lệnh sau.
Xuất mô hình của bạn sang Edge TPU Mô hình tương thích
Để sử dụng Edge TPU, bạn cần chuyển đổi mô hình của mình sang định dạng tương thích. Bạn nên chạy xuất trên Google Colab, x86_64 máy Linux, sử dụng chính thức Ultralytics Bộ chứa Docker, hoặc sử dụng Ultralytics HUB, kể từ Edge TPU trình biên dịch không có sẵn trên ARM. Xem Chế độ xuất để biết các đối số có sẵn.
Exporting the model
Mô hình đã xuất sẽ được lưu trong <model_name>_saved_model/
thư mục có tên <model_name>_full_integer_quant_edgetpu.tflite
.
Chạy mô hình
Sau khi xuất mô hình của bạn, bạn có thể chạy suy luận với nó bằng cách sử dụng mã sau:
Chạy mô hình
Tìm thông tin toàn diện trên trang Dự đoán để biết chi tiết đầy đủ về chế độ dự đoán.
Quan trọng
Bạn nên chạy mô hình bằng cách sử dụng tflite-runtime
và không tensorflow
.
Nếu tensorflow
được cài đặt, gỡ cài đặt tensorflow với lệnh sau:
Sau đó cài đặt / cập nhật tflite-runtime
:
Nếu bạn muốn một tflite-runtime
bánh xe cho tensorflow
2.15.0 Tải xuống từ Ở đây và cài đặt nó bằng cách sử dụng pip
hoặc trình quản lý gói bạn chọn.
FAQ
What is a Coral Edge TPU and how does it enhance Raspberry Pi's performance with Ultralytics YOLO11?
The Coral Edge TPU is a compact device designed to add an Edge TPU coprocessor to your system. This coprocessor enables low-power, high-performance machine learning inference, particularly optimized for TensorFlow Lite models. When using a Raspberry Pi, the Edge TPU accelerates ML model inference, significantly boosting performance, especially for Ultralytics YOLO11 models. You can read more about the Coral Edge TPU on their home page.
Làm cách nào để cài đặt Coral Edge TPU thời gian chạy trên Raspberry Pi?
Để cài đặt Coral Edge TPU thời gian chạy trên Raspberry Pi của bạn, hãy tải xuống bản thích hợp .deb
gói cho phiên bản hệ điều hành Raspberry Pi của bạn từ liên kết này. Sau khi tải xuống, hãy sử dụng lệnh sau để cài đặt nó:
Đảm bảo gỡ cài đặt mọi Coral Edge trước đó TPU phiên bản thời gian chạy bằng cách làm theo các bước được nêu trong phần Hướng dẫn Cài đặt .
Can I export my Ultralytics YOLO11 model to be compatible with Coral Edge TPU?
Yes, you can export your Ultralytics YOLO11 model to be compatible with the Coral Edge TPU. It is recommended to perform the export on Google Colab, an x86_64 Linux machine, or using the Ultralytics Docker container. You can also use Ultralytics HUB for exporting. Here is how you can export your model using Python and CLI:
Exporting the model
Để biết thêm thông tin, hãy tham khảo tài liệu về Chế độ xuất .
Tôi nên làm gì nếu TensorFlow đã được cài đặt trên Raspberry Pi của tôi nhưng tôi muốn sử dụng tflite-runtime thay thế?
Nếu bạn có TensorFlow được cài đặt trên Raspberry Pi của bạn và cần chuyển sang tflite-runtime
, bạn sẽ cần gỡ cài đặt TensorFlow Sử dụng lần đầu:
Sau đó, cài đặt hoặc cập nhật tflite-runtime
với lệnh sau:
Đối với một bánh xe cụ thể, chẳng hạn như TensorFlow 2.15.0 tflite-runtime
, bạn có thể tải xuống từ liên kết này và cài đặt nó bằng cách sử dụng pip
. Hướng dẫn chi tiết có sẵn trong phần chạy mô hình Chạy mô hình.
How do I run inference with an exported YOLO11 model on a Raspberry Pi using the Coral Edge TPU?
After exporting your YOLO11 model to an Edge TPU-compatible format, you can run inference using the following code snippets:
Chạy mô hình
Bạn có thể tìm thấy thông tin chi tiết toàn diện về các tính năng của chế độ dự đoán đầy đủ trên Trang Dự đoán.