Bắt đầu

Xuất model YOLO26 sang định dạng TFLite Edge TPU

Triển khai model thị giác máy tính trên thiết bị có năng lực tính toán hạn chế, chẳng hạn như hệ thống di động hoặc nhúng, có thể khá phức tạp. Sử dụng định dạng model được tối ưu hóa để tăng hiệu năng sẽ đơn giản hóa quy trình. Định dạng model TensorFlow Lite Edge TPU, hay TFLite Edge TPU, được thiết kế để tiêu thụ ít điện năng nhưng vẫn mang lại hiệu năng cao cho mạng nơ-ron.

Xuất sang định dạng TFLite Edge TPU cho phép bạn tối ưu hóa model Ultralytics YOLO26 để suy luận tốc độ cao, tiêu thụ ít điện năng. Trong hướng dẫn này, chúng tôi sẽ chỉ cho bạn cách chuyển đổi model sang định dạng TFLite Edge TPU, giúp model hoạt động hiệu quả hơn trên nhiều thiết bị di động và hệ thống nhúng.

Tại sao nên xuất sang TFLite Edge TPU?#

Xuất model sang TensorFlow Edge TPU giúp các tác vụ học máy nhanh và hiệu quả. Công nghệ này phù hợp với các ứng dụng có nguồn điện, tài nguyên tính toán và khả năng kết nối hạn chế. Edge TPU là bộ tăng tốc phần cứng Tensor Processing Unit (TPU) dành cho thiết bị biên của Google. Bộ tăng tốc này giúp model TensorFlow Lite chạy nhanh hơn trên thiết bị biên. Hình ảnh bên dưới minh họa một ví dụ về quy trình này.

TensorFlow Lite Edge TPU compilation workflow

Edge TPU hoạt động với các model đã lượng tử hóa. Lượng tử hóa giúp model nhỏ hơn và nhanh hơn mà không làm giảm nhiều độ chính xác. Đây là giải pháp lý tưởng cho tài nguyên hạn chế của điện toán biên, cho phép ứng dụng phản hồi nhanh nhờ giảm độ trễ và xử lý dữ liệu cục bộ nhanh chóng mà không phụ thuộc vào đám mây. Xử lý cục bộ cũng giúp bảo vệ quyền riêng tư và bảo mật dữ liệu người dùng vì dữ liệu không được gửi đến máy chủ từ xa.

Các tính năng chính của TFLite Edge TPU#

Dưới đây là những tính năng chính khiến TFLite Edge TPU trở thành lựa chọn định dạng model phù hợp cho nhà phát triển:

  • Hiệu năng tối ưu trên thiết bị biên: TFLite Edge TPU mang lại khả năng suy luận mạng nơ-ron nhanh nhờ lượng tử hóa, tối ưu hóa model, tăng tốc phần cứng và tối ưu hóa trình biên dịch. Kiến trúc tối giản giúp giảm kích thước và chi phí.

  • Thông lượng tính toán cao: TFLite Edge TPU kết hợp khả năng tăng tốc phần cứng chuyên dụng với quá trình thực thi runtime hiệu quả để đạt thông lượng tính toán cao. Đây là lựa chọn phù hợp để triển khai các model machine learning có yêu cầu hiệu năng nghiêm ngặt trên thiết bị biên.

  • Tính toán ma trận hiệu quả: TensorFlow Edge TPU được tối ưu hóa cho các phép toán ma trận, vốn rất quan trọng đối với quá trình tính toán của mạng nơ-ron. Hiệu quả này đóng vai trò then chốt trong các model machine learning, đặc biệt là những model cần thực hiện nhiều phép nhân và biến đổi ma trận phức tạp.

Các tùy chọn triển khai với TFLite Edge TPU#

Trước khi xuất model YOLO26 sang định dạng TFLite Edge TPU, bạn nên tìm hiểu các trường hợp sử dụng phổ biến của model.

TFLite Edge TPU cung cấp nhiều tùy chọn triển khai model machine learning, bao gồm:

  • Triển khai trên thiết bị: Có thể triển khai trực tiếp các model TensorFlow Edge TPU trên thiết bị di động và thiết bị nhúng. Cách triển khai trên thiết bị cho phép model chạy trực tiếp trên phần cứng, không cần kết nối với cloud, bằng cách nhúng model vào gói ứng dụng hoặc tải model xuống khi cần.

  • Triển khai kết hợp: Phương pháp kết hợp giữa triển khai trên thiết bị và trên cloud mang đến giải pháp linh hoạt, có khả năng mở rộng để triển khai model machine learning. Các ưu điểm bao gồm xử lý trên thiết bị để phản hồi nhanh và điện toán đám mây cho những phép tính phức tạp hơn.

Các tác vụ được hỗ trợ#

Export Edge TPU hỗ trợ sáu trong số bảy tác vụ của Ultralytics. Phân đoạn ngữ nghĩa chỉ khả dụng với YOLO26, dòng model duy nhất có head này. Không hỗ trợ ước lượng độ sâu vì model INT8 của tác vụ này tạo ra toán tử v2 EXP mà trình biên dịch Edge TPU không thể phân tích.

Tác vụYOLOv8YOLO11YOLO26
Phát hiện✅✅✅
Phân đoạn✅✅✅
Ngữ nghĩa❌❌✅
Độ sâu❌❌❌
Phân loại✅✅✅
Tư thế✅✅✅
OBB✅✅✅

Trình biên dịch Edge TPU ánh xạ các phép toán được hỗ trợ lên accelerator và để lại các phép toán còn lại trên CPU, vì vậy việc hỗ trợ một tác vụ không có nghĩa là mọi phép toán đều chạy trên TPU.

Export model YOLO26 sang TFLite Edge TPU#

Bạn có thể mở rộng khả năng tương thích và tính linh hoạt khi triển khai model bằng cách chuyển đổi model YOLO26 sang TensorFlow Edge TPU.

Cài đặt#

Để cài đặt package cần thiết, hãy chạy:

Cài đặt
# Install the required package for YOLO26
pip install ultralytics

Để biết hướng dẫn chi tiết và các phương pháp tốt nhất về quy trình cài đặt, hãy xem hướng dẫn cài đặt Ultralytics. Nếu gặp khó khăn khi cài đặt các package cần thiết cho YOLO26, hãy tham khảo hướng dẫn khắc phục sự cố thường gặp để tìm giải pháp và mẹo hữu ích.

Cách sử dụng#

Tất cả model Ultralytics YOLO26 đều được thiết kế để hỗ trợ xuất ngay từ đầu, giúp bạn dễ dàng tích hợp chúng vào quy trình triển khai mong muốn. Bạn có thể xem danh sách đầy đủ các định dạng xuất được hỗ trợ và tùy chọn cấu hình để chọn thiết lập phù hợp nhất cho ứng dụng.

Định dạng TFLite Edge TPU hỗ trợ các chế độ Export, Predict và Validate. Inference và validation chạy trên phần cứng Coral Edge TPU. Hãy export model, sau đó tải model đã export để chạy inference hoặc xác thực độ chính xác.

Export
from ultralytics import YOLO

# Nạp model YOLO26
model = YOLO("yolo26n.pt")

# Export model sang định dạng TFLite Edge TPU
model.export(format="edgetpu")  # tạo 'yolo26n_saved_model/yolo26n_full_integer_quant_edgetpu.tflite'
Dự đoán
from ultralytics import YOLO

# Tải model TFLite Edge TPU đã export
model = YOLO("yolo26n_saved_model/yolo26n_full_integer_quant_edgetpu.tflite")

# Chạy suy luận
results = model("https://ultralytics.com/images/bus.jpg")
Xác thực
from ultralytics import YOLO

# Tải model TFLite Edge TPU đã export
model = YOLO("yolo26n_saved_model/yolo26n_full_integer_quant_edgetpu.tflite")

# # Đánh giá độ chính xác trên bộ dữ liệu COCO8
metrics = model.val(data="coco8.yaml")

Các tham số xuất model#

Đối sốKiểuMặc địnhMô tả
formatstr'edgetpu'Định dạng đích của model đã xuất, xác định khả năng tương thích với nhiều môi trường triển khai.
imgszint hoặc tuple640Kích thước ảnh mong muốn cho đầu vào model. Có thể là số nguyên cho ảnh vuông hoặc tuple (height, width) để chỉ định kích thước cụ thể.
quantizeint hoặc str8/autoĐộ chính xác lượng tử hóa. 8 (INT8) là bắt buộc và tự động được bật cho Edge TPU, giúp nén model và tăng tốc suy luận với mức giảm độ chính xác tối thiểu trên thiết bị biên. Thay thế các cờ half/int8 đã bị ngừng hỗ trợ.
opsetintNoneChỉ định phiên bản ONNX opset cho đồ thị ONNX trung gian. Nếu không được thiết lập, phiên bản opset 18 sẽ được sử dụng (thấp hơn trên PyTorch < 2.4), tối đa bằng phiên bản onnx đã cài đặt.
datastrNoneĐường dẫn đến YAML của dataset, cần thiết cho việc lượng tử hóa; riêng tác vụ phân loại cần thư mục dataset hoặc tên dataset tích hợp sẵn. Nếu không chỉ định quantize=8, Ultralytics sẽ chọn dataset hiệu chuẩn mặc định cho tác vụ của model.
fractionfloat, int hoặc list1.0Tập con hiệu chuẩn dưới dạng tỷ lệ, số lượng ảnh hoặc tỷ lệ/số lượng [train, val, test]. Danh sách gồm hai mục giữ test ở dạng đầy đủ, còn 0 sẽ bỏ qua mục này.
devicestrNoneChỉ định thiết bị dùng để export: CPU (device=cpu).
Mẹo

Hãy dùng máy Linux x86 khi xuất sang Edge TPU.

Để biết thêm chi tiết về quy trình xuất, hãy truy cập trang tài liệu Ultralytics về xuất model.

Triển khai model YOLO26 TFLite Edge TPU đã export#

Sau khi xuất thành công model Ultralytics YOLO26 sang định dạng TFLite Edge TPU, bạn có thể triển khai model. Bước đầu tiên được khuyến nghị để chạy model TFLite Edge TPU là dùng phương thức YOLO("model_edgetpu.tflite"), như đã trình bày trong đoạn mã sử dụng ở phần trước.

Để xem hướng dẫn chi tiết về cách triển khai model TFLite Edge TPU, hãy tham khảo các tài nguyên sau:

Tóm tắt#

Trong hướng dẫn này, chúng ta đã tìm hiểu cách xuất model Ultralytics YOLO26 sang định dạng TFLite Edge TPU. Bằng cách làm theo các bước trên, bạn có thể chạy ứng dụng thị giác máy tính nhanh hơn và tiêu thụ ít điện năng hơn trên thiết bị biên.

Để biết thêm chi tiết về cách sử dụng, hãy truy cập trang web chính thức của Coral Edge TPU.

Câu hỏi thường gặp#

  • Để export model YOLO26 sang định dạng TFLite Edge TPU, bạn có thể thực hiện theo các bước sau:

    Cách sử dụng
    from ultralytics import YOLO
    
    # Nạp model YOLO26
    model = YOLO("yolo26n.pt")
    
    # Export model sang định dạng TFLite Edge TPU
    model.export(format="edgetpu")  # tạo 'yolo26n_saved_model/yolo26n_full_integer_quant_edgetpu.tflite'
    
    # Tải model TFLite Edge TPU đã export
    edgetpu_model = YOLO("yolo26n_saved_model/yolo26n_full_integer_quant_edgetpu.tflite")
    
    # Chạy suy luận
    results = edgetpu_model("https://ultralytics.com/images/bus.jpg")

    Để biết đầy đủ chi tiết về cách export model sang các định dạng khác, hãy tham khảo hướng dẫn export của chúng tôi.

  • Xuất model YOLO26 sang TFLite Edge TPU mang lại nhiều lợi ích:

    • Hiệu năng được tối ưu hóa: Đạt hiệu năng mạng nơ-ron tốc độ cao với mức tiêu thụ điện năng tối thiểu.
    • Giảm độ trễ: Xử lý dữ liệu cục bộ nhanh chóng mà không cần phụ thuộc vào cloud.
    • Tăng cường quyền riêng tư: Xử lý cục bộ giúp bảo vệ dữ liệu người dùng và giữ dữ liệu an toàn.

    Điều này khiến định dạng trở nên lý tưởng cho các ứng dụng điện toán biên, nơi thiết bị có nguồn điện và tài nguyên tính toán hạn chế.

  • Có, có thể triển khai trực tiếp model TensorFlow Lite Edge TPU trên thiết bị di động và thiết bị nhúng. Phương pháp triển khai này cho phép model chạy trực tiếp trên phần cứng, mang lại quá trình inference nhanh hơn và hiệu quả hơn. Để xem ví dụ tích hợp, hãy tham khảo hướng dẫn triển khai Coral Edge TPU trên Raspberry Pi.

  • Các trường hợp sử dụng phổ biến của model TFLite Edge TPU bao gồm:

    • Camera thông minh: Nâng cao khả năng phân tích hình ảnh và video theo thời gian thực.
    • Thiết bị IoT: Hỗ trợ tự động hóa nhà thông minh và công nghiệp.
    • Chăm sóc sức khỏe: Tăng tốc xử lý ảnh y tế và chẩn đoán.
    • Bán lẻ: Cải thiện quản lý hàng tồn kho và phân tích hành vi khách hàng.

    Các ứng dụng này được hưởng lợi từ hiệu năng cao và mức tiêu thụ điện năng thấp của model TFLite Edge TPU. Tìm hiểu thêm về các tình huống sử dụng.

  • Nếu gặp sự cố khi export hoặc triển khai model TFLite Edge TPU, hãy tham khảo hướng dẫn Các sự cố thường gặp để biết các mẹo khắc phục. Hướng dẫn này đề cập đến những sự cố thường gặp và giải pháp, giúp bạn đảm bảo hệ thống hoạt động trơn tru. Để được hỗ trợ thêm, hãy truy cập Trung tâm trợ giúp.

Bình luận30

Đặt câu hỏi, chia sẻ kết quả hoặc giúp đỡ người khác.

  1. faizaanscnzGitHub

    I am running a float32 TFLite model on Pixel 8a using the GPU. How can I run an Edge TPU model on the hardware to get faster FPS? I’m currently getting 8 FPS, but I need 20+. (Kivy app)

  2. walissongGitHub

    I would like to know if this tutorial works with yolov8n. I've been trying for many days and I'm not able to convert it to edgetpu.tflite.

  3. dbroGitHub

    Hello. This seems to be broken for yolo11, although it works for yolov8. After running these two commands in Google colab, the output file is less than 1kb and it generates an error.

    ! pip install ultralytics ! yolo mode=export model=yolo11n.pt format=edgetpu imgsz=320

    The final step to run the EdgeTPU compiler seems to be where the problem is:

    ... TensorFlow SavedModel: export success ✅ 112.9s, saved as 'yolo11n_saved_model' (33.8 MB)

    Edge TPU: starting export with Edge TPU compiler 16.0.384591198... Edge TPU: running 'edgetpu_compiler --out_dir "yolo11n_saved_model" --show_operations --search_delegate --delegate_search_step 30 --timeout_sec 180 "yolo11n_saved_model/yolo11n_full_integer_quant.tflite"' Edge TPU Compiler version 16.0.384591198 Searching for valid delegate with step 30 Try to compile segment with 677 ops ERROR: Didn't find op for builtin opcode 'CONV_2D' version '6'. An older version of this builtin might be supported. Are you using an old TFLite binary with a newer model?

    ERROR: Registration failed.

    Invalid model: yolo11n_saved_model/yolo11n_full_integer_quant.tflite Model could not be parsed Edge TPU: export success ✅ 0.0s, saved as 'yolo11n_saved_model/yolo11n_full_integer_quant_edgetpu.tflite' (0.0 MB) ...

  4. manu13008GitHub

    Hi, Once I exported my best.pt model into edgetpu tflite, I tried to run an inference on an image as the code above but I got the following error :

    OSError: libedgetpu.so.1: cannot open shared object file: No such file or directory

    Do you have any insights of how resolving this ?

    Thanks :)

    1. Glenn JocherUltralytics

      @manu13008 it seems like the error is due to the missing Edge TPU runtime library. Please ensure you have installed the Edge TPU runtime on your device. You can find installation instructions in the Edge TPU documentation. If you need further assistance, feel free to check the resources there.

  5. Abdullah-OryGitHub

    Hi friends, i am using google colap to compile yolo11n.pt into edgetpu format, since i have orange pi 5 pro which is arm, so when i am trying to do it in my laptop i got this Ultralytics 8.3.9 🚀 Python-3.10.12 torch-2.4.1+cu121 CPU (Intel Xeon 2.20GHz) YOLO11n summary (fused): 238 layers, 2,616,248 parameters, 0 gradients, 6.5 GFLOPs

    PyTorch: starting from '/content/yolo11n.pt' with input shape (1, 3, 640, 640) BCHW and output shape(s) (1, 84, 8400) (5.4 MB)

    TensorFlow SavedModel: starting export with tensorflow 2.17.0...

    ONNX: starting export with onnx 1.17.0 opset 19... ONNX: slimming with onnxslim 0.1.34... ONNX: export success ✅ 3.0s, saved as '/content/yolo11n.onnx' (10.3 MB) TensorFlow SavedModel: starting TFLite export with onnx2tf 1.22.3...

    Automatic generation of each OP name started ======================================== Automatic generation of each OP name complete!

    Model loaded ========================================================================

    Model conversion started ============================================================ saved_model output started ========================================================== saved_model output complete! Float32 tflite output complete! Float16 tflite output complete! Dynamic Range Quantization tflite output complete! Input signature information for quantization signature_name: serving_default input_name.0: images shape: (1, 640, 640, 3) dtype: <dtype: 'float32'> INT8 Quantization tflite output complete! Full INT8 Quantization tflite output complete! Traceback (most recent call last): File "/usr/local/lib/python3.10/dist-packages/onnx2tf/onnx2tf.py", line 1566, in convert tflite_model = converter.convert() File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/lite.py", line 1231, in wrapper return self._convert_and_export_metrics(convert_func, *args, **kwargs) File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/lite.py", line 1183, in _convert_and_export_metrics result = convert_func(self, *args, **kwargs) File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/lite.py", line 1562, in convert return self._convert_from_saved_model(graph_def) File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/lite.py", line 1424, in _convert_from_saved_model return self._optimize_tflite_model( File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/convert_phase.py", line 215, in wrapper raise error from None # Re-throws the exception. File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/convert_phase.py", line 205, in wrapper return func(*args, **kwargs) File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/lite.py", line 1127, in _optimize_tflite_model model = self._quantize( File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/lite.py", line 767, in _quantize return calibrate_quantize.calibrate_and_quantize( File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/convert_phase.py", line 215, in wrapper raise error from None # Re-throws the exception. File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/convert_phase.py", line 205, in wrapper return func(*args, **kwargs) File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/optimize/calibrator.py", line 194, in calibrate_and_quantize return self._calibrator.QuantizeModel( RuntimeError: Quantized dimension for tensor property and quantization parameters do not match. Got 3 and 0 respectively.

    WARNING: INT8 Quantization with int16 activations tflite output failed. Traceback (most recent call last): File "/usr/local/lib/python3.10/dist-packages/onnx2tf/onnx2tf.py", line 1597, in convert tflite_model = converter.convert() File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/lite.py", line 1231, in wrapper return self._convert_and_export_metrics(convert_func, *args, **kwargs) File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/lite.py", line 1183, in _convert_and_export_metrics result = convert_func(self, *args, **kwargs) File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/lite.py", line 1562, in convert return self._convert_from_saved_model(graph_def) File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/lite.py", line 1424, in _convert_from_saved_model return self._optimize_tflite_model( File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/convert_phase.py", line 215, in wrapper raise error from None # Re-throws the exception. File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/convert_phase.py", line 205, in wrapper return func(*args, **kwargs) File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/lite.py", line 1127, in _optimize_tflite_model model = self._quantize( File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/lite.py", line 767, in _quantize return calibrate_quantize.calibrate_and_quantize( File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/convert_phase.py", line 215, in wrapper raise error from None # Re-throws the exception. File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/convert_phase.py", line 205, in wrapper return func(*args, **kwargs) File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/optimize/calibrator.py", line 194, in calibrate_and_quantize return self._calibrator.QuantizeModel( RuntimeError: Quantized dimension for tensor property and quantization parameters do not match. Got 3 and 0 respectively.

    WARNING: Full INT8 Quantization with int16 activations tflite output failed. TensorFlow SavedModel: export success ✅ 248.1s, saved as '/content/yolo11n_saved_model' (36.1 MB) Edge TPU: WARNING ⚠️ Edge TPU known bug https://github.com/ultralytics/ultralytics/issues/1185

    Edge TPU: starting export with Edge TPU compiler 16.0.384591198... Edge TPU: running 'edgetpu_compiler -s -d -k 10 --out_dir "/content/yolo11n_saved_model" "/content/yolo11n_saved_model/yolo11n_full_integer_quant.tflite"' Edge TPU: export success ✅ 3.9s, saved as '/content/yolo11n_saved_model/yolo11n_full_integer_quant_edgetpu.tflite' (3.5 MB)

    Export complete (252.6s) Results saved to /content Predict: yolo predict task=detect model=/content/yolo11n_saved_model/yolo11n_full_integer_quant_edgetpu.tflite imgsz=640 int8 Validate: yolo val task=detect model=/content/yolo11n_saved_model/yolo11n_full_integer_quant_edgetpu.tflite imgsz=640 data=/usr/src/ultralytics/ultralytics/cfg/datasets/coco.yaml int8 Visualize: https://netron.app /content/yolo11n_saved_model/yolo11n_full_integer_quant_edgetpu.tflite

    1. Glenn JocherUltralytics

      @Abdullah-Ory it seems you're encountering an issue with INT8 quantization during the TFLite Edge TPU export. Please ensure your model is compatible with Edge TPU requirements, and consider checking the Ultralytics documentation for detailed guidance on exporting models to TFLite Edge TPU format. If the issue persists, reviewing the quantization parameters might help.

  6. MECHAAMERGitHub

    Hi,

    I trained a YOLOv8l model with VisDrone dataset, and attempted to convert the best weights.pt to Edge TPU TFlite format using:

    model = YOLO("best.pt") model.export(format="edgetpu")

    my board is Coral dev board.

    The conversion completed successfully, but the results indicate that 164 of operations will run on the CPU instead of the Edge TPU. only 223 operation will run using Edge TPU This CPU usage will likely cause performance delays.

    I'm wondering if there are any strategies or techniques to improve Edge TPU utilization and minimize CPU usage during inference for this model. Any suggestions or insights would be greatly appreciated.

    Thanks,

    1. Glenn JocherUltralytics

      @MECHAAMER to improve Edge TPU utilization, ensure your model is fully quantized and compatible with Edge TPU operations. Consider simplifying the model architecture or using supported operations. For detailed guidance, please refer to the Ultralytics Edge TPU documentation.

    2. MECHAAMERGitHub

      Hi, thank you for your support, I follow the attached link, and apply it using: model.export(format="edgetpu") , and I get this output:

      Number of operations that will run on Edge TPU: 133 Number of operations that will run on CPU: 364

      more details in the attached photo.

      I think with this big percent of ops that runs on the CPU, the model will be very slow and I will suffer from large latency.

      Do you have any suggestions?

    3. MECHAAMERGitHub

      Hi there,

      I'm following the Ultralytics Edge TPU documentation to train a YOLO model for object detection. However, I'm encountering suboptimal results.

      I suspect that the issue might lie in the model's compatibility with the TPU. It's possible that certain operations within the model are not optimized for the TPU, leading to delays.

      To address this, I'm considering using a YOLO model that is specifically designed to run efficiently on the Edge TPU. Do you have any recommendations for such models?

    4. Glenn JocherUltralytics

      For optimal Edge TPU performance, consider using a smaller YOLO model like YOLOv8n, which is more compatible with Edge TPU operations. Simplifying the model architecture can also help.

    5. MECHAAMERGitHub

      I'm encountering a "Segmentation fault" error while trying to run a segmented YOLOv5s model on my Coral Dev Board with an external Coral ML Accelerator (USB). I followed the recommended steps to export, compile, and segment the model using edgetpu_compiler.

      I follow these steps:

      I trained Yolov5su model, then I exported the model as tflite - 8int by using:
      model.export()
      
      then I use the edgetpu_compiler to compile the tflite model and segmented it into 2 models:
      edgetpu_compiler model.tflite --num_segments=2
      
      then I get 12 files, 8 models and 4 logs, the models are:
      1- best_float32_segment_0_of_2.tflite
      2- best_float32_segment_1_of_2.tflite
      3- best_float32_segment_0_of_2_edgetpu.tflite
      4- best_float32_segment_1_of_2_edgetpu.tflite
      5- best_full_integer_quant_segment_0_of_2.tflite
      6- best_full_integer_quant_segment_1_of_2.tflite
      7- best_full_integer_quant_segment_0_of_2_edgetpu.tflite
      8- best_full_integer_quant_segment_1_of_2_edgetpu.tflite

      I transfer the "best_full_integer_quant_segment_0_of_2_edgetpu.tflite" and "best_full_integer_quant_segment_1_of_2_edgetpu.tflite" to the coral board and I tried to run the models to detect object in a video, the code:

      
      import argparse
      import re
      import threading
      import time
      
      import numpy as np
      import cv2
      
      from pycoral.adapters import classify
      from pycoral.adapters import common
      import pycoral.pipeline.pipelined_model_runner as pipeline
      from pycoral.utils.dataset import read_label_file
      from pycoral.utils.edgetpu import list_edge_tpus
      from pycoral.utils.edgetpu import make_interpreter
      
      
      def _get_devices(num_devices):
        edge_tpus = list_edge_tpus()
      
        if len(edge_tpus) < num_devices:
          raise RuntimeError(
              'Not enough Edge TPUs detected, expected %d, detected %d.' %
              (num_devices, len(edge_tpus)))
      
        num_pci_devices = sum(1 for device in edge_tpus if device['type'] == 'pci')
      
        return ['pci:%d' % i for i in range(min(num_devices, num_pci_devices))] + [
            'usb:%d' % i for i in range(max(0, num_devices - num_pci_devices))
        ]
      
      
      def _make_runner(model_paths, devices):
        """Constructs PipelinedModelRunner given model paths and devices."""
        print('Using devices: ', devices)
        print('Using models: ', model_paths)
         
        print("  hey runner   1")
        if len(model_paths) != len(devices):
          raise ValueError('# of devices and #of model_paths should match')
        
        print("  hey runner   2", model_paths[0], devices[1])
       
        interpreters = []
        interpreter = make_interpreter(model_paths[0], devices[0])
        print("  hey runner   3")
        interpreter.allocate_tensors()
        print("  hey runner   4")
        interpreters.append(interpreter)
        print("  hey runner   5", model_paths[1], devices[0])
        
        interpreter2 = make_interpreter(model_paths[1], devices[1])
        print("  hey runner   6")
        interpreter.allocate_tensors()
        interpreter2.allocate_tensors()
        print("  hey runner   7")
        interpreters.append(interpreter2)
        print("  hey runner   8")
      
        return pipeline.PipelinedModelRunner(interpreters)
      
      
      def main():
        parser = argparse.ArgumentParser(
            formatter_class=argparse.ArgumentDefaultsHelpFormatter)
        parser.add_argument(
            '-m',
            '--models',
            required=True,
            help=('File path template of .tflite model segments, e.g.,'
                  'inception_v3_299_quant_segment_%d_of_2_edgetpu.tflite'))
        parser.add_argument(
            '-i', '--input', required=True, help='Image to be classified.')
        parser.add_argument('-l', '--labels', help='File path of labels file.')
        parser.add_argument(
            '-k',
            '--top_k',
            type=int,
            default=1,
            help='Max number of classification results')
        parser.add_argument(
            '-t',
            '--threshold',
            type=float,
            default=0.0,
            help='Classification score threshold')
        parser.add_argument(
            '-c',
            '--count',
            type=int,
            default=1,
            help='Number of times to run inference')
        args = parser.parse_args()
        labels = {0:"pedestrian", 1:"people", 2:"bicycle", 3:"car", 4:"van", 5:"truck", 6:"tricycle", 7:"awning-tricycle", 8:"bus", 9:"motor"}
        print("hey lets begin   1")
        result = re.search(r'^.*_segment_%d_of_(?P<num_segments>[0-9]+)_.*.tflite',
                           args.models)
        print("hey lets begin   2")
      
        if not result:
          print("hey lets begin    3")
      
          raise ValueError(
              '--models should follow *_segment%d_of_[num_segments]_*.tflite pattern')
        print("hey lets begin    4")
      
        num_segments = int(result.group('num_segments'))
        model_paths = [args.models % i for i in range(num_segments)]
        print("hey lets begin    5")
      
        devices = _get_devices(num_segments)
      
        print("hey lets begin    6")
      
        runner = _make_runner(model_paths, devices)
        
        print("hey lets begin      7")
      
      
        # Get the input name and size
        size = common.input_size(runner.interpreters()[0])
        
        print("hey lets begin     8")
      
        name = common.input_details(runner.interpreters()[0], 'name')
       
        print("hey lets begin    9")
      
        cap = cv2.VideoCapture(args.input)
        
        print("hey lets begin    10")
      
        if not cap.isOpened():
            print("Error opening video capture device")
            return
        
        print("hey lets begin    11")
      
        while True:
            ret, frame = cap.read()
            if not ret:
                break
      
            # Preprocess the frame
            height, width, _ = frame.shape
            new_height = int(640 * height / width)
            image = cv2.resize(frame, (640, new_height))
      
            # Run inference
            runner.push({name: image})
            
            output_details = runner.interpreters()[-1].get_output_details()[0]
            scale, zero_point = output_details['quantization']
        
            result = runner.pop()
      
            if result:
                # Process the results
                values, = result.values()
                scores = scale * (values[0].astype(np.int64) - zero_point)
                classes, scores = classify.get_classes_from_scores(result[0], args.top_k, args.threshold)
                
                for klass in classes:
                    print('%s: %.5f' % (labels.get(klass.id, klass.id), klass.score))
                
                print('-------RESULTS--------')
            else:
                print("No results")
      
      if __name__ == '__main__':
        main()
      then I try execute the python file:

      python3 test2tpu.py -m best_full_integer_quant_segment_%d_of_2_edgetpu.tflite -i "/coral/720p/Busy Road.mp4"

      the output that I get:

      hey lets begin 1 hey lets begin 2 hey lets begin 4 hey lets begin 5 hey lets begin 6 Using devices: ['pci:0', 'usb:0'] Using models: ['best_full_integer_quant_segment_0_of_2_edgetpu.tflite', 'best_full_integer_quant_segment_1_of_2_edgetpu.tflite'] hey runner 1 hey runner 2 best_full_integer_quant_segment_0_of_2_edgetpu.tflite usb:0 hey runner 3 hey runner 4 hey runner 5 best_full_integer_quant_segment_1_of_2_edgetpu.tflite pci:0 Segmentation fault

      Note: pycoral version: 2.0.0

    6. Glenn JocherUltralytics

      It seems like the segmentation fault might be due to compatibility issues with the model operations on the Edge TPU. Consider simplifying the model architecture or ensuring all operations are supported by the Edge TPU. You can also check the Common Issues guide for additional troubleshooting tips.

    7. MECHAAMERGitHub

      Can you help me to know more about: simplifying the model architecture or ensuring all operations are supported by the Edge TPU.

      I don't have access now to the records because I am outside office, as I remember In yolov5su, there are more than 200 process depends in TPU and only 25 process use CPU, Also the model working well on 1 TPU (with no segmentation).

    8. Glenn JocherUltralytics

      @MECHAAMER to improve Edge TPU compatibility, consider using a smaller model like YOLOv8n, which is more likely to use supported operations, or simplify the architecture by reducing layers and operations that are not TPU-optimized.

  7. Taufiq-AhmedGitHub

    Hi, I have train my custom dataset for detect fire and smoke with yolov8 nano. it's best model size is around 6MB and after exporting it using "yolo export model=yolov8n.pt format=edgetpu". it's size reduced to 3MB. But have to integrate this model in XIAO RP2040 MCU. So I need more light weight model for my edge device. In this case what I should? Please give me a solution.

    1. Glenn JocherUltralytics

      @Taufiq-Ahmed hi! It's great to hear that you've successfully trained your custom dataset with YOLOv8 nano. For further reducing the model size for your XIAO RP2040 MCU, you might want to explore additional quantization techniques. The TFLite Edge TPU format already applies full integer quantization, but you can experiment with pruning or other model compression techniques to further reduce the size. If you haven't already, ensure you're using the latest version of the Ultralytics package for the best optimization features. For more detailed guidance, you can check out our Edge TPU integration guide. Good luck with your deployment!

  8. samphonicGitHub

    So I have a tflite model and object detection is working, but I can't seem to figure out how to tell if (and how effectively) the model is actually using the Edge TPU hardware. Is there some way to confirm that the hardware is actually being used? Can I manually enable/disable it to compare inference time?

    1. Glenn JocherUltralytics

      @Sammy1Am to confirm if your model is utilizing the Edge TPU hardware, you can check the inference time and compare it with and without the Edge TPU. Typically, when the Edge TPU is in use, you should see a significant reduction in inference time. You can manually enable or disable the Edge TPU by using the edgetpu interpreter for the Edge TPU and the standard TFLite interpreter otherwise. For more details on setting this up, you might find the Edge TPU documentation helpful. If you need further assistance, feel free to explore our Ultralytics documentation.

    1. Glenn JocherUltralytics

      @FearL0rd thank you for your suggestion! Streamlining segmentation during export is indeed a valuable enhancement. For detailed guidance on exporting YOLOv8 models to TFLite Edge TPU format, you can refer to our documentation. This will help you optimize your models for high-speed, low-power inferencing on devices with limited computational power.

      For more information on using YOLO with a Dual TPU card, you can leverage the APEX_0 and APEX_1 devices to distribute the workload effectively. This setup can significantly boost performance and efficiency in your machine learning tasks.

      Feel free to explore the provided resources and let us know if you have any further questions! 🚀

    2. Glenn JocherUltralytics

      Hi @FearL0rd,

      For documentation on segmentation using APEX_0 and APEX_1, you can refer to the guide on exporting YOLOv8 models to TFLite Edge TPU format. This guide covers optimizing your models for high-speed, low-power inferencing on devices like the Coral Edge TPU.

      To utilize both APEX_0 and APEX_1 devices, you can distribute the workload effectively across the dual TPU setup, enhancing performance and efficiency. For more detailed instructions, please visit the relevant sections in our documentation.

      Feel free to reach out if you have any more questions! 😊