YOLO26モデルをGoogle Coral Edge TPU(TFLite)形式にエクスポート
モバイルや組み込みシステムなど、計算能力が限られたデバイスにコンピュータービジョンモデルをデプロイするのは、難しい場合があります。高速なパフォーマンス向けに最適化されたモデル形式を使用すると、プロセスが簡単になります。TensorFlow LiteのEdge TPUモデル形式は、ニューラルネットワークの高速なパフォーマンスを実現しながら、消費電力を最小限に抑えるよう設計されています。
Edge TPU形式にエクスポートすると、Ultralytics YOLO26モデルを高速かつ低消費電力の推論向けに最適化できます。このガイドでは、モデルをEdge TPU形式に変換する手順を説明し、さまざまなモバイルデバイスや組み込みデバイスでモデルを効果的に実行できるようにします。
Edge TPUにエクスポートする理由#
モデルをTensorFlow Edge TPUにエクスポートすると、機械学習タスクを高速かつ効率的に実行できます。この技術は、電力、計算リソース、接続性が限られたアプリケーションに適しています。Edge TPUは、Googleのテンソル処理ユニット(TPU)ハードウェアアクセラレーターのエッジ向けバージョンです。エッジデバイス上でTensorFlow Liteモデルを高速化します。以下の画像は、その処理例を示しています。
Edge TPUは量子化モデルに対応しています。量子化により、精度をほとんど損なわずにモデルを小型化し、高速化できます。これは、リソースが限られたエッジコンピューティングに最適です。レイテンシを減らし、クラウドに依存せずローカルでデータを迅速に処理することで、アプリケーションの応答性を高めます。ローカル処理ではデータがリモートサーバーに送信されないため、ユーザーデータのプライバシーと安全性も確保できます。
Edge TPUの主な特長#
Edge TPUが開発者にとって有力なモデル形式である理由となる主な特長を紹介します。
-
エッジデバイス向けに最適化されたパフォーマンス:Edge TPUは、量子化、モデルの最適化、ハードウェアアクセラレーション、コンパイラーの最適化により、高速なニューラルネットワーク推論を実現します。シンプルなアーキテクチャにより、サイズを小さく抑え、コスト効率を高めています。
-
高い計算スループット:Edge TPUは、専用ハードウェアのアクセラレーションと効率的なランタイム実行を組み合わせ、高い計算スループットを実現します。厳しいパフォーマンス要件がある機械学習モデルをエッジデバイスにデプロイする用途に適しています。
-
効率的な行列演算: TensorFlow Edge TPUは、ニューラルネットワークの計算で重要となる行列演算に最適化されています。この効率性は、特に多数かつ複雑な行列の乗算や変換を必要とする機械学習モデルで重要です。
Edge TPUのデプロイオプション#
YOLO26モデルをEdge TPU形式にエクスポートする前に、これらのモデルが一般にどのような用途で使われるかを把握しておくと役立ちます。
Edge TPUには、機械学習モデル向けに次のようなさまざまなデプロイオプションがあります。
-
デバイス上へのデプロイ: TensorFlow Edge TPUモデルは、モバイルデバイスや組み込みデバイスに直接デプロイできます。デバイス上にデプロイすると、モデルをアプリケーションバンドルに組み込むか、必要に応じてダウンロードすることで、クラウド接続を必要とせずにハードウェア上で直接実行できます。
-
ハイブリッドデプロイ: ハイブリッド方式では、デバイス上へのデプロイとクラウドへのデプロイを組み合わせ、機械学習モデルをデプロイするための柔軟でスケーラブルなソリューションを提供します。迅速な応答を実現するデバイス上の処理と、より複雑な計算を担うクラウドコンピューティングを組み合わせられる点がメリットです。
対応タスク#
Edge TPUエクスポートは、7つあるUltralyticsのタスクのうち6つをサポートします。セマンティックセグメンテーションを利用できるのはYOLO26のみです。このヘッドを搭載しているのはYOLO26ファミリーだけです。深度推定はサポートされていません。INT8モデルがEdge TPUコンパイラーで解析できないEXP v2オペレーターを出力するためです。
Edge TPUコンパイラーは、サポート対象の演算をアクセラレーターに割り当て、残りをCPU上で実行するため、タスクがサポートされていても、すべての演算がTPU上で実行されるわけではありません。
YOLO26モデルをEdge TPUにエクスポートする#
YOLO26モデルをTensorFlow Edge TPUに変換すると、モデルとの互換性を高め、デプロイの柔軟性を広げることができます。
インストール#
必要なパッケージをインストールするには、次を実行します。
# Install the required package for YOLO26
pip install ultralyticsインストール手順の詳細とベストプラクティスについては、Ultralyticsのインストールガイドをご覧ください。YOLO26に必要なパッケージのインストールで問題が発生した場合は、解決策とヒントが記載されたよくある問題のガイドをご確認ください。
使用方法#
すべてのUltralytics YOLO26モデルは、追加設定なしでエクスポートできるように設計されているため、希望するデプロイワークフローに簡単に統合できます。アプリケーションに最適な設定を選ぶには、対応するエクスポート形式と設定オプションの一覧をご覧ください。
Edge TPU形式は、Export、Predict、Validateモードに対応しています。推論と検証はCoral Edge TPUハードウェア上で実行されます。モデルをエクスポートした後、エクスポート済みモデルを読み込んで推論を実行するか、精度を検証してください。
from ultralytics import YOLO
# YOLO26モデルを読み込みます
model = YOLO("yolo26n.pt")
# # モデルをEdge TPU形式にエクスポートする
model.export(format="edgetpu") # 'yolo26n_saved_model/yolo26n_full_integer_quant_edgetpu.tflite'を作成from ultralytics import YOLO
# # エクスポートしたEdge TPUモデルを読み込む
model = YOLO("yolo26n_saved_model/yolo26n_full_integer_quant_edgetpu.tflite")
# 推論を実行
results = model("https://ultralytics.com/images/bus.jpg")from ultralytics import YOLO
# # エクスポートしたEdge TPUモデルを読み込む
model = YOLO("yolo26n_saved_model/yolo26n_full_integer_quant_edgetpu.tflite")
# COCO8データセットで精度を検証します
metrics = model.val(data="coco8.yaml")エクスポート引数#
| 引数 | 種類 | デフォルト | 説明 |
|---|---|---|---|
format | str | 'edgetpu' | エクスポートしたモデルのターゲットフォーマットです。さまざまなデプロイ環境との互換性を定義します。 |
imgsz | intまたはtuple | 640 | モデル入力の画像サイズです。正方形画像の場合は整数、特定のサイズの場合はタプル(height, width)を指定できます。 |
quantize | intまたはstr | 8/自動 | 量子化の精度です。Edge TPUでは8(INT8)が必須で、自動的に有効になります。これによりモデルを圧縮し、エッジデバイス上で精度の低下を最小限に抑えながら推論を高速化します。非推奨となったhalf/int8フラグの代わりに使用します。 |
opset | int | None | 中間ONNXグラフのONNX opsetバージョンを指定します。指定しない場合は、opset 18(PyTorch < 2.4ではより低いバージョン)を使用し、インストール済みの onnx のバージョンを上限とします。 |
data | str | None | 量子化に必須のデータセットのYAMLへのパスです。分類の場合は、代わりにデータセットディレクトリまたは組み込みデータセット名を指定します。quantize=8を指定しない場合、Ultralyticsはモデルタスクに応じたデフォルトのキャリブレーションデータセットを選択します。 |
fraction | float、int、またはlist | 1.0 | キャリブレーション用サブセットを、比率、画像数、または[train, val, test]の比率/件数として指定します。2項目のリストではtestがすべて含まれ、0では除外されます。 |
device | str | None | エクスポートに使用するデバイスを指定します: CPU (device=cpu)。 |
Edge TPUへのエクスポートには、x86 Linuxマシンを使用してください。
エクスポートプロセスの詳細については、Ultralyticsのエクスポートに関するドキュメントページをご覧ください。
エクスポートしたYOLO26 Edge TPUモデルのデプロイ#
Ultralytics YOLO26モデルをEdge TPU形式に正常にエクスポートしたら、デプロイできます。Edge TPUモデルを実行する際に最初に推奨される主な手順は、前述の使用例コードスニペットに示したYOLO("model_edgetpu.tflite")メソッドを使うことです。
Edge TPUモデルのデプロイ手順について詳しく知りたい場合は、次のリソースをご覧ください。
-
Raspberry PiでCoral Edge TPUをUltralytics YOLO26と使用する: Coral Edge TPUをRaspberry Piと統合し、機械学習機能を強化する方法をご覧ください。
-
Edge TPUコンパイラー: Edge TPUコンパイラーがTensorFlow Liteモデルをアクセラレーターにどのように割り当てるか、また対応する演算について説明します。
-
PythonでEdge TPU上の推論を実行する: Edge TPUアプリケーション向けのTensorFlow Lite Python APIの使用方法を、セットアップと利用の手順も含めてご確認ください。
概要#
このガイドでは、Ultralytics YOLO26モデルをEdge TPU形式にエクスポートする方法を説明しました。上記の手順に従うと、エッジデバイス上でコンピュータービジョンアプリケーションをより高速かつ低消費電力で実行できます。
使用方法の詳細については、Coral Edge TPU公式ウェブサイトをご覧ください。
よくある質問#
YOLO26モデルをEdge TPU形式にエクスポートするには、次の手順に従ってください。
使用方法from ultralytics import YOLO # YOLO26モデルを読み込みます model = YOLO("yolo26n.pt") # # モデルをEdge TPU形式にエクスポートする model.export(format="edgetpu") # 'yolo26n_saved_model/yolo26n_full_integer_quant_edgetpu.tflite'を作成 # # エクスポートしたEdge TPUモデルを読み込む edgetpu_model = YOLO("yolo26n_saved_model/yolo26n_full_integer_quant_edgetpu.tflite") # 推論を実行 results = edgetpu_model("https://ultralytics.com/images/bus.jpg")他の形式へのモデルエクスポートの詳細については、エクスポートガイドをご覧ください。
YOLO26モデルをEdge TPUにエクスポートすると、いくつかのメリットがあります。
- パフォーマンスの最適化: 消費電力を最小限に抑えながら、高速なニューラルネットワーク処理を実現できます。
- レイテンシの短縮: クラウドに依存せず、データをローカルで迅速に処理できます。
- プライバシーの強化: ローカルで処理することで、ユーザーデータのプライバシーとセキュリティを保護できます。
このため、電力と計算リソースが限られたデバイスを使用するエッジコンピューティングのアプリケーションに最適です。
はい、TensorFlow Lite Edge TPUモデルはモバイルデバイスや組み込みデバイスに直接デプロイできます。この方法ではモデルをハードウェア上で直接実行できるため、推論を高速かつ効率的に行えます。統合例については、Raspberry PiへのCoral Edge TPUのデプロイガイドをご覧ください。
Edge TPUモデルの一般的なユースケースは次のとおりです。
- スマートカメラ: 画像や動画のリアルタイム分析を強化します。
- IoTデバイス: スマートホームや産業オートメーションを実現します。
- ヘルスケア: 医用画像処理と診断を高速化します。
- 小売: 在庫管理と顧客行動分析を改善します。
これらのアプリケーションでは、Edge TPUモデルの高いパフォーマンスと低消費電力を活用できます。利用シナリオについて詳しくご覧ください。
Edge TPUモデルのエクスポートまたはデプロイ中に問題が発生した場合は、トラブルシューティングのヒントをまとめたCommon Issues guideをご覧ください。このガイドでは、一般的な問題と解決策を取り上げ、スムーズな動作を支援します。さらにサポートが必要な場合は、Help Centerをご利用ください。
コメント30
質問したり、結果を共有したり、ほかの人をサポートしたりできます。
faizaanscnz
I am running a float32 TFLite model on Pixel 8a using the GPU. How can I run an Edge TPU model on the hardware to get faster FPS? I’m currently getting 8 FPS, but I need 20+. (Kivy app)
walissong
I would like to know if this tutorial works with yolov8n. I've been trying for many days and I'm not able to convert it to edgetpu.tflite.
dbro
Hello. This seems to be broken for yolo11, although it works for yolov8. After running these two commands in Google colab, the output file is less than 1kb and it generates an error.
! pip install ultralytics ! yolo mode=export model=yolo11n.pt format=edgetpu imgsz=320
The final step to run the EdgeTPU compiler seems to be where the problem is:
... TensorFlow SavedModel: export success ✅ 112.9s, saved as 'yolo11n_saved_model' (33.8 MB)
Edge TPU: starting export with Edge TPU compiler 16.0.384591198... Edge TPU: running 'edgetpu_compiler --out_dir "yolo11n_saved_model" --show_operations --search_delegate --delegate_search_step 30 --timeout_sec 180 "yolo11n_saved_model/yolo11n_full_integer_quant.tflite"' Edge TPU Compiler version 16.0.384591198 Searching for valid delegate with step 30 Try to compile segment with 677 ops ERROR: Didn't find op for builtin opcode 'CONV_2D' version '6'. An older version of this builtin might be supported. Are you using an old TFLite binary with a newer model?
ERROR: Registration failed.
Invalid model: yolo11n_saved_model/yolo11n_full_integer_quant.tflite Model could not be parsed Edge TPU: export success ✅ 0.0s, saved as 'yolo11n_saved_model/yolo11n_full_integer_quant_edgetpu.tflite' (0.0 MB) ...
tomcomtang
I am still studying edge computing(https://edgeone.ai/learning/edge-computing), while you have already delved into a deeper level.
Glenn JocherUltralytics@tomcomtang yes, TFLite Edge TPU is designed for optimized performance in edge computing, offering high-speed neural networking with minimal power, reduced latency, and enhanced privacy. For details see the TFLite Edge TPU docs: https://docs.ultralytics.com/integrations/edge-tpu/
manu13008
Hi, Once I exported my best.pt model into edgetpu tflite, I tried to run an inference on an image as the code above but I got the following error :
OSError: libedgetpu.so.1: cannot open shared object file: No such file or directory
Do you have any insights of how resolving this ?
Thanks :)
Glenn JocherUltralytics@manu13008 it seems like the error is due to the missing Edge TPU runtime library. Please ensure you have installed the Edge TPU runtime on your device. You can find installation instructions in the Edge TPU documentation. If you need further assistance, feel free to check the resources there.
Abdullah-Ory
Hi friends, i am using google colap to compile yolo11n.pt into edgetpu format, since i have orange pi 5 pro which is arm, so when i am trying to do it in my laptop i got this Ultralytics 8.3.9 🚀 Python-3.10.12 torch-2.4.1+cu121 CPU (Intel Xeon 2.20GHz) YOLO11n summary (fused): 238 layers, 2,616,248 parameters, 0 gradients, 6.5 GFLOPs
PyTorch: starting from '/content/yolo11n.pt' with input shape (1, 3, 640, 640) BCHW and output shape(s) (1, 84, 8400) (5.4 MB)
TensorFlow SavedModel: starting export with tensorflow 2.17.0...
ONNX: starting export with onnx 1.17.0 opset 19... ONNX: slimming with onnxslim 0.1.34... ONNX: export success ✅ 3.0s, saved as '/content/yolo11n.onnx' (10.3 MB) TensorFlow SavedModel: starting TFLite export with onnx2tf 1.22.3...
Automatic generation of each OP name started ======================================== Automatic generation of each OP name complete!
Model loaded ========================================================================
Model conversion started ============================================================ saved_model output started ========================================================== saved_model output complete! Float32 tflite output complete! Float16 tflite output complete! Dynamic Range Quantization tflite output complete! Input signature information for quantization signature_name: serving_default input_name.0: images shape: (1, 640, 640, 3) dtype: <dtype: 'float32'> INT8 Quantization tflite output complete! Full INT8 Quantization tflite output complete! Traceback (most recent call last): File "/usr/local/lib/python3.10/dist-packages/onnx2tf/onnx2tf.py", line 1566, in convert tflite_model = converter.convert() File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/lite.py", line 1231, in wrapper return self._convert_and_export_metrics(convert_func, *args, **kwargs) File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/lite.py", line 1183, in _convert_and_export_metrics result = convert_func(self, *args, **kwargs) File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/lite.py", line 1562, in convert return self._convert_from_saved_model(graph_def) File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/lite.py", line 1424, in _convert_from_saved_model return self._optimize_tflite_model( File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/convert_phase.py", line 215, in wrapper raise error from None # Re-throws the exception. File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/convert_phase.py", line 205, in wrapper return func(*args, **kwargs) File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/lite.py", line 1127, in _optimize_tflite_model model = self._quantize( File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/lite.py", line 767, in _quantize return calibrate_quantize.calibrate_and_quantize( File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/convert_phase.py", line 215, in wrapper raise error from None # Re-throws the exception. File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/convert_phase.py", line 205, in wrapper return func(*args, **kwargs) File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/optimize/calibrator.py", line 194, in calibrate_and_quantize return self._calibrator.QuantizeModel( RuntimeError: Quantized dimension for tensor property and quantization parameters do not match. Got 3 and 0 respectively.
WARNING: INT8 Quantization with int16 activations tflite output failed. Traceback (most recent call last): File "/usr/local/lib/python3.10/dist-packages/onnx2tf/onnx2tf.py", line 1597, in convert tflite_model = converter.convert() File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/lite.py", line 1231, in wrapper return self._convert_and_export_metrics(convert_func, *args, **kwargs) File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/lite.py", line 1183, in _convert_and_export_metrics result = convert_func(self, *args, **kwargs) File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/lite.py", line 1562, in convert return self._convert_from_saved_model(graph_def) File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/lite.py", line 1424, in _convert_from_saved_model return self._optimize_tflite_model( File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/convert_phase.py", line 215, in wrapper raise error from None # Re-throws the exception. File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/convert_phase.py", line 205, in wrapper return func(*args, **kwargs) File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/lite.py", line 1127, in _optimize_tflite_model model = self._quantize( File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/lite.py", line 767, in _quantize return calibrate_quantize.calibrate_and_quantize( File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/convert_phase.py", line 215, in wrapper raise error from None # Re-throws the exception. File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/convert_phase.py", line 205, in wrapper return func(*args, **kwargs) File "/usr/local/lib/python3.10/dist-packages/tensorflow/lite/python/optimize/calibrator.py", line 194, in calibrate_and_quantize return self._calibrator.QuantizeModel( RuntimeError: Quantized dimension for tensor property and quantization parameters do not match. Got 3 and 0 respectively.
WARNING: Full INT8 Quantization with int16 activations tflite output failed. TensorFlow SavedModel: export success ✅ 248.1s, saved as '/content/yolo11n_saved_model' (36.1 MB) Edge TPU: WARNING ⚠️ Edge TPU known bug https://github.com/ultralytics/ultralytics/issues/1185
Edge TPU: starting export with Edge TPU compiler 16.0.384591198... Edge TPU: running 'edgetpu_compiler -s -d -k 10 --out_dir "/content/yolo11n_saved_model" "/content/yolo11n_saved_model/yolo11n_full_integer_quant.tflite"' Edge TPU: export success ✅ 3.9s, saved as '/content/yolo11n_saved_model/yolo11n_full_integer_quant_edgetpu.tflite' (3.5 MB)
Export complete (252.6s) Results saved to /content Predict: yolo predict task=detect model=/content/yolo11n_saved_model/yolo11n_full_integer_quant_edgetpu.tflite imgsz=640 int8 Validate: yolo val task=detect model=/content/yolo11n_saved_model/yolo11n_full_integer_quant_edgetpu.tflite imgsz=640 data=/usr/src/ultralytics/ultralytics/cfg/datasets/coco.yaml int8 Visualize: https://netron.app /content/yolo11n_saved_model/yolo11n_full_integer_quant_edgetpu.tflite
Glenn JocherUltralytics@Abdullah-Ory it seems you're encountering an issue with INT8 quantization during the TFLite Edge TPU export. Please ensure your model is compatible with Edge TPU requirements, and consider checking the Ultralytics documentation for detailed guidance on exporting models to TFLite Edge TPU format. If the issue persists, reviewing the quantization parameters might help.
MECHAAMER
Hi,
I trained a YOLOv8l model with VisDrone dataset, and attempted to convert the best weights.pt to Edge TPU TFlite format using:
model = YOLO("best.pt") model.export(format="edgetpu")
my board is Coral dev board.
The conversion completed successfully, but the results indicate that 164 of operations will run on the CPU instead of the Edge TPU. only 223 operation will run using Edge TPU This CPU usage will likely cause performance delays.
I'm wondering if there are any strategies or techniques to improve Edge TPU utilization and minimize CPU usage during inference for this model. Any suggestions or insights would be greatly appreciated.
Thanks,
Glenn JocherUltralytics@MECHAAMER to improve Edge TPU utilization, ensure your model is fully quantized and compatible with Edge TPU operations. Consider simplifying the model architecture or using supported operations. For detailed guidance, please refer to the Ultralytics Edge TPU documentation.
MECHAAMER
Hi, thank you for your support, I follow the attached link, and apply it using: model.export(format="edgetpu") , and I get this output:
Number of operations that will run on Edge TPU: 133 Number of operations that will run on CPU: 364
more details in the attached photo.
I think with this big percent of ops that runs on the CPU, the model will be very slow and I will suffer from large latency.
Do you have any suggestions?
Glenn JocherUltralyticsTo improve Edge TPU utilization, ensure your model is fully quantized and uses supported operations. Simplifying the model architecture might help. For more details, please refer to the Ultralytics Edge TPU documentation.
MECHAAMER
Hi there,
I'm following the Ultralytics Edge TPU documentation to train a YOLO model for object detection. However, I'm encountering suboptimal results.
I suspect that the issue might lie in the model's compatibility with the TPU. It's possible that certain operations within the model are not optimized for the TPU, leading to delays.
To address this, I'm considering using a YOLO model that is specifically designed to run efficiently on the Edge TPU. Do you have any recommendations for such models?
Glenn JocherUltralyticsFor optimal Edge TPU performance, consider using a smaller YOLO model like YOLOv8n, which is more compatible with Edge TPU operations. Simplifying the model architecture can also help.
MECHAAMER
I'm encountering a "Segmentation fault" error while trying to run a segmented YOLOv5s model on my Coral Dev Board with an external Coral ML Accelerator (USB). I followed the recommended steps to export, compile, and segment the model using edgetpu_compiler.
I follow these steps:
I trained Yolov5su model, then I exported the model as tflite - 8int by using: model.export() then I use the edgetpu_compiler to compile the tflite model and segmented it into 2 models: edgetpu_compiler model.tflite --num_segments=2 then I get 12 files, 8 models and 4 logs, the models are: 1- best_float32_segment_0_of_2.tflite 2- best_float32_segment_1_of_2.tflite 3- best_float32_segment_0_of_2_edgetpu.tflite 4- best_float32_segment_1_of_2_edgetpu.tflite 5- best_full_integer_quant_segment_0_of_2.tflite 6- best_full_integer_quant_segment_1_of_2.tflite 7- best_full_integer_quant_segment_0_of_2_edgetpu.tflite 8- best_full_integer_quant_segment_1_of_2_edgetpu.tfliteI transfer the "best_full_integer_quant_segment_0_of_2_edgetpu.tflite" and "best_full_integer_quant_segment_1_of_2_edgetpu.tflite" to the coral board and I tried to run the models to detect object in a video, the code:
import argparse import re import threading import time import numpy as np import cv2 from pycoral.adapters import classify from pycoral.adapters import common import pycoral.pipeline.pipelined_model_runner as pipeline from pycoral.utils.dataset import read_label_file from pycoral.utils.edgetpu import list_edge_tpus from pycoral.utils.edgetpu import make_interpreter def _get_devices(num_devices): edge_tpus = list_edge_tpus() if len(edge_tpus) < num_devices: raise RuntimeError( 'Not enough Edge TPUs detected, expected %d, detected %d.' % (num_devices, len(edge_tpus))) num_pci_devices = sum(1 for device in edge_tpus if device['type'] == 'pci') return ['pci:%d' % i for i in range(min(num_devices, num_pci_devices))] + [ 'usb:%d' % i for i in range(max(0, num_devices - num_pci_devices)) ] def _make_runner(model_paths, devices): """Constructs PipelinedModelRunner given model paths and devices.""" print('Using devices: ', devices) print('Using models: ', model_paths) print(" hey runner 1") if len(model_paths) != len(devices): raise ValueError('# of devices and #of model_paths should match') print(" hey runner 2", model_paths[0], devices[1]) interpreters = [] interpreter = make_interpreter(model_paths[0], devices[0]) print(" hey runner 3") interpreter.allocate_tensors() print(" hey runner 4") interpreters.append(interpreter) print(" hey runner 5", model_paths[1], devices[0]) interpreter2 = make_interpreter(model_paths[1], devices[1]) print(" hey runner 6") interpreter.allocate_tensors() interpreter2.allocate_tensors() print(" hey runner 7") interpreters.append(interpreter2) print(" hey runner 8") return pipeline.PipelinedModelRunner(interpreters) def main(): parser = argparse.ArgumentParser( formatter_class=argparse.ArgumentDefaultsHelpFormatter) parser.add_argument( '-m', '--models', required=True, help=('File path template of .tflite model segments, e.g.,' 'inception_v3_299_quant_segment_%d_of_2_edgetpu.tflite')) parser.add_argument( '-i', '--input', required=True, help='Image to be classified.') parser.add_argument('-l', '--labels', help='File path of labels file.') parser.add_argument( '-k', '--top_k', type=int, default=1, help='Max number of classification results') parser.add_argument( '-t', '--threshold', type=float, default=0.0, help='Classification score threshold') parser.add_argument( '-c', '--count', type=int, default=1, help='Number of times to run inference') args = parser.parse_args() labels = {0:"pedestrian", 1:"people", 2:"bicycle", 3:"car", 4:"van", 5:"truck", 6:"tricycle", 7:"awning-tricycle", 8:"bus", 9:"motor"} print("hey lets begin 1") result = re.search(r'^.*_segment_%d_of_(?P<num_segments>[0-9]+)_.*.tflite', args.models) print("hey lets begin 2") if not result: print("hey lets begin 3") raise ValueError( '--models should follow *_segment%d_of_[num_segments]_*.tflite pattern') print("hey lets begin 4") num_segments = int(result.group('num_segments')) model_paths = [args.models % i for i in range(num_segments)] print("hey lets begin 5") devices = _get_devices(num_segments) print("hey lets begin 6") runner = _make_runner(model_paths, devices) print("hey lets begin 7") # Get the input name and size size = common.input_size(runner.interpreters()[0]) print("hey lets begin 8") name = common.input_details(runner.interpreters()[0], 'name') print("hey lets begin 9") cap = cv2.VideoCapture(args.input) print("hey lets begin 10") if not cap.isOpened(): print("Error opening video capture device") return print("hey lets begin 11") while True: ret, frame = cap.read() if not ret: break # Preprocess the frame height, width, _ = frame.shape new_height = int(640 * height / width) image = cv2.resize(frame, (640, new_height)) # Run inference runner.push({name: image}) output_details = runner.interpreters()[-1].get_output_details()[0] scale, zero_point = output_details['quantization'] result = runner.pop() if result: # Process the results values, = result.values() scores = scale * (values[0].astype(np.int64) - zero_point) classes, scores = classify.get_classes_from_scores(result[0], args.top_k, args.threshold) for klass in classes: print('%s: %.5f' % (labels.get(klass.id, klass.id), klass.score)) print('-------RESULTS--------') else: print("No results") if __name__ == '__main__': main()then I try execute the python file:python3 test2tpu.py -m best_full_integer_quant_segment_%d_of_2_edgetpu.tflite -i "/coral/720p/Busy Road.mp4"
the output that I get:
hey lets begin 1 hey lets begin 2 hey lets begin 4 hey lets begin 5 hey lets begin 6 Using devices: ['pci:0', 'usb:0'] Using models: ['best_full_integer_quant_segment_0_of_2_edgetpu.tflite', 'best_full_integer_quant_segment_1_of_2_edgetpu.tflite'] hey runner 1 hey runner 2 best_full_integer_quant_segment_0_of_2_edgetpu.tflite usb:0 hey runner 3 hey runner 4 hey runner 5 best_full_integer_quant_segment_1_of_2_edgetpu.tflite pci:0 Segmentation fault
Note: pycoral version: 2.0.0
Glenn JocherUltralyticsIt seems like the segmentation fault might be due to compatibility issues with the model operations on the Edge TPU. Consider simplifying the model architecture or ensuring all operations are supported by the Edge TPU. You can also check the Common Issues guide for additional troubleshooting tips.
MECHAAMER
Can you help me to know more about: simplifying the model architecture or ensuring all operations are supported by the Edge TPU.
I don't have access now to the records because I am outside office, as I remember In yolov5su, there are more than 200 process depends in TPU and only 25 process use CPU, Also the model working well on 1 TPU (with no segmentation).
Glenn JocherUltralytics@MECHAAMER to improve Edge TPU compatibility, consider using a smaller model like YOLOv8n, which is more likely to use supported operations, or simplify the architecture by reducing layers and operations that are not TPU-optimized.
Taufiq-Ahmed
Hi, I have train my custom dataset for detect fire and smoke with yolov8 nano. it's best model size is around 6MB and after exporting it using "yolo export model=yolov8n.pt format=edgetpu". it's size reduced to 3MB. But have to integrate this model in XIAO RP2040 MCU. So I need more light weight model for my edge device. In this case what I should? Please give me a solution.
Glenn JocherUltralytics@Taufiq-Ahmed hi! It's great to hear that you've successfully trained your custom dataset with YOLOv8 nano. For further reducing the model size for your XIAO RP2040 MCU, you might want to explore additional quantization techniques. The TFLite Edge TPU format already applies full integer quantization, but you can experiment with pruning or other model compression techniques to further reduce the size. If you haven't already, ensure you're using the latest version of the Ultralytics package for the best optimization features. For more detailed guidance, you can check out our Edge TPU integration guide. Good luck with your deployment!
samphonic
So I have a tflite model and object detection is working, but I can't seem to figure out how to tell if (and how effectively) the model is actually using the Edge TPU hardware. Is there some way to confirm that the hardware is actually being used? Can I manually enable/disable it to compare inference time?
Glenn JocherUltralytics@Sammy1Am to confirm if your model is utilizing the Edge TPU hardware, you can check the inference time and compare it with and without the Edge TPU. Typically, when the Edge TPU is in use, you should see a significant reduction in inference time. You can manually enable or disable the Edge TPU by using the
edgetpuinterpreter for the Edge TPU and the standard TFLite interpreter otherwise. For more details on setting this up, you might find the Edge TPU documentation helpful. If you need further assistance, feel free to explore our Ultralytics documentation.
FearL0rd
How do I use YOLO with a Dual TPU card?
I have APEX_0 and APEX_1 devices.
FearL0rd
Streamline segmentation during export https://coral.ai/docs/edgetpu/pipeline/
Glenn JocherUltralytics@FearL0rd thank you for your suggestion! Streamlining segmentation during export is indeed a valuable enhancement. For detailed guidance on exporting YOLOv8 models to TFLite Edge TPU format, you can refer to our documentation. This will help you optimize your models for high-speed, low-power inferencing on devices with limited computational power.
For more information on using YOLO with a Dual TPU card, you can leverage the APEX_0 and APEX_1 devices to distribute the workload effectively. This setup can significantly boost performance and efficiency in your machine learning tasks.
Feel free to explore the provided resources and let us know if you have any further questions! 🚀
FearL0rd
@glenn-jocher where is the doc talking about segmentation using APEX_0 and APEX_1
Glenn JocherUltralyticsHi @FearL0rd,
For documentation on segmentation using APEX_0 and APEX_1, you can refer to the guide on exporting YOLOv8 models to TFLite Edge TPU format. This guide covers optimizing your models for high-speed, low-power inferencing on devices like the Coral Edge TPU.
To utilize both APEX_0 and APEX_1 devices, you can distribute the workload effectively across the dual TPU setup, enhancing performance and efficiency. For more detailed instructions, please visit the relevant sections in our documentation.
Feel free to reach out if you have any more questions! 😊