Link to this sectionCoral Edge TPU auf einem Raspberry Pi mit Ultralytics YOLO26 đ#
Link to this sectionWas ist eine Coral Edge TPU?#
Die Coral Edge TPU ist ein kompaktes GerĂ€t, das deinem System einen Edge TPU-Koprozessor hinzufĂŒgt. Sie ermöglicht stromsparende Hochleistungs-ML-Inferenz fĂŒr TensorFlow Lite-Modelle. Mehr dazu erfĂ€hrst du auf der Coral Edge TPU-Homepage.
Watch: How to Run Inference on Raspberry Pi using Google Coral Edge TPU
Link to this sectionLeistungssteigerung fĂŒr den Raspberry Pi mit der Coral Edge TPU#
Viele möchten ihre Modelle auf einem eingebetteten GerĂ€t oder MobilgerĂ€t wie einem Raspberry Pi ausfĂŒhren, da diese sehr energieeffizient sind und in vielen verschiedenen Anwendungen eingesetzt werden können. Die Inferenzleistung auf diesen GerĂ€ten ist jedoch normalerweise gering, selbst wenn Formate wie ONNX oder OpenVINO verwendet werden. Die Coral Edge TPU ist eine groĂartige Lösung fĂŒr dieses Problem, da sie mit einem Raspberry Pi verwendet werden kann und die Inferenzleistung erheblich beschleunigt.
Link to this sectionEdge TPU auf dem Raspberry Pi mit TensorFlow Lite (Neu)â#
Der bestehende Leitfaden von Coral zur Verwendung der Edge TPU mit einem Raspberry Pi ist veraltet, und die aktuellen Coral Edge TPU-Runtime-Builds funktionieren nicht mehr mit den aktuellen TensorFlow Lite-Runtime-Versionen. DarĂŒber hinaus scheint Google das Coral-Projekt komplett aufgegeben zu haben, und es gab zwischen 2021 und 2025 keinerlei Updates. Dieser Leitfaden zeigt dir, wie du die Edge TPU mit den neuesten Versionen der TensorFlow Lite-Runtime und einer aktualisierten Coral Edge TPU-Runtime auf einem Raspberry Pi Einplatinencomputer (SBC) zum Laufen bringst.
Link to this sectionVoraussetzungen#
- Raspberry Pi 4B (2 GB oder mehr empfohlen) oder Raspberry Pi 5 (Empfohlen)
- Raspberry Pi OS Bullseye/Bookworm (64-bit) mit Desktop (Empfohlen)
- Coral USB Accelerator
- Eine nicht-ARM-basierte Plattform zum Exportieren eines Ultralytics PyTorch Modells
Link to this sectionInstallationsanleitung#
Dieser Leitfaden setzt voraus, dass du bereits eine funktionierende Raspberry Pi OS-Installation hast und ultralytics sowie alle AbhÀngigkeiten installiert hast. Um ultralytics zu installieren, besuche die Schnellstartanleitung, um dich einzurichten, bevor du hier fortfÀhrst.
Link to this sectionInstallation der Edge TPU-Runtime#
Zuerst mĂŒssen wir die Edge TPU-Runtime installieren. Es sind viele verschiedene Versionen verfĂŒgbar, daher musst du die richtige Version fĂŒr dein Betriebssystem auswĂ€hlen. Die Hochfrequenzversion betreibt die Edge TPU mit einer höheren Taktrate, was die Leistung verbessert. Dies kann jedoch zu einer thermischen Drosselung der Edge TPU fĂŒhren, daher wird empfohlen, eine Art KĂŒhlmechanismus zu verwenden.
| Raspberry Pi OS | Hochfrequenz-Modus | Version zum Herunterladen |
|---|---|---|
| Bullseye 32bit | Nein | libedgetpu1-std_ ... .bullseye_armhf.deb |
| Bullseye 64bit | Nein | libedgetpu1-std_ ... .bullseye_arm64.deb |
| Bullseye 32bit | Ja | libedgetpu1-max_ ... .bullseye_armhf.deb |
| Bullseye 64bit | Ja | libedgetpu1-max_ ... .bullseye_arm64.deb |
| Bookworm 32bit | Nein | libedgetpu1-std_ ... .bookworm_armhf.deb |
| Bookworm 64bit | Nein | libedgetpu1-std_ ... .bookworm_arm64.deb |
| Bookworm 32bit | Ja | libedgetpu1-max_ ... .bookworm_armhf.deb |
| Bookworm 64bit | Ja | libedgetpu1-max_ ... .bookworm_arm64.deb |
Lade die neueste Version hier herunter.
Nachdem du die Datei heruntergeladen hast, kannst du sie mit dem folgenden Befehl installieren:
sudo dpkg -i path/to/package.debNach der Installation der Runtime schlieĂe deine Coral Edge TPU an einen USB 3.0-Anschluss am Raspberry Pi an, damit die neue udev-Regel wirksam werden kann.
Wichtig
Wenn du die Coral Edge TPU-Runtime bereits installiert hast, deinstalliere sie mit dem folgenden Befehl.
# If you installed the standard version
sudo apt remove libedgetpu1-std
# If you installed the high-frequency version
sudo apt remove libedgetpu1-maxLink to this sectionExport zur Edge TPU#
Um die Edge TPU zu nutzen, musst du dein Modell in ein kompatibles Format konvertieren. Es wird empfohlen, den Export in Google Colab, auf einem x86_64 Linux-Rechner, unter Verwendung des offiziellen Ultralytics Docker-Containers oder mit der Ultralytics-Plattform durchzufĂŒhren, da der Edge TPU-Compiler auf ARM nicht verfĂŒgbar ist. Siehe den Export-Modus fĂŒr die verfĂŒgbaren Argumente.
from ultralytics import YOLO
# Load a model
model = YOLO("path/to/model.pt") # Load an official model or custom model
# Export the model
model.export(format="edgetpu")Das exportierte Modell wird im Ordner <model_name>_saved_model/ unter dem Namen <model_name>_full_integer_quant_edgetpu.tflite gespeichert. Stelle sicher, dass der Dateiname mit dem Suffix _edgetpu.tflite endet; andernfalls erkennt Ultralytics nicht, dass du ein Edge TPU-Modell verwendest.
Link to this sectionAusfĂŒhren des Modells#
Bevor du das Modell tatsĂ€chlich ausfĂŒhren kannst, musst du die richtigen Bibliotheken installieren.
Wenn du TensorFlow bereits installiert hast, deinstalliere es mit dem folgenden Befehl:
pip uninstall tensorflow tensorflow-aarch64Installiere oder aktualisiere dann tflite-runtime:
pip install -U tflite-runtimeJetzt kannst du die Inferenz mit dem folgenden Code ausfĂŒhren:
from ultralytics import YOLO
# Load a model
model = YOLO("path/to/<model_name>_full_integer_quant_edgetpu.tflite") # Load an official model or custom model
# Run Prediction
model.predict("path/to/source.png")Umfassende Informationen findest du auf der Seite Vorhersage fĂŒr alle Details zum Vorhersagemodus.
Wenn du mehrere Edge TPUs hast, kannst du den folgenden Code verwenden, um eine bestimmte TPU auszuwÀhlen.
from ultralytics import YOLO
# Load a model
model = YOLO("path/to/<model_name>_full_integer_quant_edgetpu.tflite") # Load an official model or custom model
# Run Prediction
model.predict("path/to/source.png") # Inference defaults to the first TPU
model.predict("path/to/source.png", device="tpu:0") # Select the first TPU
model.predict("path/to/source.png", device="tpu:1") # Select the second TPULink to this sectionBenchmarks#
Getestet mit Raspberry Pi OS Bookworm 64-bit und einer USB Coral Edge TPU.
Dargestellt ist die Inferenzzeit; Vor-/Nachbearbeitung ist nicht enthalten.
| BildgröĂe | Modell | Standard-Inferenzzeit (ms) | Hochfrequenz-Inferenzzeit (ms) |
|---|---|---|---|
| 320 | YOLOv8n | 32.2 | 26.7 |
| 320 | YOLOv8s | 47.1 | 39.8 |
| 512 | YOLOv8n | 73.5 | 60.7 |
| 512 | YOLOv8s | 149.6 | 125.3 |
Im Durchschnitt:
- Der Raspberry Pi 5 ist im Standardmodus 22 % schneller als der Raspberry Pi 4B.
- Der Raspberry Pi 5 ist im Hochfrequenzmodus 30,2 % schneller als der Raspberry Pi 4B.
- Der Hochfrequenzmodus ist 28,4 % schneller als der Standardmodus.
Link to this sectionFAQ#
Link to this sectionWas ist eine Coral Edge TPU und wie verbessert sie die Leistung des Raspberry Pi mit Ultralytics YOLO26?#
Die Coral Edge TPU ist ein kompaktes GerĂ€t, das entwickelt wurde, um deinem System einen Edge TPU-Koprozessor hinzuzufĂŒgen. Dieser Koprozessor ermöglicht eine stromsparende Hochleistungs-Inferenz fĂŒr maschinelles Lernen, die insbesondere fĂŒr TensorFlow Lite-Modelle optimiert ist. Bei der Verwendung eines Raspberry Pi beschleunigt die Edge TPU die Inferenz von ML-Modellen und steigert die Leistung erheblich, insbesondere bei Ultralytics YOLO26-Modellen. Mehr ĂŒber die Coral Edge TPU erfĂ€hrst du auf ihrer Homepage.
Link to this sectionWie installiere ich die Coral Edge TPU-Runtime auf einem Raspberry Pi?#
Um die Coral Edge TPU-Runtime auf deinem Raspberry Pi zu installieren, lade das passende .deb-Paket fĂŒr deine Raspberry Pi OS-Version ĂŒber diesen Link herunter. Sobald der Download abgeschlossen ist, verwende den folgenden Befehl zur Installation:
sudo dpkg -i path/to/package.debStelle sicher, dass du alle vorherigen Coral Edge TPU-Runtime-Versionen deinstallierst, indem du die Schritte im Abschnitt Installationsanleitung befolgst.
Link to this sectionKann ich mein Ultralytics YOLO26-Modell exportieren, um es mit der Coral Edge TPU kompatibel zu machen?#
Ja, du kannst dein Ultralytics YOLO26-Modell so exportieren, dass es mit der Coral Edge TPU kompatibel ist. Es wird empfohlen, den Export in Google Colab, auf einem x86_64 Linux-Rechner oder unter Verwendung des Ultralytics Docker-Containers durchzufĂŒhren. Du kannst auch die Ultralytics-Plattform fĂŒr den Export nutzen. Hier erfĂ€hrst du, wie du dein Modell mit Python und CLI exportieren kannst:
from ultralytics import YOLO
# Load a model
model = YOLO("path/to/model.pt") # Load an official model or custom model
# Export the model
model.export(format="edgetpu")Weitere Informationen findest du in der Dokumentation zum Export-Modus.
Link to this sectionWas soll ich tun, wenn TensorFlow bereits auf meinem Raspberry Pi installiert ist, ich aber stattdessen tflite-runtime verwenden möchte?#
Wenn du TensorFlow auf deinem Raspberry Pi installiert hast und zu tflite-runtime wechseln musst, musst du TensorFlow zuerst mit folgendem Befehl deinstallieren:
pip uninstall tensorflow tensorflow-aarch64Installiere oder aktualisiere dann tflite-runtime mit folgendem Befehl:
pip install -U tflite-runtimeDetaillierte Anweisungen findest du im Abschnitt AusfĂŒhren des Modells.
Link to this sectionWie fĂŒhre ich eine Inferenz mit einem exportierten YOLO26-Modell auf einem Raspberry Pi unter Verwendung der Coral Edge TPU durch?#
Nachdem du dein YOLO26-Modell in ein Edge TPU-kompatibles Format exportiert hast, kannst du die Inferenz mit den folgenden Code-Snippets ausfĂŒhren:
from ultralytics import YOLO
# Load a model
model = YOLO("path/to/edgetpu_model.tflite") # Load an official model or custom model
# Run Prediction
model.predict("path/to/source.png")Umfassende Details zu den Funktionen des vollstÀndigen Vorhersagemodus findest du auf der Vorhersageseite.