So führst du Ultralytics YOLO26 auf einem Raspberry Pi mit einem Coral Edge TPU aus#

Ein Raspberry Pi ist eine energieeffiziente, günstige Plattform für Computer Vision am Edge, aber On-Device-Inferenz ist selbst mit optimierten Formaten wie ONNX oder OpenVINO langsam. Wenn du den Pi mit einem Coral Edge TPU-Koprozessor versiehst, wird die Inferenz auf dedizierte Hardware ausgelagert und drastisch beschleunigt. Diese Anleitung zeigt dir, wie du die Runtime installierst, ein Ultralytics YOLO26-Modell in das Edge TPU-Format exportierst und beschleunigte Inferenz ausführst.

Warum ein Coral Edge TPU verwenden?#

Das Coral Edge TPU ist ein kompaktes Gerät, das dein System um einen Edge TPU-Coprozessor erweitert und so eine stromsparende, leistungsstarke ML-Inferenz für TensorFlow Lite-Modelle ermöglicht. Es eignet sich hervorragend für eingebettete und mobile Anwendungen, bei denen eine CPU allein nicht ausreicht:

• Schnellere Inferenz – das Edge TPU beschleunigt quantisierte Modelle weit über das hinaus, was die Raspberry Pi-CPU alleine erreicht.
• Geringer Stromverbrauch – es liefert einen hohen Durchsatz pro Watt, ideal für batterie- oder solarbetriebene Einsätze.
• Plug-and-play – der USB Accelerator wird über USB 3.0 verbunden, sodass keine zusätzliche Hardware-Integration erforderlich ist.

Voraussetzungen#

• Raspberry Pi 4B (2 GB oder mehr empfohlen) oder Raspberry Pi 5 (empfohlen)
• Raspberry Pi OS Bullseye/Bookworm (64-Bit) mit Desktop (empfohlen)
• Coral USB Accelerator
• Eine Nicht-ARM-Plattform (Google Colab, eine x86_64-Linux-Maschine oder der Ultralytics Docker-Container) zum Exportieren des Modells, da der Edge TPU-Compiler für ARM nicht verfügbar ist.

Diese Anleitung setzt voraus, dass du bereits eine funktionierende Raspberry Pi OS-Installation mit ultralytics und den dazugehörigen Abhängigkeiten hast. Falls nicht, folge zuerst der Schnellstartanleitung.

Wenn die Voraussetzungen erfüllt sind, umfasst der Workflow drei Schritte: die Edge TPU-Runtime auf dem Pi installieren, dein Modell auf einer Nicht-ARM-Maschine exportieren und die Inferenz wieder auf dem Pi ausführen.

Installiere die Edge TPU-Laufzeitumgebung#

Die Laufzeitumgebung wird in verschiedenen Builds geliefert. Wähle die passende für dein Betriebssystem. Der High-Frequency-Build lässt das Edge TPU mit einer höheren Taktfrequenz laufen, was eine bessere Leistung bietet, aber zu thermischer Drosselung führen kann — verwende eine Kühlung, falls du dich dafür entscheidest.

Lade die neueste Version von hier herunter und installiere dann das Paket .deb:

sudo dpkg -i path/to/package.deb

Stecke nach der Installation der Runtime deine Coral Edge TPU in einen USB 3.0-Anschluss des Raspberry Pi, damit die neue udev-Regel wirksam werden kann.

# If you installed the standard version
sudo apt remove libedgetpu1-std

# If you installed the high-frequency version
sudo apt remove libedgetpu1-max

Exportiere dein Modell in das Edge TPU-Format#

Um die Edge TPU zu nutzen, konvertiere dein Modell in ein kompatibles Format. Führe den Export auf einer Nicht-ARM-Plattform durch – Google Colab, einer x86_64-Linux-Maschine, dem offiziellen Ultralytics Docker-Container oder der Ultralytics Platform –, da der Edge TPU-Compiler für ARM nicht verfügbar ist. Sieh dir den Export-Modus an, um die verfügbaren Argumente zu sehen.

from ultralytics import YOLO

# Load a model
model = YOLO("path/to/model.pt")  # Load an official model or custom model

# Export the model
model.export(format="edgetpu")

Das exportierte Modell wird im Ordner <model_name>_saved_model/ als <model_name>_full_integer_quant_edgetpu.tflite gespeichert.

Führe die Inferenz auf dem Edge TPU aus#

Bevor du das Modell ausführst, installiere die korrekten Bibliotheken auf dem Raspberry Pi. Falls TensorFlow bereits installiert ist, deinstalliere es zuerst:

pip uninstall tensorflow tensorflow-aarch64

Installiere oder aktualisiere dann tflite-runtime:

pip install -U tflite-runtime

Jetzt kannst du die Inferenz ausführen:

from ultralytics import YOLO

# Load a model
model = YOLO("path/to/<model_name>_full_integer_quant_edgetpu.tflite")  # Load an official model or custom model

# Run Prediction
model.predict("path/to/source.png")

Vollständige Details zum Vorhersagemodus findest du auf der Vorhersage-Seite.

from ultralytics import YOLO

# Load a model
model = YOLO("path/to/<model_name>_full_integer_quant_edgetpu.tflite")  # Load an official model or custom model

# Run Prediction
model.predict("path/to/source.png")  # Inference defaults to the first TPU

model.predict("path/to/source.png", device="tpu:0")  # Select the first TPU

model.predict("path/to/source.png", device="tpu:1")  # Select the second TPU

Benchmarks#

Die nachstehenden Werte wurden mit Raspberry Pi OS Bookworm 64-Bit und einem USB Coral Edge TPU gemessen. Sie zeigen nur die Inferenzzeit (ohne Pre-/Postprocessing) und dienen als relativer Referenzwert für die Beschleunigung, die das Edge TPU über Pi-Modelle und Modi hinweg bietet.

Im Durchschnitt:

• Der Raspberry Pi 5 ist im Standardmodus 22 % schneller als der Raspberry Pi 4B.
• Der Raspberry Pi 5 ist im High-Frequency-Modus 30,2 % schneller als der Raspberry Pi 4B.
• Der High-Frequency-Modus ist 28,4 % schneller als der Standardmodus.

Fazit#

Eine Coral Edge TPU macht aus einem Raspberry Pi ein leistungsfähiges, stromsparendes Inferenzgerät für Ultralytics YOLO26. Exportiere dein Modell auf einer Nicht-ARM-Maschine, behalte das Suffix _edgetpu.tflite bei und führe es mit tflite-runtime auf dem Pi aus, um eine beschleunigte Edge-Inferenz zu erhalten. Weitere Bereitstellungsoptionen findest du im Raspberry Pi-Leitfaden.

FAQ#