So führst du Ultralytics YOLO26 auf einem Raspberry Pi mit einem Coral Edge TPU aus#

Ein Raspberry Pi ist eine energieeffiziente und kostengünstige Plattform für Computer Vision direkt am Einsatzort. Die Inferenz auf dem Gerät ist jedoch selbst mit optimierten Formaten wie ONNX oder OpenVINO langsam. Wenn du den Pi mit einem Coral Edge TPU-Koprozessor kombinierst, wird die Inferenz auf dedizierte Hardware ausgelagert und erheblich beschleunigt. Diese Anleitung zeigt dir, wie du die Laufzeitumgebung installierst, ein Ultralytics YOLO26-Modell in das Edge-TPU-Format exportierst und eine beschleunigte Inferenz ausführst.

Warum ein Coral Edge TPU verwenden?#

Das Coral Edge TPU ist ein kompaktes Gerät, das deinem System einen Edge-TPU-Koprozessor hinzufügt und eine energiearme, leistungsstarke Inferenz für TensorFlow Lite-Modelle ermöglicht. Es eignet sich hervorragend für eingebettete und mobile Anwendungen, bei denen eine CPU allein nicht mithalten kann:

• Schnellere Inferenz — das Edge TPU beschleunigt quantisierte Modelle deutlich stärker, als es die CPU des Raspberry Pi allein schafft.
• Geringer Stromverbrauch — es bietet einen hohen Durchsatz pro Watt und eignet sich ideal für Anwendungen mit Akku- oder Solarbetrieb.
• Plug-and-play — der USB Accelerator wird über USB 3.0 verbunden, sodass keine zusätzliche Hardwareintegration erforderlich ist.

Voraussetzungen#

• Raspberry Pi 4B (2 GB oder mehr empfohlen) oder Raspberry Pi 5 (empfohlen)
• Raspberry Pi OS Bullseye/Bookworm (64-Bit) mit Desktop (empfohlen)
• Coral USB Accelerator
• Eine Plattform ohne ARM (Google Colab, ein x86_64-Linux-System oder der Ultralytics Docker-Container) zum Exportieren des Modells, da der Edge-TPU-Compiler für ARM nicht verfügbar ist

Diese Anleitung setzt voraus, dass du bereits über eine funktionierende Raspberry Pi OS-Installation mit installiertem ultralytics und seinen Abhängigkeiten verfügst. Falls nicht, befolge zuerst die Schnellstartanleitung.

Sobald die Voraussetzungen erfüllt sind, umfasst der Arbeitsablauf drei Schritte: Installiere die Edge-TPU-Laufzeitumgebung auf dem Pi, exportiere dein Modell auf einer Plattform ohne ARM und führe die Inferenz aus wieder auf dem Pi.

Edge-TPU-Laufzeitumgebung installieren#

Die Laufzeitumgebung ist in mehreren Varianten verfügbar. Wähle daher die Variante, die zu deinem Betriebssystem passt. Die Variante mit hoher Frequenz betreibt das Edge TPU mit einer höheren Taktrate und bietet dadurch eine bessere Leistung, kann jedoch zu thermischer Drosselung führen. Verwende daher eine geeignete Kühlung, wenn du diese Variante wählst.

Lade hier die neueste Version herunter und installiere anschließend das Paket .deb:

sudo dpkg -i path/to/package.deb

Schließe dein Coral Edge TPU nach der Installation der Laufzeitumgebung an einen USB-3.0-Anschluss des Raspberry Pi an, damit die neue Regel udev wirksam werden kann.

# If you installed the standard version
sudo apt remove libedgetpu1-std

# If you installed the high-frequency version
sudo apt remove libedgetpu1-max

Dein Modell in das Edge-TPU-Format exportieren#

Um das Edge TPU zu verwenden, konvertiere dein Modell in ein kompatibles Format. Führe den Export auf einer Plattform ohne ARM aus — etwa in Google Colab, auf einem x86_64-Linux-System, im offiziellen Ultralytics Docker-Container oder auf der Ultralytics Platform —, da der Edge-TPU-Compiler für ARM nicht verfügbar ist. Eine Übersicht der verfügbaren Argumente findest du im Exportmodus.

from ultralytics import YOLO

# Load a model
model = YOLO("path/to/model.pt")  # Load an official model or custom model

# Export the model
model.export(format="edgetpu")

Das exportierte Modell wird im Ordner <model_name>_saved_model/ als <model_name>_full_integer_quant_edgetpu.tflite gespeichert.

Inferenz auf dem Edge TPU ausführen#

Installiere die richtigen Bibliotheken auf dem Raspberry Pi, bevor du das Modell ausführst. Wenn TensorFlow bereits installiert ist, deinstalliere es zuerst:

pip uninstall tensorflow tensorflow-aarch64

Installiere oder aktualisiere anschließend tflite-runtime:

pip install -U tflite-runtime

Jetzt kannst du die Inferenz ausführen:

from ultralytics import YOLO

# Load a model
model = YOLO("path/to/yolo26n_full_integer_quant_edgetpu.tflite")  # Load an official model or custom model

# Run Prediction
model.predict("path/to/source.png")

Ausführliche Informationen zum Vorhersagemodus findest du auf der Seite Predict.

from ultralytics import YOLO

# Load a model
model = YOLO("path/to/yolo26n_full_integer_quant_edgetpu.tflite")  # Load an official model or custom model

# Run Prediction
model.predict("path/to/source.png")  # Inference defaults to the first TPU

model.predict("path/to/source.png", device="tpu:0")  # Select the first TPU

model.predict("path/to/source.png", device="tpu:1")  # Select the second TPU

Benchmarks#

Die folgenden Werte wurden mit Raspberry Pi OS Bookworm 64-Bit und einem Coral Edge TPU mit USB-Anschluss gemessen. Sie zeigen ausschließlich die Inferenzzeit (Vor- und Nachverarbeitung nicht eingeschlossen) und dienen als relativer Vergleich für die Beschleunigung, die das Edge TPU bei verschiedenen Pi-Modellen und Betriebsarten bietet.

Durchschnittlich:

• Der Raspberry Pi 5 ist im Standardmodus 22 % schneller als der Raspberry Pi 4B.
• Der Raspberry Pi 5 ist im Modus mit hoher Frequenz 30,2 % schneller als der Raspberry Pi 4B.
• Der Modus mit hoher Frequenz ist 28,4 % schneller als der Standardmodus.

Fazit#

Ein Coral Edge TPU macht aus einem Raspberry Pi ein leistungsfähiges und energiearmes Gerät für die Inferenz mit Ultralytics YOLO26. Exportiere dein Modell auf einem Rechner ohne ARM, behalte das Suffix _edgetpu.tflite bei und führe es mit tflite-runtime auf dem Pi aus, um eine beschleunigte Inferenz direkt am Einsatzort zu erhalten. Weitere Bereitstellungsoptionen findest du in der Raspberry-Pi-Anleitung.

FAQ#