Ultralytics YOLO26 mit einer Coral Edge TPU auf einem Raspberry Pi ausführen#

Ein Raspberry Pi ist eine energieeffiziente und erschwingliche Plattform für Computer Vision am Netzwerkrand. Die Inferenz auf dem Gerät ist jedoch selbst mit optimierten Formaten wie ONNX oder OpenVINO langsam. Wenn du den Pi mit einem Coral-Edge-TPU-Coprozessor kombinierst, wird die Inferenz an dedizierte Hardware ausgelagert und erheblich beschleunigt. Diese Anleitung zeigt dir, wie du die Laufzeitumgebung installierst, ein Ultralytics-YOLO26-Modell in das Edge-TPU-Format exportierst und beschleunigte Inferenz ausführst.

Warum eine Coral Edge TPU verwenden?#

Die Coral Edge TPU ist ein kompaktes Gerät, das deinem System einen Edge-TPU-Coprozessor hinzufügt. Damit ermöglicht sie eine leistungsstarke ML-Inferenz bei geringem Stromverbrauch für TensorFlow-Lite-Modelle. Sie eignet sich hervorragend für eingebettete und mobile Anwendungen, bei denen eine CPU allein nicht ausreicht:

• Schnellere Inferenz — die Edge TPU beschleunigt quantisierte Modelle weit stärker, als es die CPU des Raspberry Pi allein schafft.
• Niedriger Stromverbrauch — sie bietet einen hohen Durchsatz pro Watt und eignet sich ideal für batteriebetriebene oder solarbetriebene Anwendungen.
• Einfach anschließen und loslegen — der USB-Beschleuniger wird über USB 3.0 angeschlossen, sodass keine zusätzliche Hardwareintegration erforderlich ist.

Voraussetzungen#

• Raspberry Pi 4B (mindestens 2 GB empfohlen) oder Raspberry Pi 5 (empfohlen)
• Raspberry Pi OS Bullseye/Bookworm (64-Bit) mit Desktop (empfohlen)
• Coral USB Accelerator
• Eine x86_64-Linux-Plattform (Google Colab, ein x86_64-Linux-Rechner oder der Ultralytics-Docker-Container auf einem x86_64-Host) zum Exportieren des Modells, da der Edge-TPU-Compiler nur für x86_64 Linux verfügbar ist

In dieser Anleitung wird davon ausgegangen, dass du bereits eine funktionierende Raspberry-Pi-OS-Installation mit ultralytics und den zugehörigen Abhängigkeiten eingerichtet hast. Falls nicht, folge zuerst der Schnellstartanleitung.

Sobald die Voraussetzungen erfüllt sind, umfasst der Ablauf drei Schritte: Installiere die Edge-TPU-Laufzeitumgebung auf dem Pi, exportiere dein Modell auf einem x86_64-Linux-Rechner und führe die Inferenz aus auf dem Pi.

Edge-TPU-Laufzeitumgebung installieren#

Die Laufzeitumgebung ist in mehreren Varianten verfügbar. Wähle die passende für dein Betriebssystem aus. Die Variante mit hoher Taktfrequenz betreibt die Edge TPU mit höherer Taktfrequenz und bietet dadurch eine bessere Leistung, kann aber zu einer thermischen Drosselung führen. Sorge für eine geeignete Kühlung, wenn du diese Variante auswählst.

Lade hier die aktuelle Version herunter und installiere anschließend das Paket .deb:

sudo dpkg -i path/to/package.deb

Schließe nach der Installation der Laufzeitumgebung deine Coral Edge TPU an einen USB-3.0-Anschluss des Raspberry Pi an, damit die neue Regel udev wirksam wird.

# If you installed the standard version
sudo apt remove libedgetpu1-std

# If you installed the high-frequency version
sudo apt remove libedgetpu1-max

Modell ins Edge-TPU-Format exportieren#

Damit du die Edge TPU verwenden kannst, musst du dein Modell in ein kompatibles Format konvertieren. Führe den Export unter x86_64 Linux aus – in Google Colab, auf einem x86_64-Linux-Rechner, mit dem offiziellen Ultralytics-Docker-Container auf einem x86_64-Host oder über die Ultralytics Platform –, da der Edge-TPU-Compiler nur für x86_64 Linux verfügbar ist. In der Dokumentation zum Exportmodus findest du die verfügbaren Argumente.

from ultralytics import YOLO

# Ein Modell laden
model = YOLO("path/to/model.pt")  # Ein offizielles Modell oder ein benutzerdefiniertes Modell laden

# Modell exportieren
model.export(format="edgetpu")

Das exportierte Modell wird im Ordner <model_name>_saved_model/ unter dem Namen <model_name>_full_integer_quant_edgetpu.tflite gespeichert.

Inferenz auf der Edge TPU ausführen#

Bevor du das Modell ausführst, installiere die passenden Bibliotheken auf dem Raspberry Pi. Wenn TensorFlow bereits installiert ist, deinstalliere es zuerst:

pip uninstall tensorflow tensorflow-aarch64

Installiere oder aktualisiere jetzt tflite-runtime:

pip install -U tflite-runtime

Jetzt kannst du die Inferenz ausführen:

from ultralytics import YOLO

# Ein Modell laden
model = YOLO("path/to/yolo26n_full_integer_quant_edgetpu.tflite")  # Ein offizielles Modell oder ein benutzerdefiniertes Modell laden

# Vorhersage ausführen
model.predict("path/to/source.png")

Ausführliche Informationen zum Vorhersagemodus findest du auf der Seite Predict.

from ultralytics import YOLO

# Ein Modell laden
model = YOLO("path/to/yolo26n_full_integer_quant_edgetpu.tflite")  # Ein offizielles Modell oder ein benutzerdefiniertes Modell laden

# Vorhersage ausführen
model.predict("path/to/source.png")  # Standardmäßig wird für die Inferenz die erste TPU verwendet

model.predict("path/to/source.png", device="tpu:0")  # Die erste TPU auswählen

model.predict("path/to/source.png", device="tpu:1")  # Die zweite TPU auswählen

Benchmarks#

Die nachstehenden Werte wurden mit Raspberry Pi OS Bookworm (64-Bit) und einer Coral USB Edge TPU gemessen. Sie zeigen ausschließlich die Inferenzzeit (ohne Vor- und Nachverarbeitung) und dienen als Vergleichswert für die Beschleunigung durch die Edge TPU bei verschiedenen Pi-Modellen und Betriebsmodi.

Im Durchschnitt:

• Der Raspberry Pi 5 ist im Standardmodus 22 % schneller als der Raspberry Pi 4B.
• Der Raspberry Pi 5 ist im Modus mit hoher Taktfrequenz 30,2 % schneller als der Raspberry Pi 4B.
• Der Modus mit hoher Taktfrequenz ist 28,4 % schneller als der Standardmodus.

Fazit#

Eine Coral Edge TPU macht aus einem Raspberry Pi ein leistungsfähiges Inferenzgerät mit niedrigem Stromverbrauch für Ultralytics YOLO26. Exportiere dein Modell auf einem x86_64-Linux-Rechner, behalte die Endung _edgetpu.tflite bei und führe es mit tflite-runtime auf dem Pi aus, um beschleunigte Inferenz am Netzwerkrand zu erhalten. Weitere Bereitstellungsoptionen findest du in der Anleitung für Raspberry Pi.

Häufig gestellte Fragen#