Zum Inhalt springen

Lernen Sie, wie man aus dem YOLOv8 Modell in das TFLite Edge TPU Format exportiert.

Der Einsatz von Computer-Vision-Modellen auf GerĂ€ten mit begrenzter Rechenleistung, wie mobilen oder eingebetteten Systemen, kann schwierig sein. Die Verwendung eines Modellformats, das fĂŒr schnellere Leistung optimiert ist, vereinfacht diesen Prozess. Das Modellformat TensorFlow Lite Edge TPU oder TFLite Edge TPU wurde entwickelt, um möglichst wenig Strom zu verbrauchen und gleichzeitig eine schnelle Leistung fĂŒr neuronale Netze zu liefern.

Mit der Funktion zum Export in das TFLite Edge TPU Format kannst du deine Ultralytics YOLOv8 Modelle fĂŒr Hochgeschwindigkeits- und stromsparendes Inferencing zu optimieren. In diesem Leitfaden zeigen wir dir, wie du deine Modelle in das TFLite Edge TPU Format konvertierst, damit sie auf verschiedenen mobilen und eingebetteten GerĂ€ten gut funktionieren.

Warum solltest du nach TFLite Edge TPU exportieren?

Der Export von Modellen auf TensorFlow Edge TPU macht Aufgaben des maschinellen Lernens schnell und effizient. Diese Technologie eignet sich fĂŒr Anwendungen mit begrenzter Leistung, Rechenressourcen und KonnektivitĂ€t. Der Edge TPU ist ein Hardware-Beschleuniger von Google. Er beschleunigt TensorFlow Lite-Modelle auf Edge-GerĂ€ten. Die Abbildung unten zeigt ein Beispiel fĂŒr den Prozess.

TFLite Edge TPU

Die Edge TPU arbeitet mit quantisierten Modellen. Durch die Quantisierung werden die Modelle kleiner und schneller, ohne an Genauigkeit zu verlieren. Sie ist ideal fĂŒr die begrenzten Ressourcen des Edge Computing und ermöglicht es den Anwendungen, schnell zu reagieren, indem sie die Latenzzeit verringert und eine schnelle Datenverarbeitung vor Ort ermöglicht, ohne von der Cloud abhĂ€ngig zu sein. Durch die lokale Verarbeitung bleiben die Nutzerdaten außerdem privat und sicher, da sie nicht an einen entfernten Server gesendet werden.

Die wichtigsten Merkmale von TFLite Edge TPU

Hier sind die wichtigsten Merkmale, die TFLite Edge TPU zu einem großartigen Modellformat fĂŒr Entwickler machen:

  • Optimierte Leistung auf Edge-GerĂ€ten: Der TFLite Edge TPU erreicht durch Quantisierung, Modelloptimierung, Hardware-Beschleunigung und Compiler-Optimierung eine hohe Leistung fĂŒr neuronale Netzwerke. Seine minimalistische Architektur trĂ€gt zu seiner geringen GrĂ¶ĂŸe und Kosteneffizienz bei.

  • Hoher Rechendurchsatz: TFLite Edge TPU kombiniert spezielle Hardware-Beschleunigung und effiziente LaufzeitausfĂŒhrung, um einen hohen Rechendurchsatz zu erzielen. Es eignet sich gut fĂŒr den Einsatz von Machine-Learning-Modellen mit strengen Leistungsanforderungen auf Edge-GerĂ€ten.

  • Effiziente Matrixberechnungen: Der TensorFlow Edge TPU ist fĂŒr Matrixoperationen optimiert, die fĂŒr Berechnungen in neuronalen Netzen entscheidend sind. Diese Effizienz ist der SchlĂŒssel zu maschinellen Lernmodellen, insbesondere zu solchen, die zahlreiche und komplexe Matrixmultiplikationen und -transformationen erfordern.

Bereitstellungsoptionen mit TFLite Edge TPU

Bevor wir uns damit beschÀftigen, wie man YOLOv8 Modelle in das TFLite Edge TPU Format exportiert, wollen wir erst einmal verstehen, wo TFLite Edge TPU Modelle normalerweise verwendet werden.

TFLite Edge TPU bietet verschiedene Einsatzmöglichkeiten fĂŒr maschinelle Lernmodelle, darunter:

  • Einsatz auf dem GerĂ€t: TensorFlow Die Modelle von Edge TPU können direkt auf mobilen und eingebetteten GerĂ€ten eingesetzt werden. Durch den Einsatz auf dem GerĂ€t können die Modelle direkt auf der Hardware ausgefĂŒhrt werden, ohne dass eine Cloud-Verbindung erforderlich ist.

  • Edge Computing mit Cloud TensorFlow TPUs: In Szenarien, in denen Edge-GerĂ€te nur begrenzte VerarbeitungskapazitĂ€ten haben, können TensorFlow Edge TPUs Inferenzaufgaben auf Cloud-Server mit TPUs verlagern.

  • Hybride Bereitstellung: Ein hybrider Ansatz kombiniert den Einsatz auf dem GerĂ€t und in der Cloud und bietet eine vielseitige und skalierbare Lösung fĂŒr den Einsatz von Machine Learning-Modellen. Zu den Vorteilen gehören die gerĂ€teinterne Verarbeitung fĂŒr schnelle Antworten und Cloud Computing fĂŒr komplexere Berechnungen.

Exportieren von YOLOv8 Modellen nach TFLite Edge TPU

Du kannst die ModellkompatibilitÀt und EinsatzflexibilitÀt erweitern, indem du die Modelle von YOLOv8 in TensorFlow Edge TPU umwandelst.

Installation

Um das benötigte Paket zu installieren, fĂŒhre es aus:

Installation

# Install the required package for YOLOv8
pip install ultralytics

AusfĂŒhrliche Anweisungen und bewĂ€hrte Verfahren fĂŒr den Installationsprozess findest du in unserem Ultralytics Installationsleitfaden. Wenn du bei der Installation der erforderlichen Pakete fĂŒr YOLOv8 auf Schwierigkeiten stĂ¶ĂŸt, findest du in unserem Leitfaden fĂŒr hĂ€ufige Probleme Lösungen und Tipps.

Verwendung

Bevor du dich mit den Nutzungshinweisen beschĂ€ftigst, solltest du wissen, dass alle Modelle vonUltralytics YOLOv8 exportiert werden können. Hier kannst du sicherstellen, dass das von dir ausgewĂ€hlte Modell die Exportfunktion unterstĂŒtzt.

Verwendung

from ultralytics import YOLO

# Load the YOLOv8 model
model = YOLO('yolov8n.pt')

# Export the model to TFLite Edge TPU format
model.export(format='edgetpu')  # creates 'yolov8n_full_integer_quant_edgetpu.tflite’

# Load the exported TFLite Edge TPU model
edgetpu_model = YOLO('yolov8n_full_integer_quant_edgetpu.tflite')

# Run inference
results = edgetpu_model('https://ultralytics.com/images/bus.jpg')
# Export a YOLOv8n PyTorch model to TFLite Edge TPU format
yolo export model=yolov8n.pt format=edgetpu  # creates 'yolov8n_full_integer_quant_edgetpu.tflite'

# Run inference with the exported model
yolo predict model=yolov8n_full_integer_quant_edgetpu.tflite source='https://ultralytics.com/images/bus.jpg'

Weitere Details zu den unterstĂŒtzten Exportoptionen findest du auf der Ultralytics Dokumentationsseite zu den Bereitstellungsoptionen.

Einsatz von exportierten YOLOv8 TFLite Edge TPU Modellen

Nachdem du deine Ultralytics YOLOv8 Modelle erfolgreich in das TFLite Edge TPU Format exportiert hast, kannst du sie nun einsetzen. Der wichtigste und empfohlene erste Schritt zum AusfĂŒhren eines TFLite Edge TPU Modells ist die Verwendung der Methode YOLO("model_edgetpu.tflite"), wie sie im vorherigen Codeausschnitt beschrieben ist.

AusfĂŒhrliche Anleitungen fĂŒr den Einsatz deiner TFLite Edge TPU Modelle findest du in den folgenden Ressourcen:

Zusammenfassung

In dieser Anleitung haben wir gelernt, wie man Ultralytics YOLOv8 Modelle in das TFLite Edge TPU Format exportiert. Wenn du die oben genannten Schritte befolgst, kannst du die Geschwindigkeit und LeistungsfÀhigkeit deiner Computer Vision Anwendungen erhöhen.

Weitere Informationen zur Nutzung findest du auf der offiziellen Website von Edge TPU .

Weitere Informationen ĂŒber andere Ultralytics YOLOv8 Integrationen findest du in unserem Integrationsleitfaden. Dort findest du wertvolle Ressourcen und Einblicke.



Erstellt am 2024-03-13, Aktualisiert am 2024-04-02
Autoren: Burhan-Q (1), abirami-vina (1)

Kommentare