Zum Inhalt springen

Lernen Sie, wie man aus dem YOLOv8 Modell in das TFLite Edge TPU Format exportiert.

Der Einsatz von Computer-Vision-Modellen auf GerĂ€ten mit begrenzter Rechenleistung, wie mobilen oder eingebetteten Systemen, kann schwierig sein. Die Verwendung eines Modellformats, das fĂŒr schnellere Leistung optimiert ist, vereinfacht diesen Prozess. Das Modellformat TensorFlow Lite Edge TPU oder TFLite Edge TPU wurde entwickelt, um möglichst wenig Strom zu verbrauchen und gleichzeitig eine schnelle Leistung fĂŒr neuronale Netze zu liefern.

Mit der Funktion zum Export in das TFLite Edge TPU Format kannst du deine Ultralytics YOLOv8 Modelle fĂŒr Hochgeschwindigkeits- und stromsparendes Inferencing zu optimieren. In diesem Leitfaden zeigen wir dir, wie du deine Modelle in das TFLite Edge TPU Format konvertierst, damit sie auf verschiedenen mobilen und eingebetteten GerĂ€ten gut funktionieren.

Warum solltest du nach TFLite Edge TPU exportieren?

Der Export von Modellen auf TensorFlow Edge TPU macht Aufgaben des maschinellen Lernens schnell und effizient. Diese Technologie eignet sich fĂŒr Anwendungen mit begrenzter Leistung, Rechenressourcen und KonnektivitĂ€t. Der Edge TPU ist ein Hardware-Beschleuniger von Google. Er beschleunigt die Modelle von TensorFlow Lite auf Edge-GerĂ€ten. Die Abbildung unten zeigt ein Beispiel fĂŒr den Prozess.

TFLite Edge TPU

Die Edge TPU arbeitet mit quantisierten Modellen. Durch die Quantisierung werden die Modelle kleiner und schneller, ohne an Genauigkeit zu verlieren. Sie ist ideal fĂŒr die begrenzten Ressourcen des Edge Computing und ermöglicht es den Anwendungen, schnell zu reagieren, indem sie die Latenzzeit verringert und eine schnelle Datenverarbeitung vor Ort ermöglicht, ohne von der Cloud abhĂ€ngig zu sein. Durch die lokale Verarbeitung bleiben die Nutzerdaten außerdem privat und sicher, da sie nicht an einen entfernten Server gesendet werden.

Die wichtigsten Merkmale von TFLite Edge TPU

Hier sind die wichtigsten Merkmale, die TFLite Edge TPU zu einem großartigen Modellformat fĂŒr Entwickler machen:

  • Optimierte Leistung auf Edge-GerĂ€ten: Der TFLite Edge TPU erreicht durch Quantisierung, Modelloptimierung, Hardware-Beschleunigung und Compiler-Optimierung eine hohe Leistung fĂŒr neuronale Netzwerke. Seine minimalistische Architektur trĂ€gt zu seiner geringen GrĂ¶ĂŸe und Kosteneffizienz bei.

  • Hoher Rechendurchsatz: TFLite Edge TPU kombiniert spezielle Hardware-Beschleunigung und effiziente LaufzeitausfĂŒhrung, um einen hohen Rechendurchsatz zu erzielen. Es eignet sich gut fĂŒr den Einsatz von Machine-Learning-Modellen mit strengen Leistungsanforderungen auf Edge-GerĂ€ten.

  • Effiziente Matrixberechnungen: Der TensorFlow Edge TPU ist fĂŒr Matrixoperationen optimiert, die fĂŒr Berechnungen in neuronalen Netzen entscheidend sind. Diese Effizienz ist der SchlĂŒssel zu maschinellen Lernmodellen, insbesondere zu solchen, die zahlreiche und komplexe Matrixmultiplikationen und -transformationen erfordern.

Bereitstellungsoptionen mit TFLite Edge TPU

Bevor wir uns mit dem Export befassen YOLOv8 Modelle bis hin zum TFLite Edge TPU -Format, lassen Sie uns verstehen, wo TFLite Edge TPU Meist werden Modelle verwendet.

TFLite Edge TPU bietet verschiedene Einsatzmöglichkeiten fĂŒr maschinelle Lernmodelle, darunter:

  • Einsatz auf dem GerĂ€t: TensorFlow Die Modelle von Edge TPU können direkt auf mobilen und eingebetteten GerĂ€ten eingesetzt werden. Durch den Einsatz auf dem GerĂ€t können die Modelle direkt auf der Hardware ausgefĂŒhrt werden, ohne dass eine Cloud-Verbindung erforderlich ist.

  • Edge Computing mit Cloud TensorFlow TPUs: In Szenarien, in denen Edge-GerĂ€te nur begrenzte VerarbeitungskapazitĂ€ten haben, können TensorFlow Edge TPUs Inferenzaufgaben auf Cloud-Server mit TPUs verlagern.

  • Hybride Bereitstellung: Ein hybrider Ansatz kombiniert den Einsatz auf dem GerĂ€t und in der Cloud und bietet eine vielseitige und skalierbare Lösung fĂŒr den Einsatz von Machine Learning-Modellen. Zu den Vorteilen gehören die gerĂ€teinterne Verarbeitung fĂŒr schnelle Antworten und Cloud Computing fĂŒr komplexere Berechnungen.

Exportieren von YOLOv8 Modellen nach TFLite Edge TPU

Du kannst die ModellkompatibilitÀt und EinsatzflexibilitÀt erweitern, indem du die Modelle von YOLOv8 in TensorFlow Edge TPU umwandelst.

Installation

Um das benötigte Paket zu installieren, fĂŒhre es aus:

Installation

# Install the required package for YOLOv8
pip install ultralytics

AusfĂŒhrliche Anweisungen und bewĂ€hrte Verfahren fĂŒr den Installationsprozess findest du in unserem Ultralytics Installationsleitfaden. Wenn du bei der Installation der erforderlichen Pakete fĂŒr YOLOv8 auf Schwierigkeiten stĂ¶ĂŸt, findest du in unserem Leitfaden fĂŒr hĂ€ufige Probleme Lösungen und Tipps.

Verwendung

Bevor du dich mit den Nutzungshinweisen beschĂ€ftigst, solltest du wissen, dass alle Modelle vonUltralytics YOLOv8 exportiert werden können. Hier kannst du sicherstellen, dass das von dir ausgewĂ€hlte Modell die Exportfunktion unterstĂŒtzt.

Verwendung

from ultralytics import YOLO

# Load the YOLOv8 model
model = YOLO("yolov8n.pt")

# Export the model to TFLite Edge TPU format
model.export(format="edgetpu")  # creates 'yolov8n_full_integer_quant_edgetpu.tflite'

# Load the exported TFLite Edge TPU model
edgetpu_model = YOLO("yolov8n_full_integer_quant_edgetpu.tflite")

# Run inference
results = edgetpu_model("https://ultralytics.com/images/bus.jpg")
# Export a YOLOv8n PyTorch model to TFLite Edge TPU format
yolo export model=yolov8n.pt format=edgetpu  # creates 'yolov8n_full_integer_quant_edgetpu.tflite'

# Run inference with the exported model
yolo predict model=yolov8n_full_integer_quant_edgetpu.tflite source='https://ultralytics.com/images/bus.jpg'

Weitere Details zu den unterstĂŒtzten Exportoptionen findest du auf der Ultralytics Dokumentationsseite zu den Bereitstellungsoptionen.

Einsatz von exportierten YOLOv8 TFLite Edge TPU Modellen

Nachdem du deine Ultralytics YOLOv8 Modelle erfolgreich in das TFLite Edge TPU Format exportiert hast, kannst du sie nun einsetzen. Der wichtigste und empfohlene erste Schritt zum AusfĂŒhren eines TFLite Edge TPU Modells ist die Verwendung der Methode YOLO("model_edgetpu.tflite"), wie sie im vorherigen Codeausschnitt beschrieben ist.

AusfĂŒhrliche Anleitungen fĂŒr den Einsatz deiner TFLite Edge TPU Modelle findest du in den folgenden Ressourcen:

Zusammenfassung

In diesem Handbuch haben wir gelernt, wie man exportiert Ultralytics YOLOv8 Modelle zu TFLite Edge TPU Format. Wenn Sie die oben genannten Schritte ausfĂŒhren, können Sie die Geschwindigkeit und Leistung Ihrer Computer-Vision-Anwendungen erhöhen.

Weitere Informationen zur Nutzung findest du auf der offiziellen Website von Edge TPU .

Weitere Informationen ĂŒber andere Ultralytics YOLOv8 Integrationen findest du in unserem Integrationsleitfaden. Dort findest du wertvolle Ressourcen und Einblicke.

FAQ

Wie exportiere ich ein YOLOv8 Modell in das TFLite Edge TPU Format?

Um ein YOLOv8 Modell in das TFLite Edge TPU Format zu exportieren, kannst du die folgenden Schritte ausfĂŒhren:

Verwendung

from ultralytics import YOLO

# Load the YOLOv8 model
model = YOLO("yolov8n.pt")

# Export the model to TFLite Edge TPU format
model.export(format="edgetpu")  # creates 'yolov8n_full_integer_quant_edgetpu.tflite'

# Load the exported TFLite Edge TPU model
edgetpu_model = YOLO("yolov8n_full_integer_quant_edgetpu.tflite")

# Run inference
results = edgetpu_model("https://ultralytics.com/images/bus.jpg")
# Export a YOLOv8n PyTorch model to TFLite Edge TPU format
yolo export model=yolov8n.pt format=edgetpu  # creates 'yolov8n_full_integer_quant_edgetpu.tflite'

# Run inference with the exported model
yolo predict model=yolov8n_full_integer_quant_edgetpu.tflite source='https://ultralytics.com/images/bus.jpg'

AusfĂŒhrliche Informationen zum Exportieren von Modellen in andere Formate findest du in unserer Exportanleitung.

Was sind die Vorteile des Exports von YOLOv8 Modellen nach TFLite Edge TPU?

Der Export von YOLOv8 Modellen nach TFLite Edge TPU bietet mehrere Vorteile:

  • Optimierte Leistung: Erreiche eine hohe Leistung des neuronalen Netzwerks bei minimalem Stromverbrauch.
  • Geringere Latenzzeit: Schnelle lokale Datenverarbeitung ohne die Notwendigkeit einer Cloud-AbhĂ€ngigkeit.
  • Verbesserter Datenschutz: Durch die lokale Verarbeitung bleiben die Nutzerdaten privat und sicher.

Das macht sie ideal fĂŒr Anwendungen im Edge Computing, wo GerĂ€te nur ĂŒber begrenzte Energie- und Rechenressourcen verfĂŒgen. Erfahre mehr darĂŒber, warum du exportieren solltest.

Kann ich die TFLite Edge TPU Modelle auf mobilen und eingebetteten GerÀten einsetzen?

Ja, TensorFlow Lite Edge TPU Modelle können direkt auf mobilen und eingebetteten GerĂ€ten eingesetzt werden. Mit diesem Ansatz können die Modelle direkt auf der Hardware ausgefĂŒhrt werden, was eine schnellere und effizientere Inferenzierung ermöglicht. Beispiele fĂŒr die Integration findest du in unserem Leitfaden fĂŒr den Einsatz von Coral Edge TPU auf dem Raspberry Pi.

Was sind die hĂ€ufigsten AnwendungsfĂ€lle fĂŒr die TFLite Edge TPU Modelle?

HĂ€ufige AnwendungsfĂ€lle fĂŒr die TFLite Edge TPU Modelle sind:

  • Smart Cameras: Verbesserte Bild- und Videoanalyse in Echtzeit.
  • IoT-GerĂ€te: Smart Home und industrielle Automatisierung ermöglichen.
  • Gesundheitswesen: Beschleunigung der medizinischen Bildgebung und Diagnostik.
  • Einzelhandel: Verbesserung der Bestandsverwaltung und Analyse des Kundenverhaltens.

Diese Anwendungen profitieren von der hohen Leistung und dem niedrigen Stromverbrauch der TFLite Edge TPU Modelle. Entdecke mehr ĂŒber Einsatzszenarien.

Wie kann ich Probleme beim Export oder Einsatz von TFLite Edge TPU Modellen beheben?

Wenn du beim Export oder Einsatz von TFLite Edge TPU Modellen auf Probleme stĂ¶ĂŸt, findest du in unserem Leitfaden fĂŒr hĂ€ufige Probleme Tipps zur Fehlerbehebung. Dieser Leitfaden behandelt hĂ€ufige Probleme und Lösungen, um einen reibungslosen Betrieb zu gewĂ€hrleisten. Weitere UnterstĂŒtzung findest du in unserem Help Center.



Erstellt am 2024-03-13, Aktualisiert am 2024-07-05
Autoren: glenn-jocher (5), Burhan-Q (1), abirami-vina (1)

Kommentare