Zum Inhalt springen

Lernen Sie, wie man aus dem YOLOv8 Modell in das TFLite Edge TPU Format exportiert.

Der Einsatz von Computer-Vision-Modellen auf Geräten mit begrenzter Rechenleistung, wie mobilen oder eingebetteten Systemen, kann schwierig sein. Die Verwendung eines Modellformats, das für schnellere Leistung optimiert ist, vereinfacht diesen Prozess. Das Modellformat TensorFlow Lite Edge TPU oder TFLite Edge TPU wurde entwickelt, um möglichst wenig Strom zu verbrauchen und gleichzeitig eine schnelle Leistung für neuronale Netze zu liefern.

Mit der Funktion zum Export in das TFLite Edge TPU Format kannst du deine Ultralytics YOLOv8 Modelle für Hochgeschwindigkeits- und stromsparendes Inferencing zu optimieren. In diesem Leitfaden zeigen wir dir, wie du deine Modelle in das TFLite Edge TPU Format konvertierst, damit sie auf verschiedenen mobilen und eingebetteten Geräten gut funktionieren.

Warum solltest du nach TFLite Edge TPU exportieren?

Der Export von Modellen auf TensorFlow Edge TPU macht Aufgaben des maschinellen Lernens schnell und effizient. Diese Technologie eignet sich für Anwendungen mit begrenzter Leistung, Rechenressourcen und Konnektivität. Der Edge TPU ist ein Hardware-Beschleuniger von Google. Er beschleunigt TensorFlow Lite-Modelle auf Edge-Geräten. Die Abbildung unten zeigt ein Beispiel für den Prozess.

TFLite Edge TPU

Die Edge TPU arbeitet mit quantisierten Modellen. Durch die Quantisierung werden die Modelle kleiner und schneller, ohne an Genauigkeit zu verlieren. Sie ist ideal für die begrenzten Ressourcen des Edge Computing und ermöglicht es den Anwendungen, schnell zu reagieren, indem sie die Latenzzeit verringert und eine schnelle Datenverarbeitung vor Ort ermöglicht, ohne von der Cloud abhängig zu sein. Durch die lokale Verarbeitung bleiben die Nutzerdaten außerdem privat und sicher, da sie nicht an einen entfernten Server gesendet werden.

Die wichtigsten Merkmale von TFLite Edge TPU

Hier sind die wichtigsten Merkmale, die TFLite Edge TPU zu einem großartigen Modellformat für Entwickler machen:

  • Optimierte Leistung auf Edge-Geräten: Der TFLite Edge TPU erreicht durch Quantisierung, Modelloptimierung, Hardware-Beschleunigung und Compiler-Optimierung eine hohe Leistung für neuronale Netzwerke. Seine minimalistische Architektur trägt zu seiner geringen Größe und Kosteneffizienz bei.

  • Hoher Rechendurchsatz: TFLite Edge TPU kombiniert spezielle Hardware-Beschleunigung und effiziente Laufzeitausführung, um einen hohen Rechendurchsatz zu erzielen. Es eignet sich gut für den Einsatz von Machine-Learning-Modellen mit strengen Leistungsanforderungen auf Edge-Geräten.

  • Effiziente Matrixberechnungen: Der TensorFlow Edge TPU ist für Matrixoperationen optimiert, die für Berechnungen in neuronalen Netzen entscheidend sind. Diese Effizienz ist der Schlüssel zu maschinellen Lernmodellen, insbesondere zu solchen, die zahlreiche und komplexe Matrixmultiplikationen und -transformationen erfordern.

Bereitstellungsoptionen mit TFLite Edge TPU

Bevor wir uns damit beschäftigen, wie man YOLOv8 Modelle in das TFLite Edge TPU Format exportiert, wollen wir erst einmal verstehen, wo TFLite Edge TPU Modelle normalerweise verwendet werden.

TFLite Edge TPU bietet verschiedene Einsatzmöglichkeiten für maschinelle Lernmodelle, darunter:

  • Einsatz auf dem Gerät: TensorFlow Die Modelle von Edge TPU können direkt auf mobilen und eingebetteten Geräten eingesetzt werden. Durch den Einsatz auf dem Gerät können die Modelle direkt auf der Hardware ausgeführt werden, ohne dass eine Cloud-Verbindung erforderlich ist.

  • Edge Computing mit Cloud TensorFlow TPUs: In Szenarien, in denen Edge-Geräte nur begrenzte Verarbeitungskapazitäten haben, können TensorFlow Edge TPUs Inferenzaufgaben auf Cloud-Server mit TPUs verlagern.

  • Hybride Bereitstellung: Ein hybrider Ansatz kombiniert den Einsatz auf dem Gerät und in der Cloud und bietet eine vielseitige und skalierbare Lösung für den Einsatz von Machine Learning-Modellen. Zu den Vorteilen gehören die geräteinterne Verarbeitung für schnelle Antworten und Cloud Computing für komplexere Berechnungen.

Exportieren von YOLOv8 Modellen nach TFLite Edge TPU

Du kannst die Modellkompatibilität und Einsatzflexibilität erweitern, indem du die Modelle von YOLOv8 in TensorFlow Edge TPU umwandelst.

Installation

Um das benötigte Paket zu installieren, führe es aus:

Installation

# Install the required package for YOLOv8
pip install ultralytics

Ausführliche Anweisungen und bewährte Verfahren für den Installationsprozess findest du in unserem Ultralytics Installationsleitfaden. Wenn du bei der Installation der erforderlichen Pakete für YOLOv8 auf Schwierigkeiten stößt, findest du in unserem Leitfaden für häufige Probleme Lösungen und Tipps.

Verwendung

Bevor du dich mit den Nutzungshinweisen beschäftigst, solltest du wissen, dass alle Modelle vonUltralytics YOLOv8 exportiert werden können. Hier kannst du sicherstellen, dass das von dir ausgewählte Modell die Exportfunktion unterstützt.

Verwendung

from ultralytics import YOLO

# Load the YOLOv8 model
model = YOLO('yolov8n.pt')

# Export the model to TFLite Edge TPU format
model.export(format='edgetpu')  # creates 'yolov8n_full_integer_quant_edgetpu.tflite’

# Load the exported TFLite Edge TPU model
edgetpu_model = YOLO('yolov8n_full_integer_quant_edgetpu.tflite')

# Run inference
results = edgetpu_model('https://ultralytics.com/images/bus.jpg')

# Export a YOLOv8n PyTorch model to TFLite Edge TPU format
yolo export model=yolov8n.pt format=edgetpu  # creates 'yolov8n_full_integer_quant_edgetpu.tflite'

# Run inference with the exported model
yolo predict model=yolov8n_full_integer_quant_edgetpu.tflite source='https://ultralytics.com/images/bus.jpg'

Weitere Details zu den unterstützten Exportoptionen findest du auf der Ultralytics Dokumentationsseite zu den Bereitstellungsoptionen.

Einsatz von exportierten YOLOv8 TFLite Edge TPU Modellen

Nachdem du deine Ultralytics YOLOv8 Modelle erfolgreich in das TFLite Edge TPU Format exportiert hast, kannst du sie nun einsetzen. Der wichtigste und empfohlene erste Schritt zum Ausführen eines TFLite Edge TPU Modells ist die Verwendung der Methode YOLO("model_edgetpu.tflite"), wie sie im vorherigen Codeausschnitt beschrieben ist.

Ausführliche Anleitungen für den Einsatz deiner TFLite Edge TPU Modelle findest du in den folgenden Ressourcen:

Zusammenfassung

In dieser Anleitung haben wir gelernt, wie man Ultralytics YOLOv8 Modelle in das TFLite Edge TPU Format exportiert. Wenn du die oben genannten Schritte befolgst, kannst du die Geschwindigkeit und Leistungsfähigkeit deiner Computer Vision Anwendungen erhöhen.

Weitere Informationen zur Nutzung findest du auf der offiziellen Website von Edge TPU .

Weitere Informationen über andere Ultralytics YOLOv8 Integrationen findest du in unserem Integrationsleitfaden. Dort findest du wertvolle Ressourcen und Einblicke.



Erstellt am 2024-03-13, Aktualisiert am 2024-04-02
Autoren: Burhan-Q (1), abirami-vina (1)

Kommentare