TFLite-Modellexport für die Bereitstellung (veraltet)#

Die Bereitstellung von Computer-Vision-Modellen auf Edge-Geräten oder eingebetteten Geräten erfordert ein Format, das eine reibungslose Leistung gewährleistet.

Das frühere TensorFlow-Lite- oder TFLite-Exportformat optimierte Ultralytics YOLO26-Modelle für Aufgaben wie Objekterkennung und Bildklassifizierung in Edge-Anwendungen. Dieser Leitfaden bewahrt den historischen Kontext der TFLite-Bereitstellung. Verwende für neue Exporte LiteRT.

Warum wurde TFLite für den Export verwendet?#

TensorFlow Lite, kurz TFLite, wurde im Mai 2017 von Google als Teil des TensorFlow-Frameworks eingeführt. Es war ein quelloffenes Deep-Learning-Framework für die Inferenz auf dem Gerät, auch bekannt als Edge Computing. Es stellte Entwicklern Werkzeuge zur Verfügung, um trainierte Modelle auf Mobilgeräten, eingebetteten Geräten und IoT-Geräten sowie auf herkömmlichen Computern auszuführen.

TensorFlow Lite unterstützte eine große Bandbreite an Plattformen, darunter eingebettetes Linux, Android, iOS und Mikrocontroller (MCUs). TFLite-Exporte ermöglichten es Anwendungen, Modelle lokal und offline auszuführen.

Wichtige Merkmale von TFLite-Modellen#

TFLite-Modelle bieten zahlreiche wichtige Funktionen für maschinelles Lernen auf dem Gerät und helfen Entwicklern dabei, ihre Modelle auf Mobilgeräten, eingebetteten Geräten und Edge-Geräten auszuführen:

• Optimierung auf dem Gerät: TFLite ist für maschinelles Lernen auf dem Gerät optimiert. Dadurch wird die Latenz durch lokale Datenverarbeitung reduziert, der Datenschutz durch die Vermeidung der Übertragung personenbezogener Daten verbessert und die Modellgröße zur Einsparung von Speicherplatz minimiert.

• Unterstützung mehrerer Plattformen: TFLite ist mit zahlreichen Plattformen kompatibel, darunter Android, iOS, eingebettetes Linux und Mikrocontroller.

• Unterstützung verschiedener Programmiersprachen: TFLite ist mit verschiedenen Programmiersprachen kompatibel, darunter Java, Swift, Objective-C, C++ und Python.

• Hohe Leistung: Erzielt durch Hardwarebeschleunigung und Modelloptimierung eine überlegene Leistung.

Gemessene Leistung (historisch)#

Beide Formate wurden im selben unmittelbar aufeinanderfolgenden GPU-Durchlauf mit den angegebenen Eingabegrößen ausgeführt. Jede Zelle zeigt die Gesamtzeit (Vorverarbeitung + Inferenz + Nachverarbeitung) sowie darunter die Aufteilung nach Phasen. Native Protokolle bestätigten, dass beide Formate den vollständigen Berechnungsgraphen an LiteRT OpenCL (LITERT_CL) auf der Adreno-GPU delegierten.

Im selben Migrationslauf wurden außerdem die Quantisierungsformate für die YOLO26n-Erkennung verglichen. Die Inferenz ist die vergleichbare, formatabhängige Kennzahl:

In diesem Lauf wich w8a16 auf die CPU aus und benötigte insgesamt etwa 660 ms, verglichen mit etwa 17 ms bei den GPU-Formaten. Diese Ergebnisse waren ausschlaggebend für die Auslieferung von w8a32. Die Kompatibilität mit Delegaten und die Leistung hängen jedoch vom Gerät und der Laufzeitversion ab. Miss die Leistung auf dem Zielgerät und überprüfe in den Laufzeitprotokollen, wo der Beschleuniger eingesetzt wird.

Bereitstellungsoptionen in TFLite#

Bevor wir uns das Beispiel für den Ersatzexport mit LiteRT ansehen, wollen wir verstehen, wie TFLite-Modelle normalerweise verwendet werden.

TFLite bietet verschiedene Optionen für die Bereitstellung von Machine-Learning-Modellen auf dem Gerät, darunter:

• Bereitstellung mit Android und iOS: Android- und iOS-Anwendungen mit TFLite können kamerabasierte Datenströme und Sensoren an Edge-Geräten analysieren, um Objekte zu erkennen und zu identifizieren. TFLite bietet außerdem native iOS-Bibliotheken in Swift und Objective-C. Das folgende Architekt diagramm zeigt den Prozess zur Bereitstellung eines trainierten Modells auf Android- und iOS-Plattformen mit TensorFlow Lite.

• Implementierung mit eingebettetem Linux: Wenn die Ausführung von Inferenzen auf einem Raspberry Pi mithilfe des Ultralytics-Leitfadens die Geschwindigkeitsanforderungen deines Anwendungsfalls nicht erfüllt, kannst du ein exportiertes TFLite-Modell verwenden, um die Inferenzzeiten zu verkürzen. Zusätzlich lässt sich die Leistung durch den Einsatz eines Coral-Edge-TPU-Geräts weiter verbessern.

• Bereitstellung auf Mikrocontrollern: TFLite-Modelle können auch auf Mikrocontrollern und anderen Geräten mit nur wenigen Kilobyte Speicher bereitgestellt werden. Die Kernlaufzeit passt mit 16 KB gerade auf einen Arm Cortex M3 und kann viele einfache Modelle ausführen. Sie benötigt keine Unterstützung durch ein Betriebssystem, keine Standardbibliotheken für C oder C++ und keine dynamische Speicherzuweisung.

TFLite-Export durch LiteRT ersetzen#

Verwende für neue Exporte LiteRT, um dein Modell zu konvertieren. Das resultierende Modell behält die Dateierweiterung .tflite bei.

Installation#

Führe zur Installation der erforderlichen Pakete Folgendes aus:

# Install the required package for YOLO26
pip install ultralytics

Ausführliche Anweisungen und bewährte Vorgehensweisen zur Installation findest du in unserem Installationsleitfaden von Ultralytics. Sollten bei der Installation der für YOLO26 erforderlichen Pakete Schwierigkeiten auftreten, findest du in unserem Leitfaden zu häufigen Problemen Lösungen und Tipps.

Verwendung#

Alle Ultralytics YOLO26-Modelle sind so konzipiert, dass sie standardmäßig den Export unterstützen, sodass du sie problemlos in deinen bevorzugten Bereitstellungsablauf integrieren kannst. Du kannst die vollständige Liste der unterstützten Exportformate und Konfigurationsoptionen anzeigen, um die beste Konfiguration für deine Anwendung auszuwählen.

Das ersetzende LiteRT-Format unterstützt die Modi Export, Predict und Validate. Exportiere dein Modell und lade anschließend das exportierte .tflite-Modell, um Inferenzen auszuführen oder seine Genauigkeit zu überprüfen.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to LiteRT format
model.export(format="litert", imgsz=640)  # use imgsz=224 for classification

from ultralytics import YOLO

# Load the exported TFLite model
model = YOLO("yolo26n.tflite")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported TFLite model
model = YOLO("yolo26n.tflite")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Exportargumente#

Weitere Informationen zum Exportvorgang findest du auf der Ultralytics-Dokumentationsseite zum Export.

Bereitstellung exportierter YOLO26-TFLite-Modelle#

Nachdem du dein Ultralytics YOLO26-Modell in das LiteRT-Format exportiert hast, kannst du das resultierende .tflite-Modell bereitstellen. Der wichtigste und empfohlene erste Schritt zum Ausführen eines TFLite-Modells ist die Verwendung der Methode YOLO("model.tflite"), wie im vorherigen Codebeispiel zur Verwendung beschrieben. Ausführliche Anweisungen zur Bereitstellung deiner TFLite-Modelle in verschiedenen anderen Umgebungen findest du in den folgenden Ressourcen:

• Android: Ein Schnellstartleitfaden zur Integration von TensorFlow Lite in Android-Anwendungen mit leicht nachvollziehbaren Schritten zum Einrichten und Ausführen von Machine-Learning-Modellen.

• iOS: Dieser ausführliche Leitfaden für Entwickler beschreibt die Integration und Bereitstellung von TensorFlow-Lite-Modellen in iOS-Anwendungen und bietet schrittweise Anweisungen und Ressourcen.

• End-to-End-Beispiele: Diese Seite bietet einen Überblick über verschiedene TensorFlow-Lite-Beispiele und zeigt praktische Anwendungen und Tutorials, die Entwickler bei der Implementierung von TensorFlow Lite in ihren Machine-Learning-Projekten auf Mobil- und Edge-Geräten unterstützen.

Zusammenfassung#

Dieser Leitfaden bewahrt den historischen TFLite-Bereitstellungsworkflow. Verwende für neue Exporte LiteRT, um .tflite-Modelle für Edge-Computing-Umgebungen zu erstellen.

Weitere Informationen zur Verwendung findest du in der offiziellen TFLite-Dokumentation.

Wenn du dich außerdem für andere Ultralytics-YOLO26-Integrationen interessierst, sieh dir unsere Integrationsleitfäden an. Dort findest du zahlreiche hilfreiche Informationen und Einblicke.

FAQ#