TFLite-Modell für die Bereitstellung exportieren (veraltet)#

Für die Bereitstellung von Computer-Vision-Modellen auf Edge-Geräten oder eingebetteten Geräten wird ein Format benötigt, das eine reibungslose Leistung gewährleistet.

Das frühere TensorFlow-Lite- oder TFLite-Exportformat optimierte Ultralytics YOLO26-Modelle für Aufgaben wie Objekterkennung und Bildklassifizierung in Edge-Anwendungen. Diese Anleitung beschreibt weiterhin den früheren TFLite-Bereitstellungskontext. Verwende für neue Exporte LiteRT.

Warum wurde TFLite für den Export verwendet?#

TensorFlow Lite, kurz TFLite, wurde im Mai 2017 von Google als Teil des TensorFlow-Frameworks eingeführt. Es war ein quelloffenes Deep-Learning-Framework für die Inferenz auf dem Gerät, auch bekannt als Edge Computing. Es stellte Entwicklern Werkzeuge zur Ausführung trainierter Modelle auf Mobilgeräten, eingebetteten und IoT-Geräten sowie herkömmlichen Computern bereit.

TensorFlow Lite unterstützte zahlreiche Plattformen, darunter Embedded Linux, Android, iOS und Mikrocontroller (MCUs). Mit TFLite exportierte Modelle konnten Anwendungen lokal und offline ausführen.

Wichtige Merkmale von TFLite-Modellen#

TFLite-Modelle bieten zahlreiche wichtige Funktionen für maschinelles Lernen direkt auf dem Gerät. Damit können Entwickler ihre Modelle auf Mobilgeräten, eingebetteten Geräten und Edge-Geräten ausführen:

• Optimierung für die Ausführung auf dem Gerät: TFLite ist für maschinelles Lernen direkt auf dem Gerät optimiert. Durch die lokale Verarbeitung von Daten werden Latenzen verringert, der Datenschutz wird verbessert, da keine personenbezogenen Daten übertragen werden, und die Modellgröße wird reduziert, um Speicherplatz zu sparen.

• Unterstützung mehrerer Plattformen: TFLite ist mit zahlreichen Plattformen kompatibel und unterstützt Android, iOS, Embedded Linux und Mikrocontroller.

• Unterstützung verschiedener Programmiersprachen: TFLite ist mit verschiedenen Programmiersprachen kompatibel, darunter Java, Swift, Objective-C, C++ und Python.

• Hohe Leistung: Hardwarebeschleunigung und Modelloptimierung sorgen für eine hervorragende Leistung.

Gemessene Leistung (historisch)#

Beide Formate wurden nacheinander im selben GPU-Testlauf und mit den angezeigten Eingabegrößen ausgeführt. Jede Zelle zeigt die Gesamtzeit (Vorverarbeitung + Inferenz + Nachverarbeitung) und darunter die Aufteilung nach Phasen. Native Protokolle bestätigten, dass beide Formate den vollständigen Graphen über LiteRT OpenCL (LITERT_CL) auf der Adreno-GPU ausführten.

Im selben Migrationslauf wurden auch die Quantisierungsformate für YOLO26n detect verglichen. Die Inferenzzeit ist die vergleichbare, vom Format abhängige Kennzahl:

In diesem Testlauf fiel w8a16 auf die CPU zurück und benötigte insgesamt etwa 660 ms, gegenüber etwa 17 ms bei den GPU-Formaten. Diese Ergebnisse waren ausschlaggebend für die Veröffentlichung von w8a32. Die Kompatibilität mit Delegaten und die Leistung hängen jedoch vom Gerät und der Laufzeitversion ab. Führe Benchmarks auf dem Zielgerät aus und prüfe in den Laufzeitprotokollen, welcher Beschleuniger verwendet wird.

Bereitstellungsoptionen für TFLite#

Bevor wir uns das Beispiel für den Export mit dem LiteRT-Ersatz ansehen, klären wir zunächst, wie TFLite-Modelle üblicherweise eingesetzt werden.

TFLite bietet verschiedene Optionen für die Bereitstellung von Modellen für maschinelles Lernen direkt auf dem Gerät, darunter:

• Bereitstellung mit Android und iOS: Android- und iOS-Anwendungen mit TFLite können kamerabasierte Edge-Streams und Sensordaten analysieren, um Objekte zu erkennen und zu identifizieren. TFLite bietet außerdem native iOS-Bibliotheken in Swift und Objective-C. Das folgende Architekturdiagramm zeigt, wie ein trainiertes Modell mit TensorFlow Lite auf Android- und iOS-Plattformen bereitgestellt wird.

• Einsatz mit Embedded Linux: Wenn die Inferenz auf einem Raspberry Pi mit der Ultralytics-Anleitung die Geschwindigkeitsanforderungen deines Anwendungsfalls nicht erfüllt, kannst du ein exportiertes TFLite-Modell verwenden, um die Inferenz zu beschleunigen. Außerdem lässt sich die Leistung mit einem Coral-Edge-TPU-Gerät weiter steigern.

• Bereitstellung auf Mikrocontrollern: TFLite-Modelle lassen sich auch auf Mikrocontrollern und anderen Geräten mit nur wenigen Kilobyte Speicher bereitstellen. Die Kernlaufzeit benötigt auf einem Arm Cortex M3 nur 16 KB und kann viele einfache Modelle ausführen. Sie benötigt weder ein Betriebssystem noch Standardbibliotheken für C oder C++ oder eine dynamische Speicherzuweisung.

TFLite-Export durch LiteRT ersetzen#

Verwende für neue Exporte LiteRT, um dein Modell zu konvertieren. Die resultierende Modelldatei behält die Dateierweiterung .tflite.

Installation#

Führe zum Installieren der erforderlichen Pakete Folgendes aus:

# Install the required package for YOLO26
pip install ultralytics

Ausführliche Anweisungen und bewährte Vorgehensweisen zur Installation findest du in unserer Installationsanleitung von Ultralytics. Falls bei der Installation der für YOLO26 erforderlichen Pakete Probleme auftreten, findest du Lösungen und Tipps in unserer Anleitung zu häufigen Problemen.

Verwendung#

Alle Ultralytics YOLO26-Modelle sind so ausgelegt, dass sie sofort exportiert werden können. Dadurch lassen sie sich problemlos in deinen bevorzugten Bereitstellungsablauf integrieren. In der vollständigen Liste der unterstützten Exportformate und Konfigurationsoptionen findest du die passende Konfiguration für deine Anwendung.

Das ersetzende LiteRT-Format unterstützt die Modi Export, Predict und Validate. Exportiere dein Modell und lade anschließend das exportierte .tflite-Modell, um Inferenz auszuführen oder seine Genauigkeit zu überprüfen.

from ultralytics import YOLO

# Ein YOLO26-Modell laden
model = YOLO("yolo26n.pt")

# Modell ins LiteRT-Format exportieren
model.export(format="litert", imgsz=640)  # für die Klassifizierung imgsz=224 verwenden

from ultralytics import YOLO

# Das exportierte TFLite-Modell laden
model = YOLO("yolo26n.tflite")

# Inferenz ausführen
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Das exportierte TFLite-Modell laden
model = YOLO("yolo26n.tflite")

# Die Genauigkeit anhand des COCO8-Datensatzes validieren
metrics = model.val(data="coco8.yaml")

Exportargumente#

Weitere Informationen zum Exportvorgang findest du auf der Ultralytics-Dokumentationsseite zum Export.

Exportierte YOLO26-TFLite-Modelle bereitstellen#

Nachdem du dein Ultralytics-YOLO26-Modell in das LiteRT-Format exportiert hast, kannst du das resultierende .tflite-Modell bereitstellen. Als ersten Schritt zur Ausführung eines TFLite-Modells empfehlen wir die Methode YOLO("model.tflite"), die im vorherigen Codebeispiel zur Verwendung beschrieben ist. Ausführliche Anweisungen zur Bereitstellung deiner TFLite-Modelle in verschiedenen anderen Umgebungen findest du in den folgenden Ressourcen:

• Android: Eine Kurzanleitung zur Integration von TensorFlow Lite in Android-Anwendungen mit einfachen Schritten zum Einrichten und Ausführen von Modellen für maschinelles Lernen.

• iOS: Diese ausführliche Anleitung für Entwickler beschreibt die Integration und Bereitstellung von TensorFlow-Lite-Modellen in iOS-Anwendungen und bietet Schritt-für-Schritt-Anweisungen und Ressourcen.

• Beispiele von Anfang bis Ende: Diese Seite bietet einen Überblick über verschiedene TensorFlow-Lite-Beispiele. Sie zeigt praktische Anwendungen und Anleitungen, die Entwicklern helfen, TensorFlow Lite in Projekten für maschinelles Lernen auf Mobilgeräten und Edge-Geräten einzusetzen.

Zusammenfassung#

Diese Anleitung beschreibt weiterhin den früheren TFLite-Bereitstellungsablauf. Verwende für neue Exporte LiteRT, um .tflite-Modelle für Edge-Computing-Umgebungen zu erstellen.

Weitere Informationen zur Verwendung findest du in der offiziellen TFLite-Dokumentation.

Wenn du mehr über weitere Ultralytics-YOLO26-Integrationen erfahren möchtest, findest du auf unserer Seite mit Integrationsanleitungen viele hilfreiche Informationen und Einblicke.

Häufig gestellte Fragen#