TFLite-Modell-Export für die Bereitstellung (veraltet)#

Das Bereitstellen von Computer-Vision-Modellen auf Edge-Geräten oder eingebetteten Geräten erfordert ein Format, das eine nahtlose Leistung gewährleisten kann.

Das ehemalige TensorFlow Lite- oder TFLite-Exportformat optimierte Ultralytics YOLO26-Modelle für Aufgaben wie Objekterkennung und Bildklassifizierung in Edge-Anwendungen. Dieser Leitfaden bewahrt den Legacy-TFLite-Bereitstellungskontext; verwende LiteRT für neue Exporte.

Warum wurde TFLite für den Export verwendet?#

Das im Mai 2017 von Google als Teil seines TensorFlow-Frameworks eingeführte TensorFlow Lite, kurz TFLite, war ein Open-Source-Deep-Learning-Framework für die geräteinterne Inferenz, auch bekannt als Edge Computing. Es bot Entwicklern Tools zum Ausführen trainierter Modelle auf Mobil-, Embedded- und IoT-Geräten sowie herkömmlichen Computern.

TensorFlow Lite unterstützte eine breite Palette an Plattformen, darunter eingebettetes Linux, Android, iOS und Mikrocontroller (MCUs). TFLite-Exporte ermöglichten es Anwendungen, Modelle lokal und offline auszuführen.

Hauptfunktionen von TFLite-Modellen#

TFLite-Modelle bieten eine breite Palette an Funktionen, die maschinelles Lernen auf Geräten ermöglichen, indem sie Entwicklern helfen, ihre Modelle auf Mobil-, Embedded- und Edge-Geräten auszuführen:

• On-Device-Optimierung: TFLite optimiert für ML auf dem Gerät, reduziert die Latenz durch lokale Datenverarbeitung, verbessert die Privatsphäre, da keine persönlichen Daten übertragen werden, und minimiert die Modellgröße, um Speicherplatz zu sparen.

• Unterstützung mehrerer Plattformen: TFLite bietet umfangreiche Plattformkompatibilität und unterstützt Android, iOS, Embedded Linux und Mikrocontroller.

• Unterstützung verschiedener Sprachen: TFLite ist mit verschiedenen Programmiersprachen kompatibel, darunter Java, Swift, Objective-C, C++ und Python.

• Hohe Leistung: Erzielt überlegene Leistung durch Hardwarebeschleunigung und Modelloptimierung.

Gemessene Leistung (historisch)#

Beide Formate liefen im selben Back-to-Back-GPU-Durchlauf bei den angezeigten Eingabegrößen. Jede Zelle stellt die Gesamtzeit (Vorverarbeitung + Inferenz + Nachverarbeitung) dar, mit der Aufteilung nach Phasen darunter; native Protokolle bestätigten, dass beide Formate den vollständigen Graphen an LiteRT OpenCL (LITERT_CL) auf der Adreno-GPU delegierten.

Derselbe Migrationslauf verglich auch YOLO26n Detect-Quantisierungsformate. Die Inferenz ist die vergleichbare, formatabhängige Metrik:

In diesem Durchlauf fiel w8a16 bei einer Gesamtzeit von ca. 660 ms im Vergleich zu ca. 17 ms bei den GPU-Formaten auf die CPU zurück. Diese Ergebnisse motivierten die Bereitstellung von w8a32, aber die Delegatenkompatibilität und -leistung hängen vom Gerät und der Laufzeitversion ab. Teste das Zielgerät und bestätige die Beschleunigerplatzierung in dessen Laufzeitprotokollen.

Bereitstellungsoptionen in TFLite#

Bevor wir uns das Beispiel für den LiteRT-Ersatzexport ansehen, lass uns verstehen, wie TFLite-Modelle normalerweise verwendet werden.

TFLite bietet verschiedene On-Device-Bereitstellungsoptionen für Modelle des maschinellen Lernens, darunter:

• Bereitstellung mit Android und iOS: Sowohl Android- als auch iOS-Anwendungen mit TFLite können edge-basierte Kamera-Feeds und Sensoren analysieren, um Objekte zu erkennen und zu identifizieren. TFLite bietet auch native iOS-Bibliotheken, die in Swift und Objective-C geschrieben sind. Das Architekturdiagramm unten zeigt den Prozess der Bereitstellung eines trainierten Modells auf Android- und iOS-Plattformen mithilfe von TensorFlow Lite.

• Implementierung mit Embedded Linux: Wenn das Ausführen von Inferenzen auf einem Raspberry Pi mithilfe der Ultralytics-Anleitung die Geschwindigkeitsanforderungen für deinen Anwendungsfall nicht erfüllt, kannst du ein exportiertes TFLite-Modell verwenden, um die Inferenzzeiten zu beschleunigen. Darüber hinaus ist es möglich, die Leistung durch die Verwendung eines Coral Edge TPU-Geräts weiter zu verbessern.

• Bereitstellung mit Mikrocontrollern: TFLite-Modelle können auch auf Mikrocontrollern und anderen Geräten mit nur wenigen Kilobyte Speicher bereitgestellt werden. Die Kern-Runtime passt in nur 16 KB auf einem Arm Cortex M3 und kann viele grundlegende Modelle ausführen. Sie erfordert keine Betriebssystemunterstützung, keine Standard-C- oder C++-Bibliotheken und keine dynamische Speicherzuweisung.

Ersetze den TFLite-Export durch LiteRT#

Konvertiere dein Modell für neue Exporte in LiteRT. Das resultierende Modell behält die Dateiendung .tflite bei.

Installation#

Um die erforderlichen Pakete zu installieren, führe aus:

# Install the required package for YOLO26
pip install ultralytics

Detaillierte Anweisungen und bewährte Methoden zum Installationsprozess findest du in unserer Ultralytics-Installationsanleitung. Wenn während der Installation der erforderlichen Pakete für YOLO26 Schwierigkeiten auftreten, findest du in unserem Leitfaden zu häufigen Problemen Lösungen und Tipps.

Verwendung#

Alle Ultralytics YOLO26 models sind so konzipiert, dass sie den Export von Haus aus unterstützen, sodass du sie mühelos in deinen bevorzugten Bereitstellungsworkflow integrieren kannst. Du kannst the full list of supported export formats and configuration options einsehen, um das beste Setup für deine Anwendung auszuwählen.

Das ersetzende LiteRT-Format unterstützt die Modi Export, Predict und Validate. Exportiere dein Modell und lade dann das exportierte .tflite-Modell, um eine Inferenz auszuführen oder dessen Genauigkeit zu validieren.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to LiteRT format
model.export(format="litert", imgsz=640)  # use imgsz=224 for classification

from ultralytics import YOLO

# Load the exported TFLite model
model = YOLO("yolo26n.tflite")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported TFLite model
model = YOLO("yolo26n.tflite")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Export-Argumente#

Weitere Details zum Exportprozess findest du auf der Ultralytics-Dokumentationsseite zum Exportieren.

Bereitstellung exportierter YOLO26 TFLite-Modelle#

Nachdem du dein Ultralytics YOLO26-Modell in das LiteRT-Format exportiert hast, kannst du das resultierende .tflite-Modell bereitstellen. Der primäre und empfohlene erste Schritt zum Ausführen eines TFLite-Modells ist die Verwendung der YOLO("model.tflite")-Methode, wie im vorherigen Nutzungscodeausschnitt beschrieben. Für ausführliche Anweisungen zur Bereitstellung deiner TFLite-Modelle in verschiedenen anderen Umgebungen wirf jedoch einen Blick auf die folgenden Ressourcen:

• Android: Ein Schnellstart-Leitfaden zur Integration von TensorFlow Lite in Android-Anwendungen, der leicht verständliche Schritte zum Einrichten und Ausführen von Modellen für maschinelles Lernen bietet.

• iOS: Sieh dir diesen detaillierten Leitfaden für Entwickler zur Integration und Bereitstellung von TensorFlow Lite-Modellen in iOS-Anwendungen an, der Schritt-für-Schritt-Anleitungen und Ressourcen bietet.

• End-to-End-Beispiele: Diese Seite bietet einen Überblick über verschiedene TensorFlow Lite-Beispiele und zeigt praktische Anwendungen und Tutorials, die Entwicklern helfen sollen, TensorFlow Lite in ihren Projekten für maschinelles Lernen auf Mobil- und Edge-Geräten zu implementieren.

Zusammenfassung#

Dieser Leitfaden bewahrt den Legacy-TFLite-Bereitstellungsworkflow. Verwende für neue Exporte LiteRT, um .tflite-Modelle für Edge-Computing-Umgebungen zu erstellen.

Weitere Details zur Verwendung findest du in der offiziellen TFLite-Dokumentation.

Wenn du außerdem neugierig auf andere Ultralytics YOLO26-Integrationen bist, schau dir unsere Seite zum Integrationsleitfaden an. Dort findest du viele hilfreiche Informationen und Einblicke.

FAQ#