Export de modèle TFLite pour le déploiement (obsolète)#

Le déploiement de modèles de vision par ordinateur sur des appareils edge ou embarqués nécessite un format capable de garantir des performances fluides.

L'ancien format d'export TensorFlow Lite ou TFLite optimisait les modèles Ultralytics YOLO26 pour des tâches telles que la détection d'objets et la classification d'images dans les applications edge. Ce guide préserve le contexte de déploiement TFLite existant ; utilise LiteRT pour les nouveaux exports.

Pourquoi TFLite était-il utilisé pour l'exportation ?#

Introduit par Google en mai 2017 dans le cadre de son framework TensorFlow, TensorFlow Lite, ou TFLite pour faire court, était un framework d'apprentissage profond open source conçu pour l'inférence sur appareil, également connu sous le nom d'edge computing. Il fournissait aux développeurs des outils pour exécuter des modèles entraînés sur des appareils mobiles, embarqués et IoT, ainsi que sur des ordinateurs traditionnels.

TensorFlow Lite prenait en charge un large éventail de plateformes, notamment Linux embarqué, Android, iOS et les microcontrôleurs (MCU). Les exportations TFLite permettaient aux applications d'exécuter des modèles localement et hors ligne.

Fonctionnalités clés des modèles TFLite#

Les modèles TFLite offrent un large éventail de fonctionnalités clés qui permettent l'apprentissage automatique sur appareil en aidant les développeurs à exécuter leurs modèles sur des appareils mobiles, embarqués et de périphérie :

• Optimisation sur appareil : TFLite optimise pour le ML sur appareil, réduisant la latence en traitant les données localement, améliorant la confidentialité en ne transmettant pas de données personnelles, et minimisant la taille du modèle pour économiser de l'espace.

• Prise en charge multiplateforme : TFLite offre une compatibilité étendue avec les plateformes, prenant en charge Android, iOS, Linux embarqué et les microcontrôleurs.

• Prise en charge de divers langages : TFLite est compatible avec divers langages de programmation, dont Java, Swift, Objective-C, C++ et Python.

• Haute performance : Atteint des performances supérieures grâce à l'accélération matérielle et à l'optimisation des modèles.

Performances mesurées (historique)#

Les deux formats ont fonctionné lors du même balayage GPU consécutif aux tailles d'entrée indiquées. Chaque cellule correspond au temps total (prétraitement + inférence + post-traitement), avec la répartition par étape en dessous ; les journaux natifs ont confirmé que les deux formats ont délégué le graphe complet à LiteRT OpenCL (LITERT_CL) sur le GPU Adreno.

La même exécution de migration a également comparé les formats de quantification de détection YOLO26n. L'inférence est la métrique comparable et dépendante du format :

Dans cette exécution, w8a16 est repassé sur le CPU à environ 660 ms au total contre environ 17 ms pour les formats GPU. Ces résultats ont motivé la livraison de w8a32, mais la compatibilité et les performances des délégués dépendent de l'appareil et de la version du runtime. Évalue l'appareil cible et confirme le placement de l'accélérateur dans ses journaux d'exécution.

Options de déploiement dans TFLite#

Avant de regarder l'exemple d'exportation de remplacement LiteRT, comprenons comment les modèles TFLite sont normalement utilisés.

TFLite propose diverses options de déploiement sur appareil pour les modèles d'apprentissage automatique, notamment :

• Déploiement avec Android et iOS : Les applications Android et iOS dotées de TFLite peuvent analyser les flux de caméras et les capteurs en périphérie pour détecter et identifier des objets. TFLite propose également des bibliothèques iOS natives écrites en Swift et Objective-C. Le diagramme d'architecture ci-dessous illustre le processus de déploiement d'un modèle entraîné sur les plateformes Android et iOS à l'aide de TensorFlow Lite.

• Implémentation avec Embedded Linux : Si l'exécution d'inférences sur un Raspberry Pi à l'aide du Guide Ultralytics ne répond pas aux exigences de vitesse de ton cas d'utilisation, tu peux utiliser un modèle TFLite exporté pour accélérer les temps d'inférence. De plus, il est possible d'améliorer encore les performances en utilisant un appareil Coral Edge TPU.

• Déploiement avec des microcontrôleurs : Les modèles TFLite peuvent également être déployés sur des microcontrôleurs et d'autres appareils avec seulement quelques kilo-octets de mémoire. Le runtime de base tient dans 16 Ko sur un Arm Cortex M3 et peut exécuter de nombreux modèles basiques. Il ne nécessite pas de support de système d'exploitation, de bibliothèques C ou C++ standard, ni d'allocation dynamique de mémoire.

Remplacer l'exportation TFLite par LiteRT#

Pour les nouveaux exports, convertis ton modèle au format LiteRT. Le modèle résultant conserve l'extension de fichier .tflite.

Installation#

Pour installer les paquets requis, exécute :

# Install the required package for YOLO26
pip install ultralytics

Pour des instructions détaillées et les meilleures pratiques relatives au processus d'installation, consultez notre guide d'installation Ultralytics. Si vous rencontrez des difficultés lors de l'installation des paquets requis pour YOLO26, consultez notre guide des problèmes courants pour trouver des solutions et des conseils.

Utilisation#

Tous les modèles Ultralytics YOLO26 sont conçus pour prendre en charge l'exportation dès leur sortie de la boîte, ce qui facilite leur intégration dans ton flux de travail de déploiement préféré. Tu peux consulter la liste complète des formats d'export pris en charge et des options de configuration pour choisir la meilleure configuration pour ton application.

Le format LiteRT de remplacement prend en charge les modes Export, Predict et Validate. Exporte ton modèle, puis charge le modèle exporté .tflite pour exécuter l'inférence ou valider sa précision.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to LiteRT format
model.export(format="litert", imgsz=640)  # use imgsz=224 for classification

from ultralytics import YOLO

# Load the exported TFLite model
model = YOLO("yolo26n.tflite")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported TFLite model
model = YOLO("yolo26n.tflite")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Arguments d'exportation#

Pour plus de détails sur le processus d'exportation, visite la page de documentation d'Ultralytics sur l'exportation.

Déploiement des modèles YOLO26 TFLite exportés#

Après avoir exporté ton modèle Ultralytics YOLO26 au format LiteRT, tu peux déployer le modèle .tflite résultant. La première étape principale et recommandée pour exécuter un modèle TFLite consiste à utiliser la méthode YOLO("model.tflite"), comme indiqué dans l'extrait de code d'utilisation précédent. Cependant, pour des instructions approfondies sur le déploiement de tes modèles TFLite dans divers autres contextes, jette un œil aux ressources suivantes :

• Android : Un guide de démarrage rapide pour intégrer TensorFlow Lite dans les applications Android, fournissant des étapes faciles à suivre pour configurer et exécuter des modèles d'apprentissage automatique.

• iOS : Consulte ce guide détaillé destiné aux développeurs sur l'intégration et le déploiement de modèles TensorFlow Lite dans des applications iOS, offrant des instructions étape par étape et des ressources.

• Exemples de bout en bout : Cette page offre un aperçu de divers exemples TensorFlow Lite, présentant des applications pratiques et des tutoriels conçus pour aider les développeurs à implémenter TensorFlow Lite dans leurs projets d'apprentissage automatique sur appareils mobiles et edge.

Résumé#

Ce guide préserve le flux de travail de déploiement TFLite hérité. Pour les nouveaux exports, utilise LiteRT pour créer des modèles .tflite pour les environnements d'edge computing.

Pour plus de détails sur l'utilisation, visite la documentation officielle de TFLite.

De plus, si tu t'intéresses à d'autres intégrations d'Ultralytics YOLO26, consulte notre page de guide d'intégration. Tu y trouveras de nombreuses informations et perspectives utiles.

FAQ#