Understanding YOLO11's Deployment Options

Introduction

You've come a long way on your journey with YOLO11. You've diligently collected data, meticulously annotated it, and put in the hours to train and rigorously evaluate your custom YOLO11 model. Now, it's time to put your model to work for your specific application, use case, or project. But there's a critical decision that stands before you: how to export and deploy your model effectively.

This guide walks you through YOLO11's deployment options and the essential factors to consider to choose the right option for your project.

How to Select the Right Deployment Option for Your YOLO11 Model

When it's time to deploy your YOLO11 model, selecting a suitable export format is very important. As outlined in the Ultralytics YOLO11 Modes documentation, the model.export() function allows for converting your trained model into a variety of formats tailored to diverse environments and performance requirements.

Le format idéal dépend du contexte opérationnel prévu pour ton modèle, en équilibrant la vitesse, les contraintes matérielles et la facilité d'intégration. Dans la section suivante, nous examinerons de plus près chaque option d'exportation, en comprenant quand choisir chacune d'entre elles.

YOLO11's Deployment Options

Let's walk through the different YOLO11 deployment options. For a detailed walkthrough of the export process, visit the Ultralytics documentation page on exporting.

PyTorch

PyTorch is an open-source machine learning library widely used for applications in deep learning and artificial intelligence. It provides a high level of flexibility and speed, which has made it a favorite among researchers and developers.

• Benchmarks de performance: PyTorch est connu pour sa facilité d'utilisation et sa flexibilité, ce qui peut entraîner un léger compromis en termes de performance brute par rapport à d'autres frameworks qui sont plus spécialisés et optimisés.

• Compatibilité et intégration: Offre une excellente compatibilité avec diverses bibliothèques de science des données et d'apprentissage automatique sur Python.

• Soutien de la communauté et écosystème: L'une des communautés les plus dynamiques, avec des ressources étendues pour l'apprentissage et le dépannage.

• Études de cas: Couramment utilisés dans les prototypes de recherche, de nombreux articles académiques font référence à des modèles déployés sur PyTorch.

• Maintenance et mises à jour: Mises à jour régulières avec développement actif et soutien pour les nouvelles fonctionnalités.

• Considérations de sécurité: Des correctifs réguliers pour les problèmes de sécurité, mais la sécurité dépend largement de l'environnement global dans lequel il est déployé.

• Accélération matérielle: Prend en charge CUDA pour l'accélération de GPU , essentielle pour accélérer la formation et l'inférence des modèles.

TorchScript

TorchScript S' étend PyTorchen permettant l’exportation de modèles à exécuter dans un environnement d’exécution C++. Cela le rend adapté aux environnements de production où Python n’est pas disponible.

• Repères de performance: Peut offrir des performances améliorées par rapport au site natif PyTorch, en particulier dans les environnements de production.

• Compatibilité et intégration: Conçu pour une transition transparente entre PyTorch et les environnements de production C++, bien que certaines fonctions avancées puissent ne pas être parfaitement transposées.

• Soutien de la communauté et écosystème: Bénéficie de la grande communauté de PyTorch mais a un champ d'action plus restreint de développeurs spécialisés.

• Études de cas: Largement utilisé dans les environnements industriels où les frais généraux de performance de Python sont un goulot d'étranglement.

• Maintenance et mises à jour: Maintenu aux côtés de PyTorch avec des mises à jour régulières.

• Considérations relatives à la sécurité: Offre une sécurité améliorée en permettant l'exécution de modèles dans des environnements sans installation complète de Python .

• Accélération matérielle: Hérite de la prise en charge de CUDA par PyTorch, garantissant une utilisation efficace de GPU .

ONNX

The Open Neural Network Exchange (ONNX) is a format that allows for model interoperability across different frameworks, which can be critical when deploying to various platforms.

• Repères de performance: les modèles ONNX peuvent avoir des performances variables en fonction de la durée d'exécution spécifique sur laquelle ils sont déployés.

• Compatibilité et intégration: Grande interopérabilité sur plusieurs plateformes et matériels grâce à sa nature agnostique.

• Soutien de la communauté et écosystème: Soutenu par de nombreuses organisations, ce qui conduit à un large écosystème et à une variété d'outils pour l'optimisation.

• Études de cas: Fréquemment utilisé pour déplacer des modèles entre différents cadres d'apprentissage automatique, ce qui démontre sa flexibilité.

• Maintenance et mises à jour: En tant que norme ouverte, ONNX est régulièrement mis à jour pour prendre en charge de nouvelles opérations et de nouveaux modèles.

• Considérations relatives à la sécurité: Comme pour tout outil multiplateforme, il est essentiel d'assurer des pratiques sécurisées dans le pipeline de conversion et de déploiement.

• Accélération matérielle: Avec ONNX Runtime, les modèles peuvent tirer parti de diverses optimisations matérielles.

OpenVINO

OpenVINO est une boîte à outils Intel conçue pour faciliter le déploiement de modèles d'apprentissage profond sur le matériel Intel , en améliorant les performances et la vitesse.

• Repères de performance: Spécifiquement optimisé pour les CPU, GPU et VPU Intel , offrant des augmentations de performance significatives sur le matériel compatible.

• Compatibilité et intégration: Fonctionne mieux au sein de l'écosystème Intel mais prend également en charge une série d'autres plateformes.

• Community Support and Ecosystem: Backed by Intel, with a solid user base especially in the computer vision domain.

• Case Studies: Often utilized in IoT and edge computing scenarios where Intel hardware is prevalent.

• Maintenance et mises à jour: Intel met régulièrement à jour OpenVINO pour prendre en charge les derniers modèles de deep learning et le matériel Intel .

• Considérations sur la sécurité: Fournit des fonctions de sécurité robustes adaptées au déploiement dans des applications sensibles.

• Accélération matérielle: Adapté à l'accélération sur le matériel Intel , en tirant parti de jeux d'instructions et de fonctions matérielles dédiés.

Pour plus de détails sur le déploiement à l'aide de OpenVINO, voir la documentation sur l'intégration Ultralytics : Intel OpenVINO Exporter.

TensorRT

TensorRT est un optimiseur d'inférence d'apprentissage profond haute performance et un runtime de NVIDIA, idéal pour les applications nécessitant rapidité et efficacité.

• Repères de performance: Offre des performances de premier ordre sur les GPU NVIDIA avec la prise en charge de l'inférence à grande vitesse.

• Compatibilité et intégration: Convient mieux au matériel NVIDIA , avec un soutien limité en dehors de cet environnement.

• Soutien de la communauté et écosystème: Un réseau de soutien solide grâce aux forums de développeurs et à la documentation de NVIDIA.

• Études de cas: Largement adopté dans les industries nécessitant une inférence en temps réel sur les données vidéo et les images.

• Maintenance et mises à jour: NVIDIA maintient TensorRT avec des mises à jour fréquentes pour améliorer les performances et prendre en charge les nouvelles architectures GPU .

• Considérations relatives à la sécurité: Comme de nombreux produits NVIDIA , il met fortement l'accent sur la sécurité, mais les spécificités dépendent de l'environnement de déploiement.

• Accélération matérielle: Conçue exclusivement pour les GPU NVIDIA , elle offre une optimisation et une accélération profondes.

CoreML

CoreML est le cadre d'apprentissage automatique d'Apple, optimisé pour les performances sur appareil dans l'écosystème Apple, notamment iOS, macOS, watchOS et tvOS.

• Repères de performance: Optimisé pour les performances sur l'appareil sur le matériel Apple avec une utilisation minimale de la batterie.

• Compatibilité et intégration: Exclusivement pour l'écosystème d'Apple, offrant un flux de travail rationalisé pour les applications iOS et macOS.

• Soutien de la communauté et écosystème: Un soutien solide de la part d'Apple et une communauté de développeurs dévoués, avec une documentation et des outils complets.

• Études de cas: Couramment utilisé dans les applications qui nécessitent des capacités d'apprentissage automatique sur l'appareil sur les produits Apple.

• Maintenance et mises à jour: Régulièrement mis à jour par Apple pour prendre en charge les dernières avancées en matière d'apprentissage automatique et le matériel Apple.

• Security Considerations: Benefits from Apple's focus on user privacy and data security.

• Accélération matérielle: Tire pleinement parti du moteur neuronal d'Apple et de GPU pour accélérer les tâches d'apprentissage automatique.

TF SavedModel

TF SavedModel est TensorFlowpour enregistrer et servir des modèles d’apprentissage automatique, particulièrement adapté aux environnements de serveurs évolutifs.

• Repères de performance: Offre des performances évolutives dans les environnements de serveurs, en particulier lorsqu'il est utilisé avec TensorFlow Serving.

• Compatibilité et intégration: Large compatibilité à travers l'écosystème de TensorFlow's, y compris les déploiements de serveurs en nuage et d'entreprise.

• Soutien de la communauté et écosystème: Large soutien de la communauté en raison de la popularité de TensorFlow, avec une vaste gamme d'outils pour le déploiement et l'optimisation.

• Études de cas: Largement utilisé dans des environnements de production pour servir des modèles d'apprentissage profond à l'échelle.

• Maintenance et mises à jour: Soutenu par Google et la communauté TensorFlow , assurant des mises à jour régulières et de nouvelles fonctionnalités.

• Considérations relatives à la sécurité: Le déploiement à l'aide de TensorFlow Serving comprend des fonctions de sécurité robustes pour les applications d'entreprise.

• Accélération matérielle: Prend en charge diverses accélérations matérielles par l'intermédiaire des serveurs de TensorFlow.

TF GraphDef

TF GraphDef est un format TensorFlow qui représente le modèle sous forme de graphe, ce qui est avantageux pour les environnements où un graphe de calcul statique est nécessaire.

• Repères de performance: Fournit des performances stables pour les graphes de calcul statiques, en mettant l'accent sur la cohérence et la fiabilité.

• Compatibilité et intégration: S'intègre facilement à l'infrastructure de TensorFlow mais est moins flexible que SavedModel.

• Soutien de la communauté et écosystème: Bon soutien de l'écosystème de TensorFlow, avec de nombreuses ressources disponibles pour optimiser les graphes statiques.

• Études de cas: Utile dans les scénarios où un graphique statique est nécessaire, comme dans certains systèmes embarqués.

• Maintenance et mises à jour: Mises à jour régulières en même temps que les mises à jour de base de TensorFlow.

• Considérations relatives à la sécurité: Garantit un déploiement sûr grâce aux pratiques de sécurité établies sur TensorFlow.

• Accélération matérielle: Peut utiliser les options d'accélération matérielle de TensorFlow, bien qu'elles ne soient pas aussi flexibles que SavedModel.

TF Lite

TF Lite est TensorFlowpour l’apprentissage automatique des appareils mobiles et embarqués, fournissant une bibliothèque légère pour l’inférence sur l’appareil.

• Repères de performance: Conçus pour la vitesse et l'efficacité sur les appareils mobiles et embarqués.

• Compatibilité et intégration: Peut être utilisé sur une large gamme d'appareils grâce à sa légèreté.

• Soutien de la communauté et écosystème: Soutenu par Google, il dispose d'une communauté solide et d'un nombre croissant de ressources pour les développeurs.

• Études de cas: Populaire dans les applications mobiles qui nécessitent une inférence sur l'appareil avec un encombrement minimal.

• Maintenance et mises à jour: Régulièrement mis à jour pour inclure les dernières fonctionnalités et optimisations pour les appareils mobiles.

• Considérations relatives à la sécurité: Fournit un environnement sécurisé pour l'exécution des modèles sur les appareils des utilisateurs finaux.

• Accélération matérielle: Prend en charge une variété d'options d'accélération matérielle, y compris GPU et DSP.

TF Bord TPU

TF Edge TPU est conçu pour un calcul rapide et efficace sur le matériel Edge TPU de Google's, parfait pour les appareils IoT nécessitant un traitement en temps réel.

• Repères de performance: Spécifiquement optimisé pour des calculs rapides et efficaces sur le matériel Google's Edge TPU .

• Compatibilité et intégration: Fonctionne exclusivement avec les modèles TensorFlow Lite sur les appareils Edge TPU .

• Soutien de la communauté et écosystème: Soutien croissant grâce aux ressources fournies par Google et les développeurs tiers.

• Études de cas: Utilisé dans les appareils IoT et les applications qui nécessitent un traitement en temps réel avec une faible latence.

• Maintenance et mises à jour: Amélioration continue pour tirer parti des capacités des nouvelles versions du matériel Edge TPU .

• Considérations relatives à la sécurité: S'intègre à la sécurité robuste de Google's pour les appareils IoT et de périphérie.

• Accélération matérielle: Conçu sur mesure pour tirer le meilleur parti des dispositifs Google Coral.

TF.js

TensorFlow.js (TF.js) est une bibliothèque qui apporte des capacités d'apprentissage automatique directement dans le navigateur, offrant ainsi un nouveau champ de possibilités aux développeurs web et aux utilisateurs. Elle permet d'intégrer des modèles d'apprentissage automatique dans les applications web sans avoir besoin d'une infrastructure dorsale.

• Repères de performance: Permet l'apprentissage automatique directement dans le navigateur avec des performances raisonnables, en fonction de l'appareil client.

• Compatibilité et intégration: Grande compatibilité avec les technologies web, permettant une intégration facile dans les applications web.

• Soutien de la communauté et écosystème: Soutien d'une communauté de développeurs web et Node.js, avec une variété d'outils pour déployer des modèles ML dans les navigateurs.

• Études de cas: Idéal pour les applications web interactives qui bénéficient de l'apprentissage automatique côté client sans avoir besoin de traitement côté serveur.

• Maintenance et mises à jour: Maintenu par l'équipe de TensorFlow avec les contributions de la communauté open-source.

• Considérations relatives à la sécurité: S'exécute dans le contexte sécurisé du navigateur, en utilisant le modèle de sécurité de la plateforme web.

• Accélération matérielle: Les performances peuvent être améliorées grâce à des API basées sur le Web qui accèdent à l'accélération matérielle comme WebGL.

PaddlePaddle

PaddlePaddle est un cadre d'apprentissage profond open-source développé par Baidu. Il est conçu pour être à la fois efficace pour les chercheurs et facile à utiliser pour les développeurs. Il est particulièrement populaire en Chine et offre un support spécialisé pour le traitement de la langue chinoise.

• Repères de performance: Offre des performances compétitives en mettant l'accent sur la facilité d'utilisation et l'évolutivité.

• Compatibilité et intégration: Bien intégré dans l'écosystème de Baidu et prend en charge un large éventail d'applications.

• Soutien de la communauté et écosystème: Bien que la communauté soit plus petite à l'échelle mondiale, elle se développe rapidement, en particulier en Chine.

• Études de cas: Couramment utilisé sur les marchés chinois et par les développeurs qui cherchent des alternatives aux autres frameworks majeurs.

• Maintenance et mises à jour: Régulièrement mis à jour en mettant l'accent sur la desserte des applications et des services d'IA en langue chinoise.

• Security Considerations: Emphasizes data privacy and security, catering to Chinese data governance standards.

• Accélération matérielle: Prend en charge diverses accélérations matérielles, y compris les puces Kunlun de Baidu.

NCNN

NCNN est un cadre d'inférence de réseau neuronal très performant optimisé pour la plateforme mobile. Il se distingue par sa légèreté et son efficacité, ce qui le rend particulièrement adapté aux appareils mobiles et embarqués où les ressources sont limitées.

• Repères de performance: hautement optimisé pour les plateformes mobiles, offrant une inférence efficace sur les appareils basés sur ARM.

• Compatibilité et intégration: Convient aux applications sur les téléphones mobiles et les systèmes embarqués avec l'architecture ARM.

• Soutien de la communauté et écosystème: Soutenu par une communauté niche mais active qui se concentre sur les applications ML mobiles et embarquées.

• Études de cas: Privilégié pour les applications mobiles où l'efficacité et la vitesse sont essentielles sur Android et d'autres systèmes basés sur ARM.

• Maintenance et mises à jour: Amélioration continue pour maintenir des performances élevées sur une gamme d'appareils ARM.

• Considérations relatives à la sécurité: L'accent est mis sur l'exécution locale sur l'appareil, ce qui permet de tirer parti de la sécurité inhérente au traitement sur l'appareil.

• Accélération matérielle: Adapté aux processeurs ARM et aux GPU, avec des optimisations spécifiques pour ces architectures.

Comparative Analysis of YOLO11 Deployment Options

The following table provides a snapshot of the various deployment options available for YOLO11 models, helping you to assess which may best fit your project needs based on several critical criteria. For an in-depth look at each deployment option's format, please see the Ultralytics documentation page on export formats.

Cette analyse comparative te donne un aperçu de haut niveau. Pour le déploiement, il est essentiel de prendre en compte les exigences et les contraintes spécifiques de ton projet, et de consulter la documentation détaillée et les ressources disponibles pour chaque option.

Communauté et soutien

When you're getting started with YOLO11, having a helpful community and support can make a significant impact. Here's how to connect with others who share your interests and get the assistance you need.

Engage-toi auprès de la communauté élargie

• GitHub Discussions: The YOLO11 repository on GitHub has a "Discussions" section where you can ask questions, report issues, and suggest improvements.

• Ultralytics Serveur Discord : Ultralytics dispose d'un serveur Discord où tu peux interagir avec d'autres utilisateurs et développeurs.

Documentation et ressources officielles

• Ultralytics YOLO11 Docs: The official documentation provides a comprehensive overview of YOLO11, along with guides on installation, usage, and troubleshooting.

These resources will help you tackle challenges and stay updated on the latest trends and best practices in the YOLO11 community.

Conclusion

In this guide, we've explored the different deployment options for YOLO11. We've also discussed the important factors to consider when making your choice. These options allow you to customize your model for various environments and performance requirements, making it suitable for real-world applications.

Don't forget that the YOLO11 and Ultralytics community is a valuable source of help. Connect with other developers and experts to learn unique tips and solutions you might not find in regular documentation. Keep seeking knowledge, exploring new ideas, and sharing your experiences.

Bon déploiement !

FAQ

What are the deployment options available for YOLO11 on different hardware platforms?

Ultralytics YOLO11 supports various deployment formats, each designed for specific environments and hardware platforms. Key formats include:

• PyTorch pour la recherche et le prototypage, avec une excellente intégration sur Python .
• TorchScript pour les environnements de production où Python n'est pas disponible.
• ONNX pour une compatibilité multiplateforme et une accélération matérielle.
• OpenVINO pour optimiser les performances sur le matériel Intel .
• TensorRT pour une inférence rapide sur les GPU NVIDIA .

Chaque format présente des avantages uniques. Pour une présentation détaillée, consulte notre documentation sur les processus d'exportation.

How do I improve the inference speed of my YOLO11 model on an Intel CPU?

To enhance inference speed on Intel CPUs, you can deploy your YOLO11 model using Intel's OpenVINO toolkit. OpenVINO offers significant performance boosts by optimizing models to leverage Intel hardware efficiently.

1. Convert your YOLO11 model to the OpenVINO format using the model.export() fonction.
2. Suis le guide de configuration détaillé dans la documentationIntel OpenVINO Export.

Pour en savoir plus, consulte notre article de blog.

Can I deploy YOLO11 models on mobile devices?

Yes, YOLO11 models can be deployed on mobile devices using TensorFlow Lite (TF Lite) for both Android and iOS platforms. TF Lite is designed for mobile and embedded devices, providing efficient on-device inference.

# Export command for TFLite format
model.export(format="tflite")

# CLI command for TFLite export
yolo export --format tflite

Pour plus de détails sur le déploiement des modèles sur mobile, consulte notre guide d'intégrationTF Lite.

What factors should I consider when choosing a deployment format for my YOLO11 model?

When choosing a deployment format for YOLO11, consider the following factors:

• Performance: Certains formats comme TensorRT offrent des vitesses exceptionnelles sur les GPU NVIDIA , tandis que OpenVINO est optimisé pour le matériel Intel .
• Compatibilité: ONNX offre une large compatibilité entre les différentes plateformes.
• Facilité d'intégration: Les formats tels que CoreML ou TF Lite sont adaptés à des écosystèmes spécifiques tels que iOS et Android, respectivement.
• Community Support: Formats like PyTorch and TensorFlow have extensive community resources and support.

Pour une analyse comparative, reporte-toi à notre documentation sur les formats d'exportation.

How can I deploy YOLO11 models in a web application?

To deploy YOLO11 models in a web application, you can use TensorFlow.js (TF.js), which allows for running machine learning models directly in the browser. This approach eliminates the need for backend infrastructure and provides real-time performance.

1. Export the YOLO11 model to the TF.js format.
2. Intègre le modèle exporté dans ton application web.

Pour obtenir des instructions étape par étape, reporte-toi à notre guide sur l'intégration deTensorFlow.js.

📅 Created 11 months ago ✏️ Updated 12 days ago

Commentaires