Understanding YOLO11's Deployment Options

Einführung

You've come a long way on your journey with YOLO11. You've diligently collected data, meticulously annotated it, and put in the hours to train and rigorously evaluate your custom YOLO11 model. Now, it's time to put your model to work for your specific application, use case, or project. But there's a critical decision that stands before you: how to export and deploy your model effectively.

This guide walks you through YOLO11's deployment options and the essential factors to consider to choose the right option for your project.

How to Select the Right Deployment Option for Your YOLO11 Model

When it's time to deploy your YOLO11 model, selecting a suitable export format is very important. As outlined in the Ultralytics YOLO11 Modes documentation, the model.export() function allows for converting your trained model into a variety of formats tailored to diverse environments and performance requirements.

Welches Format am besten geeignet ist, hängt vom Einsatzbereich deines Modells ab, wobei Geschwindigkeit, Hardwarebeschränkungen und einfache Integration berücksichtigt werden müssen. Im folgenden Abschnitt sehen wir uns die einzelnen Exportoptionen genauer an und erklären, wann du dich für eine davon entscheiden solltest.

YOLO11's Deployment Options

Let's walk through the different YOLO11 deployment options. For a detailed walkthrough of the export process, visit the Ultralytics documentation page on exporting.

PyTorch

PyTorch is an open-source machine learning library widely used for applications in deep learning and artificial intelligence. It provides a high level of flexibility and speed, which has made it a favorite among researchers and developers.

• Leistungsbenchmarks: PyTorch ist für seine Benutzerfreundlichkeit und Flexibilität bekannt, was im Vergleich zu anderen, spezialisierteren und optimierten Frameworks zu einem leichten Leistungsabfall führen kann.

• Kompatibilität und Integration: Bietet hervorragende Kompatibilität mit verschiedenen Data Science- und Machine Learning-Bibliotheken in Python.

• Community Support und Ökosystem: Eine der lebendigsten Communities mit umfangreichen Ressourcen zum Lernen und zur Fehlerbehebung.

• Fallstudien: In vielen akademischen Arbeiten wird auf Modelle verwiesen, die in PyTorch eingesetzt werden.

• Wartung und Updates: Regelmäßige Updates mit aktiver Entwicklung und Unterstützung für neue Funktionen.

• Sicherheitsaspekte: Regelmäßige Patches für Sicherheitsprobleme, aber die Sicherheit hängt weitgehend von der Gesamtumgebung ab, in der es eingesetzt wird.

• Hardware-Beschleunigung: Unterstützt CUDA für die GPU Beschleunigung, die für die Beschleunigung des Modelltrainings und der Inferenz unerlässlich ist.

TorchScript

TorchScript Erweitert PyTorch, indem der Export von Modellen in einer C++-Laufzeitumgebung ausgeführt werden kann. Dadurch eignet es sich für Produktionsumgebungen, in denen Python ist nicht verfügbar.

• Leistungsvergleiche: Kann eine bessere Leistung als die native PyTorch bieten, besonders in Produktionsumgebungen.

• Kompatibilität und Integration: Entwickelt für den nahtlosen Übergang von PyTorch zu C++-Produktionsumgebungen, auch wenn einige fortgeschrittene Funktionen möglicherweise nicht perfekt übertragen werden können.

• Community-Unterstützung und Ökosystem: Profitiert von der großen Community von PyTorch, hat aber einen engeren Kreis von spezialisierten Entwicklern.

• Fallstudien: Weit verbreitet in der Industrie, wo der Leistungs-Overhead von Python einen Engpass darstellt.

• Wartung und Updates: Wird zusammen mit PyTorch gewartet und regelmäßig aktualisiert.

• Sicherheitsaspekte: Bietet mehr Sicherheit, indem es den Betrieb von Modellen in Umgebungen ohne vollständige Python Installationen ermöglicht.

• Hardware-Beschleunigung: Vererbt die Unterstützung von PyTorch CUDA und sorgt so für eine effiziente Nutzung von GPU .

ONNX

The Open Neural Network Exchange (ONNX) is a format that allows for model interoperability across different frameworks, which can be critical when deploying to various platforms.

• Leistungsbenchmarks: Die Leistung der ONNX Modelle kann je nach Laufzeit variieren.

• Kompatibilität und Integration: Hohe Interoperabilität über mehrere Plattformen und Hardware hinweg aufgrund seiner Framework-agnostischen Natur.

• Gemeinschaftliche Unterstützung und Ökosystem: Unterstützt von vielen Organisationen, was zu einem breiten Ökosystem und einer Vielzahl von Tools zur Optimierung führt.

• Fallstudien: Wird häufig verwendet, um Modelle zwischen verschiedenen Machine-Learning-Frameworks zu verschieben und so seine Flexibilität zu demonstrieren.

• Wartung und Updates: Da es sich um einen offenen Standard handelt, wird ONNX regelmäßig aktualisiert, um neue Vorgänge und Modelle zu unterstützen.

• Sicherheitsaspekte: Wie bei jedem plattformübergreifenden Tool ist es wichtig, bei der Konvertierung und Bereitstellung sichere Verfahren zu gewährleisten.

• Hardware-Beschleunigung: Mit ONNX Runtime können die Modelle verschiedene Hardware-Optimierungen nutzen.

OpenVINO

OpenVINO ist ein Intel Toolkit, das den Einsatz von Deep-Learning-Modellen auf Intel Hardware erleichtert und die Leistung und Geschwindigkeit erhöht.

• Leistungsbenchmarks: Speziell optimiert für Intel CPUs, GPUs und VPUs, die auf kompatibler Hardware erhebliche Leistungssteigerungen bieten.

• Kompatibilität und Integration: Funktioniert am besten innerhalb des Intel Ökosystems, unterstützt aber auch eine Reihe von anderen Plattformen.

• Community Support and Ecosystem: Backed by Intel, with a solid user base especially in the computer vision domain.

• Case Studies: Often utilized in IoT and edge computing scenarios where Intel hardware is prevalent.

• Wartung und Updates: Intel aktualisiert OpenVINO regelmäßig, um die neuesten Deep-Learning-Modelle und Intel Hardware zu unterstützen.

• Sicherheitsaspekte: Bietet robuste Sicherheitsfunktionen für den Einsatz in sensiblen Anwendungen.

• Hardware-Beschleunigung: Maßgeschneidert für die Beschleunigung auf Intel Hardware, die spezielle Befehlssätze und Hardwarefunktionen nutzt.

Weitere Einzelheiten zur Bereitstellung mit OpenVINO findest du in der Dokumentation Ultralytics Integration: Intel OpenVINO Exportieren.

TensorRT

TensorRT ist ein leistungsstarker Deep-Learning-Optimierer und eine Laufzeitumgebung von NVIDIA, die sich ideal für Anwendungen eignet, bei denen Geschwindigkeit und Effizienz gefragt sind.

• Leistungsbenchmarks: Liefert Spitzenleistung auf NVIDIA GPUs mit Unterstützung für Hochgeschwindigkeitsinferenzen.

• Kompatibilität und Integration: Am besten geeignet für NVIDIA Hardware, mit begrenzter Unterstützung außerhalb dieser Umgebung.

• Community-Unterstützung und Ökosystem: Ein starkes Unterstützungsnetzwerk durch die Entwicklerforen und die Dokumentation von NVIDIA.

• Fallstudien: Weit verbreitet in Branchen, die Echtzeit-Inferenzen aus Video- und Bilddaten benötigen.

• Wartung und Updates: NVIDIA pflegt TensorRT mit regelmäßigen Updates, um die Leistung zu verbessern und neue GPU Architekturen zu unterstützen.

• Sicherheitsaspekte: Wie bei vielen anderen Produkten von NVIDIA liegt auch hier der Schwerpunkt auf der Sicherheit, aber die Einzelheiten hängen von der Einsatzumgebung ab.

• Hardware-Beschleunigung: Exklusiv für NVIDIA GPUs entwickelt, die eine tiefgreifende Optimierung und Beschleunigung bieten.

CoreML

CoreML ist Apples Framework für maschinelles Lernen, das für die Leistung auf den Geräten im Apple-Ökosystem optimiert ist, einschließlich iOS, macOS, watchOS und tvOS.

• Leistungsbenchmarks: Optimiert für On-Device-Leistung auf Apple-Hardware bei minimalem Batterieverbrauch.

• Kompatibilität und Integration: Exklusiv für das Apple-Ökosystem, das einen optimierten Workflow für iOS und macOS-Anwendungen bietet.

• Community-Unterstützung und Ökosystem: Starke Unterstützung durch Apple und eine engagierte Entwicklergemeinschaft mit umfangreicher Dokumentation und Tools.

• Fallstudien: Wird häufig in Anwendungen verwendet, die maschinelle Lernfunktionen auf Apple-Produkten erfordern.

• Wartung und Updates: Regelmäßig von Apple aktualisiert, um die neuesten Entwicklungen im Bereich des maschinellen Lernens und der Apple Hardware zu unterstützen.

• Security Considerations: Benefits from Apple's focus on user privacy and data security.

• Hardware-Beschleunigung: Nutzt die Vorteile der neuronalen Engine von Apple und GPU für beschleunigte maschinelle Lernaufgaben.

TF SavedModel

TF SavedModel ist TensorFlow-Format zum Speichern und Bereitstellen von Machine-Learning-Modellen, das sich besonders für skalierbare Serverumgebungen eignet.

• Leistungsvergleiche: Bietet skalierbare Leistung in Serverumgebungen, insbesondere in Verbindung mit TensorFlow Serving.

• Kompatibilität und Integration: Umfassende Kompatibilität im gesamten Ökosystem von TensorFlow, einschließlich Cloud- und Enterprise-Server-Implementierungen.

• Community-Unterstützung und Ökosystem: Große Unterstützung durch die Community aufgrund der Popularität von TensorFlow, mit einer Vielzahl von Tools für den Einsatz und die Optimierung.

• Fallstudien: Wird häufig in Produktionsumgebungen eingesetzt, um Deep-Learning-Modelle in großem Umfang bereitzustellen.

• Wartung und Updates: Unterstützt von Google und der TensorFlow Community, um regelmäßige Updates und neue Funktionen zu gewährleisten.

• Sicherheitsaspekte: Der Einsatz von TensorFlow Serving umfasst robuste Sicherheitsfunktionen für Anwendungen auf Unternehmensebene.

• Hardware-Beschleunigung: Unterstützt verschiedene Hardware-Beschleunigungen durch die Backends von TensorFlow.

TF GraphDef

TF GraphDef ist ein TensorFlow Format, das das Modell als Graph darstellt, was für Umgebungen von Vorteil ist, in denen ein statischer Berechnungsgraph erforderlich ist.

• Leistungsbenchmarks: Bietet eine stabile Leistung für statische Berechnungsgraphen, wobei der Schwerpunkt auf Konsistenz und Zuverlässigkeit liegt.

• Kompatibilität und Integration: Lässt sich leicht in die Infrastruktur von TensorFlow integrieren, ist aber im Vergleich zu SavedModel weniger flexibel.

• Community-Unterstützung und Ökosystem: Gute Unterstützung durch das Ökosystem von TensorFlow mit vielen Ressourcen für die Optimierung von statischen Graphen.

• Fallstudien: Nützlich in Szenarien, in denen ein statischer Graph notwendig ist, wie z.B. in bestimmten eingebetteten Systemen.

• Wartung und Updates: Regelmäßige Updates zusammen mit den Kern-Updates von TensorFlow.

• Sicherheitserwägungen: Gewährleistet einen sicheren Einsatz mit den bewährten Sicherheitspraktiken von TensorFlow.

• Hardware-Beschleunigung: Kann die Hardware-Beschleunigungsoptionen von TensorFlow nutzen, ist aber nicht so flexibel wie SavedModel.

TF Lite

TF Lite ist TensorFlowDie Lösung für maschinelles Lernen auf mobilen und eingebetteten Geräten, die eine leichtgewichtige Bibliothek für Inferenz auf dem Gerät bietet.

• Performance Benchmarks: Entwickelt für Geschwindigkeit und Effizienz auf mobilen und eingebetteten Geräten.

• Kompatibilität und Integration: Aufgrund seines geringen Gewichts kann es auf einer Vielzahl von Geräten eingesetzt werden.

• Community-Unterstützung und Ökosystem: Unterstützt von Google gibt es eine stabile Community und eine wachsende Zahl von Ressourcen für Entwickler.

• Fallstudien: Beliebt bei mobilen Anwendungen, die Inferenzen auf dem Gerät bei minimalem Platzbedarf erfordern.

• Wartung und Updates: Regelmäßig aktualisiert, um die neuesten Funktionen und Optimierungen für mobile Geräte einzubeziehen.

• Sicherheitsaspekte: Bietet eine sichere Umgebung für die Ausführung von Modellen auf Endnutzergeräten.

• Hardware-Beschleunigung: Unterstützt eine Vielzahl von Hardware-Beschleunigungsoptionen, darunter GPU und DSP.

TF Kante TPU

TF Edge TPU wurde für schnelle, effiziente Berechnungen auf der Edge-Hardware Google TPU entwickelt und eignet sich perfekt für IoT-Geräte, die Echtzeitverarbeitung benötigen.

• Leistungsbenchmarks: Speziell optimiert für schnelles, effizientes Rechnen auf Google's Edge TPU Hardware.

• Kompatibilität und Integration: Funktioniert ausschließlich mit TensorFlow Lite Modellen auf Edge TPU Geräten.

• Community-Unterstützung und Ökosystem: Wachsende Unterstützung durch Ressourcen, die von Google und Drittentwicklern bereitgestellt werden.

• Fallstudien: Einsatz in IoT-Geräten und Anwendungen, die Echtzeitverarbeitung mit geringer Latenz erfordern.

• Wartung und Updates: Kontinuierliche Verbesserung, um die Fähigkeiten neuer Edge TPU Hardware-Releases zu nutzen.

• Sicherheitsaspekte: Integriert mit Google die robuste Sicherheit für IoT- und Edge-Geräte.

• Hardware-Beschleunigung: Speziell entwickelt, um die Vorteile der Google Coral-Geräte voll auszuschöpfen.

TF.js

TensorFlow.js (TF.js) ist eine Bibliothek, die maschinelles Lernen direkt in den Browser bringt und damit Webentwicklern und -nutzern neue Möglichkeiten eröffnet. Sie ermöglicht die Integration von maschinellen Lernmodellen in Webanwendungen, ohne dass eine Backend-Infrastruktur erforderlich ist.

• Leistungsvergleiche: Ermöglicht maschinelles Lernen direkt im Browser mit angemessener Leistung, je nach Client-Gerät.

• Kompatibilität und Integration: Hohe Kompatibilität mit Webtechnologien, die eine einfache Integration in Webanwendungen ermöglicht.

• Community-Unterstützung und Ökosystem: Unterstützung durch eine Community von Web- und Node.js-Entwicklern mit einer Vielzahl von Tools für den Einsatz von ML-Modellen in Browsern.

• Fallstudien: Ideal für interaktive Webanwendungen, die vom maschinellen Lernen auf der Client-Seite profitieren, ohne dass eine serverseitige Verarbeitung erforderlich ist.

• Wartung und Updates: Wird vom TensorFlow Team mit Beiträgen aus der Open-Source-Gemeinschaft gepflegt.

• Sicherheitsaspekte: Läuft im sicheren Kontext des Browsers und nutzt das Sicherheitsmodell der Webplattform.

• Hardware-Beschleunigung: Die Leistung kann mit webbasierten APIs verbessert werden, die auf Hardware-Beschleunigung wie WebGL zugreifen.

PaddlePaddle

PaddlePaddle ist ein Open-Source-Framework für Deep Learning, das von Baidu entwickelt wurde. Es ist so konzipiert, dass es sowohl für Forscher/innen effizient als auch für Entwickler/innen einfach zu bedienen ist. Es ist besonders in China beliebt und bietet spezielle Unterstützung für die Verarbeitung chinesischer Sprache.

• Leistungsvergleiche: Bietet wettbewerbsfähige Leistung mit Fokus auf Benutzerfreundlichkeit und Skalierbarkeit.

• Kompatibilität und Integration: Gut integriert in das Ökosystem von Baidu und unterstützt eine breite Palette von Anwendungen.

• Unterstützung und Ökosystem der Gemeinschaft: Die Community ist zwar global gesehen kleiner, aber sie wächst schnell, vor allem in China.

• Fallstudien: Wird häufig in chinesischen Märkten und von Entwicklern verwendet, die nach Alternativen zu anderen großen Frameworks suchen.

• Wartung und Updates: Regelmäßige Updates mit dem Schwerpunkt auf chinesischsprachigen KI-Anwendungen und -Diensten.

• Security Considerations: Emphasizes data privacy and security, catering to Chinese data governance standards.

• Hardware-Beschleunigung: Unterstützt verschiedene Hardware-Beschleunigungen, darunter Baidus eigene Kunlun-Chips.

NCNN

NCNN ist ein leistungsstarkes Framework für neuronale Netze, das für mobile Plattformen optimiert wurde. Es zeichnet sich durch sein geringes Gewicht und seine Effizienz aus, wodurch es sich besonders gut für mobile und eingebettete Geräte eignet, bei denen die Ressourcen begrenzt sind.

• Leistungsbenchmarks: Hochgradig optimiert für mobile Plattformen, mit effizienter Inferenz auf ARM-basierten Geräten.

• Kompatibilität und Integration: Geeignet für Anwendungen auf Handys und eingebetteten Systemen mit ARM-Architektur.

• Community-Unterstützung und Ökosystem: Unterstützt von einer aktiven Nischengemeinschaft, die sich auf mobile und eingebettete ML-Anwendungen konzentriert.

• Fallstudien: Bevorzugt für mobile Anwendungen, bei denen Effizienz und Geschwindigkeit auf Android und anderen ARM-basierten Systemen entscheidend sind.

• Wartung und Updates: Kontinuierlich verbessert, um die hohe Leistung auf einer Reihe von ARM-Geräten zu erhalten.

• Sicherheitsaspekte: Der Schwerpunkt liegt auf der lokalen Ausführung auf dem Gerät, wodurch die Sicherheit der geräteinternen Verarbeitung genutzt wird.

• Hardware-Beschleunigung: Maßgeschneidert für ARM-CPUs und GPUs, mit speziellen Optimierungen für diese Architekturen.

Comparative Analysis of YOLO11 Deployment Options

The following table provides a snapshot of the various deployment options available for YOLO11 models, helping you to assess which may best fit your project needs based on several critical criteria. For an in-depth look at each deployment option's format, please see the Ultralytics documentation page on export formats.

Diese vergleichende Analyse gibt dir einen umfassenden Überblick. Für den Einsatz ist es wichtig, dass du die spezifischen Anforderungen und Einschränkungen deines Projekts berücksichtigst und die detaillierte Dokumentation und die verfügbaren Ressourcen für jede Option konsultierst.

Gemeinschaft und Unterstützung

When you're getting started with YOLO11, having a helpful community and support can make a significant impact. Here's how to connect with others who share your interests and get the assistance you need.

Engagiere dich in der breiteren Gemeinschaft

• GitHub Discussions: The YOLO11 repository on GitHub has a "Discussions" section where you can ask questions, report issues, and suggest improvements.

• Ultralytics Discord Server: Ultralytics hat einen Discord Server, auf dem du dich mit anderen Nutzern und Entwicklern austauschen kannst.

Offizielle Dokumentation und Ressourcen

• Ultralytics YOLO11 Docs: The official documentation provides a comprehensive overview of YOLO11, along with guides on installation, usage, and troubleshooting.

These resources will help you tackle challenges and stay updated on the latest trends and best practices in the YOLO11 community.

Fazit

In this guide, we've explored the different deployment options for YOLO11. We've also discussed the important factors to consider when making your choice. These options allow you to customize your model for various environments and performance requirements, making it suitable for real-world applications.

Don't forget that the YOLO11 and Ultralytics community is a valuable source of help. Connect with other developers and experts to learn unique tips and solutions you might not find in regular documentation. Keep seeking knowledge, exploring new ideas, and sharing your experiences.

Viel Spaß beim Einsatz!

FAQ

What are the deployment options available for YOLO11 on different hardware platforms?

Ultralytics YOLO11 supports various deployment formats, each designed for specific environments and hardware platforms. Key formats include:

• PyTorch für Forschung und Prototyping, mit hervorragender Python Integration.
• TorchScript für Produktionsumgebungen, in denen Python nicht verfügbar ist.
• ONNX für plattformübergreifende Kompatibilität und Hardware-Beschleunigung.
• OpenVINO für optimierte Leistung auf Intel Hardware.
• TensorRT für Hochgeschwindigkeitsinferenzen auf NVIDIA GPUs.

Jedes Format hat einzigartige Vorteile. Eine detaillierte Beschreibung findest du in unserer Dokumentation zum Exportprozess.

How do I improve the inference speed of my YOLO11 model on an Intel CPU?

To enhance inference speed on Intel CPUs, you can deploy your YOLO11 model using Intel's OpenVINO toolkit. OpenVINO offers significant performance boosts by optimizing models to leverage Intel hardware efficiently.

1. Convert your YOLO11 model to the OpenVINO format using the model.export() Funktion.
2. Befolge die detaillierte Anleitung zur Einrichtung in der DokumentationIntel OpenVINO Export.

Weitere Informationen findest du in unserem Blogbeitrag.

Can I deploy YOLO11 models on mobile devices?

Yes, YOLO11 models can be deployed on mobile devices using TensorFlow Lite (TF Lite) for both Android and iOS platforms. TF Lite is designed for mobile and embedded devices, providing efficient on-device inference.

# Export command for TFLite format
model.export(format="tflite")

# CLI command for TFLite export
yolo export --format tflite

Weitere Informationen zur Bereitstellung von Modellen für mobile Endgeräte findest du in unserem TF Lite Integrationsleitfaden.

What factors should I consider when choosing a deployment format for my YOLO11 model?

When choosing a deployment format for YOLO11, consider the following factors:

• Leistung: Einige Formate wie TensorRT bieten außergewöhnliche Geschwindigkeiten auf NVIDIA GPUs, während OpenVINO für Intel Hardware optimiert ist.
• Kompatibilität: ONNX bietet eine breite Kompatibilität über verschiedene Plattformen hinweg.
• Leichte Integration: Formate wie CoreML oder TF Lite sind auf bestimmte Ökosysteme wie iOS bzw. Android zugeschnitten.
• Community Support: Formats like PyTorch and TensorFlow have extensive community resources and support.

Eine vergleichende Analyse findest du in unserer Dokumentation zu den Exportformaten.

How can I deploy YOLO11 models in a web application?

To deploy YOLO11 models in a web application, you can use TensorFlow.js (TF.js), which allows for running machine learning models directly in the browser. This approach eliminates the need for backend infrastructure and provides real-time performance.

1. Export the YOLO11 model to the TF.js format.
2. Integriere das exportierte Modell in deine Webanwendung.

Eine Schritt-für-Schritt-Anleitung findest du in unserem Leitfaden zur TensorFlow.js-Integration.

📅 Created 11 months ago ✏️ Updated 12 days ago

Kommentare