YOLO26-Modell-Export nach TorchScript für eine schnelle Bereitstellung#

Für die Bereitstellung von Computer-Vision-Modellen in C++-Umgebungen ohne Python ist eine portable serialisierte Repräsentation erforderlich. TorchScript bietet diese Kompatibilität für ältere LibTorch-Anwendungen.

Exportiere deine Ultralytics-YOLO26-Modelle nach TorchScript, um sie für plattformübergreifende Kompatibilität zu serialisieren und die Bereitstellung zu vereinfachen. In diesem Leitfaden zeigen wir dir, wie du deine YOLO26-Modelle in das TorchScript-Format exportierst, damit du sie leichter in einer größeren Bandbreite von Anwendungen einsetzen kannst.

Warum solltest du nach TorchScript exportieren?#

TorchScript wurde von den Entwicklern von PyTorch entwickelt und ist ein leistungsfähiges Werkzeug zur Optimierung und Bereitstellung von PyTorch-Modellen auf verschiedenen Plattformen. Der Export von YOLO26-Modellen nach TorchScript ist entscheidend für den Übergang von der Forschung zu realen Anwendungen. TorchScript ist Bestandteil des PyTorch-Frameworks und erleichtert diesen Übergang, indem PyTorch-Modelle in Umgebungen verwendet werden können, die Python nicht unterstützen.

Der Prozess umfasst zwei Techniken: Tracing und Scripting. Beim Tracing werden Vorgänge während der Modellausführung aufgezeichnet, während Scripting die Definition von Modellen mithilfe einer Teilmenge von Python ermöglicht. Diese Techniken stellen sicher, dass Modelle wie YOLO26 auch außerhalb ihrer üblichen Python-Umgebung zuverlässig funktionieren.

TorchScript-Modelle können außerdem durch Techniken wie die Zusammenfassung von Operatoren und eine optimierte Speichernutzung optimiert werden, um eine effiziente Ausführung sicherzustellen. Ein weiterer Vorteil des Exports nach TorchScript ist die Möglichkeit, die Modellausführung auf verschiedenen Hardwareplattformen zu beschleunigen. Dadurch entsteht eine eigenständige, produktionsbereite Repräsentation deines PyTorch-Modells, die in C++-Umgebungen integriert werden kann.

Wichtige Funktionen von TorchScript-Modellen#

TorchScript ist ein zentraler Bestandteil des PyTorch-Ökosystems und bietet leistungsfähige Funktionen zur Optimierung und Bereitstellung von Deep-Learning-Modellen.

Die folgenden wichtigen Funktionen machen TorchScript zu einem wertvollen Werkzeug für Entwickler:

• Ausführung statischer Graphen: TorchScript verwendet eine Darstellung der Modellberechnung als statischen Graphen, die sich von der Ausführung dynamischer Graphen in PyTorch unterscheidet. Bei der Ausführung statischer Graphen wird der Berechnungsgraph vor der eigentlichen Ausführung einmal definiert und kompiliert, wodurch sich die Leistung während der Inferenz verbessert.

• Modellserialisierung: Mit TorchScript kannst du PyTorch-Modelle in ein plattformunabhängiges Format serialisieren. Serialisierte Modelle können geladen werden, ohne dass der ursprüngliche Python-Code erforderlich ist, sodass sie in unterschiedlichen Laufzeitumgebungen bereitgestellt werden können.

• JIT-Kompilierung: TorchScript verwendet die Just-in-Time-Kompilierung (JIT), um PyTorch-Modelle in eine optimierte Zwischendarstellung umzuwandeln. JIT kompiliert den Berechnungsgraphen des Modells und ermöglicht so eine effiziente Ausführung auf Zielgeräten.

• Schrittweise Konvertierung: TorchScript bietet einen schrittweisen Konvertierungsansatz, mit dem du Teile deines PyTorch-Modells nach und nach in TorchScript umwandeln kannst. Diese Flexibilität ist besonders nützlich bei komplexen Modellen oder wenn du bestimmte Teile des Codes optimieren möchtest.

Bereitstellungsoptionen in TorchScript#

Bevor wir uns den Code für den Export von YOLO26-Modellen in das TorchScript-Format ansehen, klären wir zunächst, wo TorchScript-Modelle normalerweise eingesetzt werden.

TorchScript bietet verschiedene Bereitstellungsoptionen für Maschinelles Lernen-Modelle, darunter:

• C++-API: Der häufigste Anwendungsfall für TorchScript ist die LibTorch-C++-API, mit der du optimierte TorchScript-Modelle direkt in C++-Anwendungen laden und ausführen kannst. Das ist ideal für Produktionsumgebungen, in denen Python möglicherweise nicht geeignet oder verfügbar ist. Die C++-API ermöglicht eine Ausführung von TorchScript-Modellen mit geringem Overhead und hoher Effizienz und schöpft so das Leistungspotenzial optimal aus.

• Bereitstellung auf Mobilgeräten: Für Inferenz mit geringer Latenz, Offline-Inferenz und Datenschutz auf Mobilgeräten solltest du ExecuTorch verwenden, den von PyTorch vorgesehenen Ersatz für TorchScript Mobile.

• Bereitstellung in der Cloud: TorchScript-Modelle können mithilfe von Lösungen wie TorchServe auf cloudbasierten Servern bereitgestellt werden. TorchServe bietet Funktionen wie Modellversionierung, Batching und Überwachung von Metriken für eine skalierbare Bereitstellung in Produktionsumgebungen. Eine Cloud-Bereitstellung mit TorchScript kann deine Modelle über APIs oder andere Webdienste zugänglich machen.

Unterstützte Aufgaben#

Der TorchScript-Export unterstützt alle sieben Ultralytics-Aufgaben. Semantische Segmentierung und Tiefenschätzung sind nur mit YOLO26 verfügbar, der einzigen Modellfamilie, die diese Köpfe enthält.

Export nach TorchScript: Dein YOLO26-Modell konvertieren#

Der Export von YOLO26-Modellen nach TorchScript erleichtert ihren Einsatz an verschiedenen Orten und sorgt für eine schnellere und effizientere Ausführung. Das ist ideal für alle, die Deep-Learning-Modelle in realen Anwendungen effektiver einsetzen möchten.

Installation#

Führe zur Installation des erforderlichen Pakets folgenden Befehl aus:

# Install the required package for YOLO26
pip install ultralytics

Ausführliche Anweisungen und bewährte Vorgehensweisen zur Installation findest du in unserem Installationsleitfaden von Ultralytics. Sollten bei der Installation der für YOLO26 erforderlichen Pakete Schwierigkeiten auftreten, findest du in unserem Leitfaden zu häufigen Problemen Lösungen und Tipps.

Verwendung#

Alle Ultralytics YOLO26-Modelle sind so konzipiert, dass sie standardmäßig den Export unterstützen, sodass du sie problemlos in deinen bevorzugten Bereitstellungsablauf integrieren kannst. Du kannst die vollständige Liste der unterstützten Exportformate und Konfigurationsoptionen anzeigen, um die beste Konfiguration für deine Anwendung auszuwählen.

Das TorchScript-Format unterstützt die Modi Export, Predict und Validate. Exportiere dein Modell und lade anschließend das exportierte Modell, um Inferenz auszuführen oder seine Genauigkeit zu validieren.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to TorchScript format
model.export(format="torchscript")  # creates 'yolo26n.torchscript'

from ultralytics import YOLO

# Load the exported TorchScript model
model = YOLO("yolo26n.torchscript")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported TorchScript model
model = YOLO("yolo26n.torchscript")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Exportargumente#

Weitere Informationen zum Exportvorgang findest du auf der Ultralytics-Dokumentationsseite zum Export.

Bereitstellung exportierter YOLO26-TorchScript-Modelle#

Nachdem du deine Ultralytics-YOLO26-Modelle erfolgreich in das TorchScript-Format exportiert hast, kannst du sie nun bereitstellen. Der wichtigste und empfohlene erste Schritt zum Ausführen eines TorchScript-Modells ist die Verwendung der Methode YOLO("model.torchscript"), wie im vorherigen Codebeispiel zur Verwendung beschrieben. Ausführliche Anleitungen zur Bereitstellung deiner TorchScript-Modelle in anderen Umgebungen findest du in den folgenden Ressourcen:

• Bereitstellung auf Mobilgeräten erkunden: Verwende für die aktuelle mobile Bereitstellung mit PyTorch die separate torch.export() → .pte-Pipeline von ExecuTorch.

• Serverseitige Bereitstellung meistern: Erfahre, wie du Modelle serverseitig mit TorchServe bereitstellst. Dazu gibt es eine schrittweise Anleitung für eine skalierbare und effiziente Bereitstellung von Modellen.

• C++-Bereitstellung implementieren: Sieh dir das Tutorial zum Laden eines TorchScript-Modells in C++ an. Es erleichtert die Integration deiner TorchScript-Modelle in C++-Anwendungen für höhere Leistung und größere Flexibilität.

Zusammenfassung#

In diesem Leitfaden haben wir den Prozess des Exports von Ultralytics-YOLO26-Modellen in das TorchScript-Format erläutert. Wenn du die bereitgestellten Anweisungen befolgst, kannst du YOLO26-Modelle für eine bessere Leistung optimieren und sie flexibel auf verschiedenen Plattformen und in unterschiedlichen Umgebungen bereitstellen.

Weitere Informationen zur Verwendung findest du in der offiziellen Dokumentation zu TorchScript.

Wenn du mehr über andere Ultralytics-YOLO26-Integrationen erfahren möchtest, besuche unsere Seite mit dem Integrationsleitfaden. Dort findest du zahlreiche nützliche Ressourcen und Informationen.

FAQ#