Modell-Export mit Ultralytics YOLO#

Das Exportieren eines YOLO26-Modells in das ONNX-Format ist mit Ultralytics unkompliziert. Es bietet sowohl Python- als auch CLI-Methoden zum Exportieren von Modellen.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom-trained model

# Export the model
model.export(format="onnx")

Weitere Details zum Prozess, einschließlich fortgeschrittener Optionen wie der Handhabung unterschiedlicher Eingabegrößen, findest du im ONNX-Integrationsleitfaden.

Die Nutzung von TensorRT für den Modell-Export bietet signifikante Leistungsverbesserungen. YOLO26-Modelle, die in TensorRT exportiert wurden, können bis zu eine 5-fache GPU-Beschleunigung erreichen, was sie ideal für Echtzeit-Inferenzanwendungen macht.

• Vielseitigkeit: Optimiere Modelle für ein spezifisches Hardware-Setup.
• Geschwindigkeit: Erziele eine schnellere Inferenz durch fortgeschrittene Optimierungen.
• Kompatibilität: Integriere reibungslos mit NVIDIA-Hardware.

Um mehr über die Integration von TensorRT zu erfahren, siehe den TensorRT-Integrationsleitfaden.

Die INT8-Quantisierung ist eine hervorragende Möglichkeit, das Modell zu komprimieren und die Inferenz zu beschleunigen, besonders auf Edge-Geräten. Hier erfährst du, wie du die INT8-Quantisierung aktivieren kannst:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")  # Load a model
model.export(format="onnx", quantize=8, data="coco8.yaml")

Eine INT8-Quantisierung kann auf Formate wie ONNX, TensorRT, OpenVINO, CoreML und Rockchip RKNN angewendet werden. Für optimale Quantisierungsergebnisse stelle einen repräsentativen Datensatz über den Parameter data zur Verfügung. Siehe Quantisierungsoptionen für akzeptierte quantize-Werte und unterstützte Formate.

Eine dynamische Eingabegröße ermöglicht es dem exportierten Modell, mit unterschiedlichen Bilddimensionen umzugehen, was Flexibilität bietet und die Verarbeitungseffizienz für verschiedene Anwendungsfälle optimiert. Beim Export in Formate wie ONNX oder TensorRT stellt die Aktivierung der dynamischen Eingabegröße sicher, dass sich das Modell nahtlos an verschiedene Eingabeformen anpassen kann.

Um diese Funktion zu aktivieren, verwende das Flag dynamic=True während des Exports:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(format="onnx", dynamic=True)

Die dynamische Eingabegrößenanpassung ist besonders nützlich für Anwendungen, bei denen Eingabedimensionen variieren können, wie bei der Videoverarbeitung oder beim Umgang mit Bildern aus verschiedenen Quellen.

Das Verstehen und Konfigurieren von Exportargumenten ist entscheidend für die Optimierung der Modellleistung:

• format: Das Zielformat für das exportierte Modell (z. B. onnx, torchscript, tensorflow).
• imgsz: Gewünschte Bildgröße für die Modelleingabe (z. B. 640 oder (height, width)).
• quantize: Quantisierungspräzision, wie 8/"int8", 16/"fp16", 32/"fp32" oder die gemischten Gewichts-/Aktivierungsschemata "w8a16" und "w8a32" (LiteRT dynamisches INT8) auf unterstützten Formaten. Siehe Quantisierungsoptionen.
• optimize: Ermöglicht eine höhere Compiler-Optimierung für DEEPX-Exporte.

Für die Bereitstellung auf bestimmten Hardwareplattformen solltest du spezialisierte Exportformate wie TensorRT für NVIDIA-GPUs, CoreML für Apple-Geräte oder Edge TPU für Google Coral-Geräte in Betracht ziehen.

Wenn du ein YOLO-Modell in Formate wie ONNX oder TensorRT exportierst, hängt die Struktur der Ausgangstensoren von der Modellaufgabe ab. Das Verständnis dieser Ausgaben ist wichtig für benutzerdefinierte Inferenzimplementierungen.

Für YOLO26-Erkennungsmodelle (z. B. yolo26n.pt) ist der End-to-End-Export in Formaten, die ihn unterstützen, standardmäßig aktiviert, sodass die Ausgabe wie (batch_size, max_detections, 6) mit [x1, y1, x2, y2, confidence, class_id]-Werten geformt ist. Mit dem Standardwert max_det=300 ist dies normalerweise (batch_size, 300, 6). Einige eingeschränkte Formate greifen automatisch auf das traditionelle Ausgabelayout zurück, wenn End-to-End-Operatoren nicht unterstützt werden.

Für Nicht-End-to-End-Erkennungsmodelle oder YOLO26-Modelle, die mit end2end=False exportiert wurden, ist die Ausgabe typischerweise ein einzelner Tensor, der wie (batch_size, 4 + num_classes, num_predictions) geformt ist, wobei die Kanäle Box-Koordinaten plus Klassen-Scores darstellen und num_predictions von der Export-Eingabeauflösung abhängt (und dynamisch sein kann).

Für Segmentierungsmodelle (z. B. yolo26n-seg.pt) erhältst du normalerweise zwei Ausgaben: den ersten Tensor, geformt wie (batch_size, 4 + num_classes + mask_dim, num_predictions) (Boxen, Klassen-Scores und Maskenkoeffizienten), und den zweiten Tensor, geformt wie (batch_size, mask_dim, proto_h, proto_w), der Maskenprototypen enthält, die mit den Koeffizienten verwendet werden, um Instanzmasken zu generieren. Die Größen hängen von der Export-Eingabeauflösung ab (und können dynamisch sein).

Für Pose-Modelle (z. B. yolo26n-pose.pt) ist der Ausgangstensor typischerweise wie (batch_size, 4 + num_classes + keypoint_dims, num_predictions) geformt, wobei keypoint_dims von der Posespezifikation abhängt (z. B. Anzahl der Keypoints und ob die Konfidenz enthalten ist) und num_predictions von der Export-Eingabeauflösung abhängt (und dynamisch sein kann).

Die Beispiele in den ONNX-Inferenzbeispielen veranschaulichen, wie diese Ausgaben für jeden Modelltyp verarbeitet werden.

Ultralytics bietet derzeit keine dedizierte C++-Inferenz-API für YOLO-Modelle an. Für C++-Bereitstellungen exportiere das Modell in ein Laufzeitformat wie ONNX, TensorRT, TorchScript oder MNN und lade das exportierte Artefakt dann mit der nativen C++-API dieser Laufzeit.

Exportiere beispielsweise ein Erkennungsmodell mit yolo export model=yolo26n.pt format=onnx und führe die .onnx-Datei mit ONNX Runtime C++ aus oder exportiere mit format=engine und führe die TensorRT-Engine aus einer TensorRT C++-Anwendung aus. Wenn du benutzerdefinierte C++-Nachbearbeitung verwendest, passe das Ausgabe-Tensor-Layout an deine Aufgabe und Exporteinstellungen an; YOLO26 End-to-End-Erkennungsexporte geben normalerweise (batch, max_det, 6) zurück, während Nicht-End-to-End-Exporte rohe Vorhersagetensoren zurückgeben, die eine externe Nachbearbeitung erfordern.

Beim Exportieren mit quantize=16 (FP16) oder quantize=8 (INT8) werden die meisten Tensoren in eine niedrigere Präzision konvertiert, um die Modellgröße zu reduzieren und die Leistung zu verbessern. Wenn jedoch end2end=True aktiviert ist, wird die Nachbearbeitung (einschließlich Klassenindizes) direkt in den exportierten Graph eingebettet.

Der output0-Tensor enthält Klassenindizes, die intern als Gleitkommazahlen dargestellt werden. FP16 kann ganzzahlige Werte über 2048 aufgrund seiner begrenzten Mantissenpräzision nicht zuverlässig darstellen. Um einen potenziellen Genauigkeitsverlust oder falsche Klassen-IDs zu vermeiden, wird output0 absichtlich in FP32 gehalten.

Dieses Verhalten ist zu erwarten und gilt auch für Exporte mit niedrigerer Präzision oder Quantisierung, bei denen die Genauigkeit der Klassenindizes erhalten bleiben muss.

Wenn vollständige FP16-Ausgaben erforderlich sind, exportiere mit end2end=False und führe die Nachbearbeitung extern durch.