TensorRT-Export für YOLO26-Modelle#

Die Bereitstellung von Computer-Vision-Modellen in Hochleistungsumgebungen kann ein Format erfordern, das Geschwindigkeit und Effizienz maximiert. Das gilt insbesondere, wenn du dein Modell auf NVIDIA GPUs bereitstellst.

Mit dem TensorRT-Exportformat kannst du deine Ultralytics YOLO26-Modelle für schnelle und effiziente Inferenz auf NVIDIA-Hardware optimieren. Dieser Leitfaden führt dich mit leicht nachvollziehbaren Schritten durch den Konvertierungsprozess und hilft dir, die fortschrittliche Technologie von NVIDIA in deinen Deep-Learning-Projekten optimal zu nutzen.

TensorRT#

TensorRT wurde von NVIDIA entwickelt und ist ein fortschrittliches Software Development Kit (SDK) für schnelle Deep-Learning-Inferenz. Es eignet sich besonders für Echtzeitanwendungen wie die Objekterkennung.

Dieses Toolkit optimiert Deep-Learning-Modelle für NVIDIA GPUs und ermöglicht dadurch schnellere und effizientere Abläufe. TensorRT-Modelle durchlaufen eine TensorRT-Optimierung, die Techniken wie Layer-Fusion, Präzisionskalibrierung (INT8 und FP16), dynamische Tensor-Speicherverwaltung und automatische Kernel-Optimierung umfasst. Durch die Konvertierung von Deep-Learning-Modellen in das TensorRT-Format können Entwickler das Potenzial von NVIDIA GPUs vollständig ausschöpfen.

TensorRT ist für seine Kompatibilität mit verschiedenen Modellenformaten bekannt, darunter TensorFlow, PyTorch und ONNX. Dadurch erhalten Entwickler eine flexible Lösung zur Integration und Optimierung von Modellen aus unterschiedlichen Frameworks. Diese Vielseitigkeit ermöglicht eine effiziente Modellbereitstellung in verschiedenen Hardware- und Softwareumgebungen.

Wichtige Funktionen von TensorRT-Modellen#

TensorRT-Modelle bieten eine Reihe wichtiger Funktionen, die zu ihrer Effizienz und Leistungsfähigkeit bei der schnellen Deep-Learning-Inferenz beitragen:

• Präzisionskalibrierung: TensorRT unterstützt die Präzisionskalibrierung, sodass Modelle auf bestimmte Genauigkeitsanforderungen abgestimmt werden können. Dazu gehört die Unterstützung von Formaten mit reduzierter Präzision wie INT8 und FP16, die die Inferenzgeschwindigkeit weiter erhöhen können, während akzeptable Genauigkeitswerte erhalten bleiben.

• Layer-Fusion: Der TensorRT-Optimierungsprozess umfasst die Layer-Fusion, bei der mehrere Layer eines neuronalen Netzes zu einer einzigen Operation zusammengefasst werden. Dadurch werden der Rechenaufwand reduziert und die Inferenzgeschwindigkeit erhöht, da weniger Speicherzugriffe und Berechnungen erforderlich sind.

• Dynamische Tensor-Speicherverwaltung: TensorRT verwaltet die Verwendung des Tensor-Speichers während der Inferenz effizient, reduziert den Speicher-Overhead und optimiert die Speicherzuweisung. Dadurch wird der GPU-Speicher effizienter genutzt.

• Automatische Kernel-Optimierung: TensorRT wendet eine automatische Kernel-Optimierung an, um für jeden Layer des Modells den am besten optimierten GPU-Kernel auszuwählen. Dieser adaptive Ansatz stellt sicher, dass das Modell die Rechenleistung der GPU vollständig nutzt.

Bereitstellungsoptionen in TensorRT#

Bevor wir uns den Code zum Exportieren von YOLO26-Modellen in das TensorRT-Format ansehen, klären wir zunächst, wo TensorRT-Modelle normalerweise eingesetzt werden.

TensorRT bietet mehrere Bereitstellungsoptionen. Jede davon stellt ein anderes Gleichgewicht zwischen einfacher Integration, Leistungsoptimierung und Flexibilität her:

• Bereitstellung in TensorFlow: Bei dieser Methode wird TensorRT in TensorFlow integriert, sodass optimierte Modelle in einer vertrauten TensorFlow-Umgebung ausgeführt werden können. Sie eignet sich für Modelle mit einer Mischung aus unterstützten und nicht unterstützten Layern, da TF-TRT diese effizient verarbeiten kann.

• Eigenständige TensorRT Runtime API: Bietet eine detaillierte Kontrolle und eignet sich ideal für leistungs​​kritische Anwendungen. Sie ist komplexer, ermöglicht aber eine individuelle Implementierung nicht unterstützter Operatoren.

• NVIDIA Triton Inference Server: Eine Option, die Modelle aus verschiedenen Frameworks unterstützt. Sie eignet sich besonders für Inferenz in der Cloud oder am Rand und bietet Funktionen wie die gleichzeitige Ausführung mehrerer Modelle und die Modellanalyse.

Unterstützte Aufgaben#

Der TensorRT-Export unterstützt alle sieben Ultralytics-Aufgaben. Semantische Segmentierung und Tiefenschätzung sind nur mit YOLO26 verfügbar, der einzigen Modellfamilie, die diese Ausgabeköpfe enthält.

YOLO26-Modelle in TensorRT exportieren#

Du kannst die Ausführungseffizienz verbessern und die Leistung optimieren, indem du YOLO26-Modelle in das TensorRT-Format konvertierst.

Installation#

Führe zur Installation des erforderlichen Pakets folgenden Befehl aus:

# Install the required package for YOLO26
pip install ultralytics

Ausführliche Anweisungen und bewährte Vorgehensweisen zur Installation findest du in unserem YOLO26-Installationsleitfaden. Falls bei der Installation der für YOLO26 erforderlichen Pakete Probleme auftreten, findest du in unserem Leitfaden zu häufigen Problemen Lösungen und Tipps.

Verwendung#

Bevor du mit den Nutzungsanweisungen beginnst, sieh dir unbedingt die Auswahl an YOLO26-Modellen von Ultralytics an. So kannst du das für deine Projektanforderungen am besten geeignete Modell auswählen.

Das TensorRT-Format unterstützt die Modi Export, Predict und Validate. Für Inferenz und Validierung ist eine NVIDIA GPU erforderlich. Exportiere dein Modell und lade anschließend das exportierte Modell, um Inferenz auszuführen oder seine Genauigkeit zu validieren.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT format
model.export(format="engine")  # creates 'yolo26n.engine'

from ultralytics import YOLO

# Load the exported TensorRT model
model = YOLO("yolo26n.engine")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported TensorRT model
model = YOLO("yolo26n.engine")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Exportargumente#

Weitere Informationen zum Exportvorgang findest du auf der Ultralytics-Dokumentationsseite zum Export.

TensorRT-Export mit INT8-Quantisierung#

Das Exportieren von Ultralytics YOLO-Modellen mit TensorRT und INT8-Präzision führt eine Post-Training-Quantization (PTQ) durch. TensorRT verwendet die Kalibrierung für PTQ, die die Verteilung von Aktivierungen innerhalb jedes Aktivierungstensors misst, während das YOLO-Modell die Inferenz an repräsentativen Eingabedaten verarbeitet, und diese Verteilung dann verwendet, um Skalenwerte für jeden Aktivierungstensor zu schätzen. Jeder Aktivierungstensor, der ein Kandidat für die Quantisierung ist, hat eine zugehörige Skale, die durch einen Kalibrierungsprozess abgeleitet wird. Ein mit quantize=8 durch Quantization-Aware Training feinabgestimmter Checkpoint enthält bereits seine INT8-Bereiche, sodass sein Export diese verwendet und die Kalibrierung überspringt.

Bei der Verarbeitung implizit quantisierter Netzwerke verwendet TensorRT INT8 opportunistisch, um die Ausführungszeit von Layern zu optimieren. Wenn ein Layer mit INT8 schneller ausgeführt wird und seinen Dateneingaben und -ausgaben Quantisierungsskalen zugewiesen sind, wird diesem Layer ein Kernel mit INT8-Präzision zugewiesen. Andernfalls wählt TensorRT für den Kernel je nach schnellerer Ausführung für diesen Layer entweder FP32 oder FP16.

INT8-Export konfigurieren#

Die Argumente, die beim Export eines Ultralytics-YOLO-Modells angegeben werden, beeinflussen die Leistung des exportierten Modells maßgeblich. Sie müssen außerdem anhand der verfügbaren Geräteressourcen ausgewählt werden. Die Standardargumente sollten jedoch für die meisten diskreten NVIDIA GPUs der Ampere-Generation (oder neuer) funktionieren. Für GPU-Exporte wird der Kalibrierungsalgorithmus "MINMAX_CALIBRATION" verwendet, während DLA-Exporte auf NVIDIA Jetson "ENTROPY_CALIBRATION_2" verwenden. Weitere Einzelheiten zu den verfügbaren Optionen findest du im TensorRT Developer Guide. Tests von Ultralytics haben ergeben, dass "MINMAX_CALIBRATION" die beste Wahl für GPU-Exporte ist. Der Algorithmus wird abhängig vom Exportgerät automatisch ausgewählt.

• workspace : Steuert die Größe (in GiB) der Gerätespeicherzuweisung während der Konvertierung der Modellgewichte.

  • Passe den Wert von workspace an deine Kalibrierungsanforderungen und die verfügbaren Ressourcen an. Ein größerer Wert für workspace kann zwar die Kalibrierungszeit erhöhen, ermöglicht TensorRT aber, einen größeren Bereich an Optimierungsstrategien zu untersuchen, was die Modellleistung und Genauigkeit verbessern kann. Ein kleinerer Wert für workspace kann dagegen die Kalibrierungszeit verkürzen, aber die Optimierungsstrategien einschränken und dadurch die Qualität des quantisierten Modells beeinträchtigen.

  • Der Standardwert ist workspace=None. Damit kann TensorRT den Speicher automatisch zuweisen. Bei manueller Konfiguration muss dieser Wert möglicherweise erhöht werden, wenn die Kalibrierung abstürzt, also ohne Warnung beendet wird.

  • TensorRT meldet beim Export UNSUPPORTED_STATE, wenn der Wert für workspace größer ist als der verfügbare Gerätespeicher. In diesem Fall sollte der Wert für workspace verringert oder auf None gesetzt werden.

  • Wenn workspace auf den Maximalwert gesetzt ist und die Kalibrierung fehlschlägt oder abstürzt, solltest du None für die automatische Speicherzuweisung verwenden oder die Werte für imgsz und batch verringern, um den Speicherbedarf zu reduzieren.

  • Denke daran: Die Kalibrierung für INT8 ist gerätespezifisch. Wenn du für die Kalibrierung eine „High-End“-GPU verwendest, kann dies zu einer schlechten Leistung führen, wenn die Inferenz auf einem anderen Gerät ausgeführt wird.

• batch : Die maximale Batchgröße, die für die Inferenz verwendet wird. Während der Inferenz können kleinere Batches verwendet werden, größere Batches als der angegebene Wert werden jedoch nicht akzeptiert.

Experimente von NVIDIA führten dazu, dass sie empfehlen, mindestens 500 Kalibrierungsbilder zu verwenden, die für die Daten deines Modells repräsentativ sind, bei INT8-Quantisierungskalibrierung. Dies ist eine Richtlinie und keine strenge Anforderung, und du wirst experimentieren müssen, was erforderlich ist, um für dein Dataset eine gute Leistung zu erzielen. Da die Kalibrierungsdaten für die INT8-Kalibrierung mit TensorRT erforderlich sind, stelle sicher, dass du das Argument data verwendest, wenn du einen Checkpoint exportierst, der nicht mit quantize=8 (Post-Training-Quantization) bei quantize=8 für TensorRT trainiert wurde, und verwende data="my_dataset.yaml", wodurch die Bilder aus der Validierung zum Kalibrieren verwendet werden. Ein mit quantize=8 trainierter Checkpoint überspringt die Kalibrierung, lasse data daher für ihn weg. Wenn für data beim Export nach TensorRT mit INT8-Quantisierung kein Wert übergeben wird, besteht das Standardverhalten darin, eines der "kleinen" Beispieldatasets basierend auf der Modellaufgabe zu verwenden, anstatt einen Fehler auszugeben.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    quantize=8,
    data="coco.yaml",  # (4)!
)

# Load the exported TensorRT INT8 model
model = YOLO("yolo26n.engine", task="detect")

# Run inference
result = model.predict("https://ultralytics.com/images/bus.jpg")

Vorteile der Verwendung von YOLO mit TensorRT INT8#

• Kleinere Modellgröße: Die Quantisierung von FP32 auf INT8 kann die Modellgröße um den Faktor 4 reduzieren (auf dem Datenträger oder im Speicher). Dadurch werden Downloadzeiten und Speicherbedarf verringert und der Speicherbedarf bei der Bereitstellung eines Modells reduziert.

• Geringerer Energieverbrauch: Operationen mit reduzierter Präzision für exportierte YOLO-Modelle mit INT8 können im Vergleich zu FP32-Modellen weniger Energie verbrauchen, insbesondere auf batteriebetriebenen Geräten.

• Höhere Inferenzgeschwindigkeit: TensorRT optimiert das Modell für die Zielhardware, was zu höheren Inferenzgeschwindigkeiten auf GPUs, eingebetteten Geräten und Beschleunigern führen kann.

Nachteile der Verwendung von YOLO mit TensorRT INT8#

• Verschlechterung von Bewertungsmetriken: Die Verwendung einer geringeren Präzision bedeutet, dass mAP, Precision, Recall oder jede andere zur Bewertung der Modellleistung verwendete Metrik wahrscheinlich etwas schlechter ausfällt. Sigmoid-Layer werden mit höherer Präzision beibehalten, um die Kalibrierung der Scores zu erhalten. INT8 kann jedoch weiterhin Konfidenzwerte verschieben. Wähle den Betriebsschwellenwert daher anhand der F1-Kurve des INT8-Modells selbst. Im Abschnitt Leistungsergebnisse kannst du die Unterschiede bei mAP50 und mAP50-95 vergleichen, wenn du mit INT8 auf einer kleinen Stichprobe verschiedener Geräte exportierst.

• Längere Entwicklungszeiten: Die Suche nach den „optimalen“ Einstellungen für die INT8-Kalibrierung für einen Datensatz und ein Gerät kann umfangreiche Tests erfordern.

• Hardwareabhängigkeit: Kalibrierung und Leistungssteigerungen können stark von der Hardware abhängen, und Modellgewichte lassen sich weniger gut übertragen.

Leistung des Ultralytics YOLO TensorRT-Exports#

NVIDIA A100#

Consumer-GPUs#

Eingebettete Geräte#

Evaluierungsmethoden#

Erweitere die folgenden Abschnitte, um Informationen darüber zu erhalten, wie diese Modelle exportiert und getestet wurden.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=16)

# TensorRT INT8 with calibration `data` (i.e. COCO, ImageNet, or DOTAv1 for appropriate model task)
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=8, data="coco8.yaml"
)

import cv2

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 of the same image
        verbose=False,
        device="cuda",
    )

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet, or DOTAv1 for appropriate model task
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

Bereitstellung exportierter YOLO26-TensorRT-Modelle#

Nachdem du deine Ultralytics-YOLO26-Modelle erfolgreich in das TensorRT-Format exportiert hast, kannst du sie jetzt bereitstellen. Ausführliche Anleitungen zur Bereitstellung deiner TensorRT-Modelle in verschiedenen Umgebungen findest du in den folgenden Ressourcen:

• Ultralytics mit einem Triton-Server bereitstellen: Unsere Anleitung zur Verwendung des NVIDIA Triton Inference Server (früher TensorRT Inference Server), speziell für den Einsatz mit Ultralytics-YOLO-Modellen.

• Tiefe neuronale Netze mit NVIDIA TensorRT bereitstellen: Dieser Artikel erklärt, wie du NVIDIA TensorRT effizient zur Bereitstellung tiefer neuronaler Netze auf GPU-basierten Bereitstellungsplattformen verwendest.

• Durchgängige KI für PCs mit NVIDIA: Bereitstellung mit NVIDIA TensorRT: Dieser Blogbeitrag erklärt die Verwendung von NVIDIA TensorRT zur Optimierung und Bereitstellung von KI-Modellen auf PCs mit NVIDIA.

• GitHub-Repository für NVIDIA TensorRT: Dies ist das offizielle GitHub-Repository, das den Quellcode und die Dokumentation für NVIDIA TensorRT enthält.

Zusammenfassung#

In dieser Anleitung haben wir uns auf die Konvertierung von Ultralytics-YOLO26-Modellen in das NVIDIA-TensorRT-Modellformat konzentriert. Dieser Konvertierungsschritt ist entscheidend, um die Effizienz und Geschwindigkeit von YOLO26-Modellen zu verbessern und sie dadurch für verschiedene Bereitstellungsumgebungen geeigneter und leistungsfähiger zu machen.

Weitere Informationen zu den Nutzungsdetails findest du in der offiziellen TensorRT-Dokumentation.

Wenn du dich für weitere Ultralytics-YOLO26-Integrationen interessierst, bietet unsere Integrationsübersichtsseite eine umfangreiche Auswahl an informativen Ressourcen und Einblicken.

FAQ#