TensorRT-Export für YOLO26-Modelle#

Das Bereitstellen von computer vision-Modellen in Leistungsumgebungen kann ein Format erfordern, das Geschwindigkeit und Effizienz maximiert. Dies gilt insbesondere dann, wenn du dein Modell auf NVIDIA-GPUs bereitstellst.

Durch die Nutzung des TensorRT-Exportformats kannst du deine Ultralytics YOLO26-Modelle für eine schnelle und effiziente Inferenz auf NVIDIA-Hardware optimieren. Diese Anleitung bietet dir leicht verständliche Schritte für den Konvertierungsprozess und hilft dir, die fortschrittliche Technologie von NVIDIA optimal in deinen deep learning-Projekten zu nutzen.

TensorRT#

TensorRT, entwickelt von NVIDIA, ist ein fortschrittliches Software Development Kit (SDK) für die Hochgeschwindigkeits-Deep-Learning-Inferenz. Es eignet sich hervorragend für Echtzeitanwendungen wie die object detection.

Dieses Toolkit optimiert Deep-Learning-Modelle für NVIDIA GPUs und führt zu schnelleren sowie effizienteren Abläufen. TensorRT-Modelle durchlaufen eine TensorRT-Optimierung, die Techniken wie Layer-Fusion, Präzisionskalibrierung (INT8 und FP16), dynamisches Tensor-Speichermanagement und Kernel-Auto-Tuning umfasst. Die Konvertierung von Deep-Learning-Modellen in das TensorRT-Format ermöglicht es Entwicklern, das volle Potenzial von NVIDIA GPUs auszuschöpfen.

TensorRT ist bekannt für seine Kompatibilität mit verschiedenen Modellformaten, darunter TensorFlow, PyTorch und ONNX, und bietet Entwicklern eine flexible Lösung zur Integration und Optimierung von Modellen aus unterschiedlichen Frameworks. Diese Vielseitigkeit ermöglicht eine effiziente model deployment über diverse Hard- und Softwareumgebungen hinweg.

Hauptmerkmale von TensorRT-Modellen#

TensorRT-Modelle bieten eine Reihe wichtiger Funktionen, die zu ihrer Effizienz und Effektivität bei der Hochgeschwindigkeits-Deep-Learning-Inferenz beitragen:

• Präzisionskalibrierung: TensorRT unterstützt die Präzisionskalibrierung, wodurch Modelle für spezifische Genauigkeitsanforderungen feinabgestimmt werden können. Dies beinhaltet die Unterstützung für Formate mit reduzierter Präzision wie INT8 und FP16, die die Inferenzgeschwindigkeit weiter steigern können, während ein akzeptables Genauigkeitsniveau erhalten bleibt.

• Layer Fusion: Der TensorRT-Optimierungsprozess umfasst das Zusammenlegen von Layern, bei dem mehrere Schichten eines neural network zu einer einzigen Operation kombiniert werden. Dies reduziert den Rechenaufwand und verbessert die Inferenzgeschwindigkeit, indem Speicherzugriffe und Berechnungen minimiert werden.

• Dynamisches Tensor-Speichermanagement: TensorRT verwaltet die Tensorspeichernutzung während der Inferenz effizient, reduziert den Speicher-Overhead und optimiert die Speicherzuweisung. Dies führt zu einer effizienteren GPU-Speichernutzung.

• Automatisches Kernel-Tuning: TensorRT wendet automatisches Kernel-Tuning an, um den am besten optimierten GPU-Kernel für jede Schicht des Modells auszuwählen. Dieser adaptive Ansatz stellt sicher, dass das Modell die Rechenleistung der GPU optimal ausnutzt.

Bereitstellungsoptionen in TensorRT#

Bevor wir uns den Code für den Export von YOLO26-Modellen in das TensorRT-Format ansehen, wollen wir verstehen, wo TensorRT-Modelle normalerweise verwendet werden.

TensorRT bietet mehrere Bereitstellungsoptionen, wobei jede Option das Gleichgewicht zwischen Integrationsfreundlichkeit, Leistungsoptimierung und Flexibilität unterschiedlich gewichtet:

• Bereitstellung in TensorFlow: Diese Methode integriert TensorRT in TensorFlow, sodass optimierte Modelle in einer vertrauten TensorFlow-Umgebung ausgeführt werden können. Sie ist nützlich für Modelle mit einer Mischung aus unterstützten und nicht unterstützten Schichten, da TF-TRT diese effizient verarbeiten kann.

• Eigenständige TensorRT-Runtime-API: Bietet eine granulare Steuerung und ist ideal für leistungskritische Anwendungen. Sie ist komplexer, ermöglicht jedoch die benutzerdefinierte Implementierung nicht unterstützter Operatoren.

• NVIDIA Triton Inference Server: Eine Option, die Modelle verschiedener Frameworks unterstützt. Sie ist besonders für Cloud- oder Edge-Inferenz geeignet und bietet Funktionen wie gleichzeitige Modellausführung und Modellanalyse.

Unterstützte Aufgaben#

Der TensorRT-Export unterstützt alle sieben Ultralytics-Aufgaben. Semantische Segmentierung und Tiefenschätzung sind nur mit YOLO26 verfügbar, der einzigen Familie, die diese Köpfe bereitstellt.

Exportieren von YOLO26-Modellen nach TensorRT#

Du kannst die Ausführungseffizienz verbessern und die Leistung optimieren, indem du YOLO26-Modelle in das TensorRT-Format konvertierst.

Installation#

Um das erforderliche Paket zu installieren, führe Folgendes aus:

# Install the required package for YOLO26
pip install ultralytics

Detaillierte Anweisungen und Best Practices zum Installationsprozess findest du in unserer YOLO26-Installationsanleitung. Solltest du bei der Installation der erforderlichen Pakete für YOLO26 auf Schwierigkeiten stoßen, ziehe unsere Anleitung für häufige Probleme für Lösungen und Tipps heran.

Verwendung#

Bevor du in die Nutzungshinweise eintauchst, solltest du dir unbedingt die Reihe der von Ultralytics angebotenen YOLO26-Modelle ansehen. Dies hilft dir dabei, das am besten geeignete Modell für deine Projektanforderungen auszuwählen.

Das TensorRT-Format unterstützt die Modi Export, Predict und Validate. Für Inferenz und Validierung ist eine NVIDIA-GPU erforderlich. Exportiere dein Modell und lade es anschließend, um die Inferenz auszuführen oder seine Genauigkeit zu validieren.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT format
model.export(format="engine")  # creates 'yolo26n.engine'

from ultralytics import YOLO

# Load the exported TensorRT model
model = YOLO("yolo26n.engine")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported TensorRT model
model = YOLO("yolo26n.engine")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Export-Argumente#

Weitere Details zum Exportprozess findest du auf der Ultralytics-Dokumentationsseite zum Exportieren.

Exportieren von TensorRT mit INT8-Quantisierung#

Das Exportieren von Ultralytics YOLO-Modellen mit TensorRT und INT8-precision führt eine Quantisierung nach dem Training (PTQ) aus. TensorRT verwendet für PTQ eine Kalibrierung, die die Verteilung der Aktivierungen in jedem Aktivierungstensor misst, während das YOLO-Modell die Inferenz an repräsentativen Eingabedaten verarbeitet, und diese Verteilung dann verwendet, um Skalenwerte für jeden Tensor abzuschätzen. Jeder Aktivierungstensor, der für eine Quantisierung in Frage kommt, hat eine zugehörige Skala, die durch einen Kalibrierungsprozess abgeleitet wird.

Bei der Verarbeitung implizit quantisierter Netzwerke nutzt TensorRT INT8 opportunistisch, um die Layer-Ausführungszeit zu optimieren. Wenn eine Schicht in INT8 schneller läuft und zugewiesene Quantisierungsskalen an ihren Dateneingängen und -ausgängen hat, wird dieser Schicht ein Kernel mit INT8-Präzision zugewiesen; andernfalls wählt TensorRT eine Präzision von entweder FP32 oder FP16 für den Kernel, basierend darauf, was für diese Schicht zu einer schnelleren Ausführungszeit führt.

Konfiguration des INT8-Exports#

Die Argumente, die beim export für ein Ultralytics YOLO-Modell angegeben werden, beeinflussen die Leistung des exportierten Modells stark. Sie müssen zudem basierend auf den verfügbaren Geräteressourcen ausgewählt werden, allerdings sollten die Standardargumente für die meisten diskreten NVIDIA-GPUs der Ampere-Architektur (oder neuer) funktionieren. Der verwendete Kalibrierungsalgorithmus ist "MINMAX_CALIBRATION" für GPU-Exporte, während DLA-Exporte auf NVIDIA Jetson "ENTROPY_CALIBRATION_2" verwenden. Weitere Details zu den verfügbaren Optionen kannst du im TensorRT Developer Guide nachlesen. Ultralytics-Tests ergaben, dass "MINMAX_CALIBRATION" die beste Wahl für GPU-Exporte ist, und der Algorithmus wird basierend auf dem Exportgerät automatisch ausgewählt.

• workspace : Steuert die Größe (in GiB) der Gerätespeicherzuweisung während der Konvertierung der Modellgewichte.

  • Passe den Wert von workspace an deine Kalibrierungsanforderungen und die verfügbaren Ressourcen an. Während ein größerer workspace die Kalibrierungszeit verlängern kann, ermöglicht es TensorRT, einen größeren Bereich von Optimierungstaktiken zu untersuchen, was die Modellleistung und -genauigkeit möglicherweise verbessert. Umgekehrt kann ein kleinerer workspace die Kalibrierungszeit verkürzen, aber die Optimierungsstrategien einschränken, was sich auf die Qualität des quantisierten Modells auswirkt.

  • Der Standardwert ist workspace=None, wodurch TensorRT Speicher automatisch zuweisen kann. Bei manueller Konfiguration muss dieser Wert möglicherweise erhöht werden, wenn die Kalibrierung abstürzt (ohne Warnung beendet wird).

  • TensorRT meldet während des Exports UNSUPPORTED_STATE, wenn der Wert für workspace größer ist als der dem Gerät zur Verfügung stehende Speicher, was bedeutet, dass der Wert für workspace verringert oder auf None gesetzt werden sollte.

  • Wenn workspace auf den Maximalwert eingestellt ist und die Kalibrierung fehlschlägt/abstürzt, erwäge die Verwendung von None für die automatische Zuweisung oder reduziere die Werte für imgsz und batch, um den Speicherbedarf zu senken.

  • Denke daran, dass die Kalibrierung für INT8 gerätespezifisch ist; das Ausleihen einer "High-End"-GPU für die Kalibrierung könnte zu einer schlechten Leistung führen, wenn die Inferenz später auf einem anderen Gerät ausgeführt wird.

• batch : Die maximale Batch-Größe, die für die Inferenz verwendet wird. Während der Inferenz können kleinere Batches verwendet werden, aber die Inferenz akzeptiert keine Batches, die größer sind als angegeben.

Experimente von NVIDIA führten zu der Empfehlung, bei der INT8-Quantisierungskalibrierung mindestens 500 Kalibrierungsbilder zu verwenden, die für die Daten deines Modells repräsentativ sind. Dies ist eine Richtlinie und keine strenge Anforderung, und du musst damit experimentieren, was erforderlich ist, um für deinen Datensatz gute Ergebnisse zu erzielen. Da die Kalibrierungsdaten für die INT8-Kalibrierung mit TensorRT erforderlich sind, stelle sicher, dass du das Argument data verwendest, wenn quantize=8 für TensorRT gilt, und verwende data="my_dataset.yaml", wodurch die Bilder aus der validation zur Kalibrierung herangezogen werden. Wenn beim Export nach TensorRT mit INT8-Quantisierung kein Wert für data übergeben wird, wird standardmäßig einer der "kleinen" Beispieldatensätze basierend auf der Modellaufgabe verwendet, anstatt einen Fehler auszugeben.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    quantize=8,
    data="coco.yaml",  # (4)!
)

# Load the exported TensorRT INT8 model
model = YOLO("yolo26n.engine", task="detect")

# Run inference
result = model.predict("https://ultralytics.com/images/bus.jpg")

Vorteile der Nutzung von YOLO mit TensorRT INT8#

• Reduzierte Modellgröße: Die Quantisierung von FP32 auf INT8 kann die Modellgröße um das Vierfache reduzieren (auf der Festplatte oder im Speicher), was zu schnelleren Downloadzeiten, geringerem Speicherbedarf und einem kleineren Speicher-Footprint bei der Bereitstellung eines Modells führt.

• Geringerer Stromverbrauch: Operationen mit reduzierter Präzision für INT8-exportierte YOLO-Modelle können im Vergleich zu FP32-Modellen weniger Strom verbrauchen, insbesondere bei batteriebetriebenen Geräten.

• Verbesserte Inferenzgeschwindigkeiten: TensorRT optimiert das Modell für die Zielhardware, was potenziell zu schnelleren Inferenzgeschwindigkeiten auf GPUs, eingebetteten Geräten und Beschleunigern führt.

Nachteile der Nutzung von YOLO mit TensorRT INT8#

• Abnahmen bei den Evaluierungsmetriken: Die Verwendung einer geringeren Präzision bedeutet, dass mAP, Precision, Recall oder jede andere Metrik zur Bewertung der Modellleistung wahrscheinlich etwas schlechter ausfällt. Sigmoid-Schichten werden auf einer höheren Präzision gehalten, um die Score-Kalibrierung zu bewahren, aber INT8 kann Konfidenzwerte dennoch verschieben, wähle den Betriebsschwellenwert also aus der F1-Kurve des INT8-Modells selbst. Siehe den Abschnitt zu den Leistungsergebnissen, um die Unterschiede in mAP50 und mAP50-95 beim Export mit INT8 auf einer kleinen Stichprobe verschiedener Geräte zu vergleichen.

• Erhöhte Entwicklungszeiten: Das Finden der "optimalen" Einstellungen für die INT8-Kalibrierung je nach Datensatz und Gerät kann eine erhebliche Menge an Tests erfordern.

• Hardwareabhängigkeit: Kalibrierung und Leistungsgewinne können stark hardwareabhängig sein und Modellgewichte sind weniger übertragbar.

Ultralytics YOLO TensorRT Export-Leistung#

NVIDIA A100#

Consumer GPUs#

Embedded-Geräte#

Evaluierungsmethoden#

Erweitere die untenstehenden Abschnitte für Informationen darüber, wie diese Modelle exportiert und getestet wurden.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=16)

# TensorRT INT8 with calibration `data` (i.e. COCO, ImageNet, or DOTAv1 for appropriate model task)
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=8, data="coco8.yaml"
)

import cv2

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 of the same image
        verbose=False,
        device="cuda",
    )

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet, or DOTAv1 for appropriate model task
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

Bereitstellung exportierter YOLO26 TensorRT-Modelle#

Nachdem du deine Ultralytics YOLO26-Modelle erfolgreich in das TensorRT-Format exportiert hast, bist du bereit, sie bereitzustellen. Ausführliche Anweisungen zur Bereitstellung deiner TensorRT-Modelle in verschiedenen Umgebungen findest du in den folgenden Ressourcen:

• Ultralytics mit einem Triton Server bereitstellen: Unser Leitfaden zur Verwendung des Triton Inference Server von NVIDIA (ehemals TensorRT Inference Server) speziell für die Verwendung mit Ultralytics YOLO-Modellen.

• Deep Neural Networks mit NVIDIA TensorRT bereitstellen: Dieser Artikel erklärt, wie man NVIDIA TensorRT verwendet, um Deep Neural Networks effizient auf GPU-basierten Bereitstellungsplattformen bereitzustellen.

• End-to-End-KI für NVIDIA-basierte PCs: NVIDIA TensorRT-Bereitstellung: Dieser Blogbeitrag erklärt die Verwendung von NVIDIA TensorRT zur Optimierung und Bereitstellung von KI-Modellen auf NVIDIA-basierten PCs.

• GitHub-Repository für NVIDIA TensorRT:: Dies ist das offizielle GitHub-Repository, das den Quellcode und die Dokumentation für NVIDIA TensorRT enthält.

Zusammenfassung#

In diesem Leitfaden haben wir uns auf die Konvertierung von Ultralytics YOLO26-Modellen in das NVIDIA TensorRT-Modellformat konzentriert. Dieser Konvertierungsschritt ist entscheidend, um die Effizienz und Geschwindigkeit von YOLO26-Modellen zu verbessern, sie effektiver zu machen und für verschiedene Bereitstellungsumgebungen geeignet zu gestalten.

Weitere Informationen zu den Verwendungsdetails findest du in der offiziellen TensorRT-Dokumentation.

Wenn du neugierig auf weitere Ultralytics YOLO26-Integrationen bist, bietet unsere Integrationsleitfaden-Seite eine umfangreiche Auswahl an informativen Ressourcen und Einblicken.

FAQ#