TensorRT-Export für YOLO11-Modelle

Das Deployment von Computer Vision-Modellen in Umgebungen mit hohen Leistungsanforderungen kann ein Format erfordern, das Geschwindigkeit und Effizienz maximiert. Dies gilt insbesondere, wenn Sie Ihr Modell auf NVIDIA-GPUs bereitstellen.

Durch die Verwendung des TensorRT-Exportformats können Sie Ihre Ultralytics YOLO11-Modelle für eine schnelle und effiziente Inferenz auf NVIDIA-Hardware verbessern. Dieser Leitfaden enthält leicht verständliche Schritte für den Konvertierungsprozess und hilft Ihnen, die fortschrittliche Technologie von NVIDIA in Ihren Deep-Learning-Projekten optimal zu nutzen.

TensorRT

TensorRT, entwickelt von NVIDIA, ist ein fortschrittliches Software Development Kit (SDK), das für High-Speed Deep Learning Inference entwickelt wurde. Es eignet sich gut für Echtzeitanwendungen wie die Objekterkennung.

Dieses Toolkit optimiert Deep-Learning-Modelle für NVIDIA-GPUs und führt zu schnelleren und effizienteren Abläufen. TensorRT-Modelle werden einer TensorRT-Optimierung unterzogen, die Techniken wie Layer-Fusion, Präzisionskalibrierung (INT8 und FP16), dynamisches Tensor-Speichermanagement und Kernel-Auto-Tuning umfasst. Die Konvertierung von Deep-Learning-Modellen in das TensorRT-Format ermöglicht es Entwicklern, das Potenzial von NVIDIA-GPUs voll auszuschöpfen.

TensorRT ist bekannt für seine Kompatibilität mit verschiedenen Modellformaten, darunter TensorFlow, PyTorch und ONNX, und bietet Entwicklern eine flexible Lösung für die Integration und Optimierung von Modellen aus verschiedenen Frameworks. Diese Vielseitigkeit ermöglicht ein effizientes Model Deployment in verschiedenen Hardware- und Softwareumgebungen.

Hauptmerkmale von TensorRT-Modellen

TensorRT-Modelle bieten eine Reihe von Hauptmerkmalen, die zu ihrer Effizienz und Effektivität bei der High-Speed Deep Learning Inference beitragen:

• Präzisionskalibrierung: TensorRT unterstützt die Präzisionskalibrierung, die es ermöglicht, Modelle für spezifische Genauigkeitsanforderungen feinabzustimmen. Dies beinhaltet die Unterstützung für Formate mit reduzierter Präzision wie INT8 und FP16, was die Inferenzgeschwindigkeit weiter erhöhen kann, während akzeptable Genauigkeitswerte beibehalten werden.

• Layer-Fusion: Der TensorRT-Optimierungsprozess beinhaltet die Layer-Fusion, bei der mehrere Layer eines neuronalen Netzes zu einer einzigen Operation zusammengefasst werden. Dies reduziert den Rechenaufwand und verbessert die Inferenzgeschwindigkeit, indem der Speicherzugriff und die Berechnung minimiert werden.

• Dynamisches Tensor-Speichermanagement: TensorRT verwaltet die Tensor-Speichernutzung während der Inferenz effizient, wodurch der Speicher-Overhead reduziert und die Speicherzuweisung optimiert wird. Dies führt zu einer effizienteren Nutzung des GPU-Speichers.

• Automatische Kernel-Optimierung: TensorRT wendet eine automatische Kernel-Optimierung an, um den am besten optimierten GPU-Kernel für jede Schicht des Modells auszuwählen. Dieser adaptive Ansatz stellt sicher, dass das Modell die Rechenleistung der GPUs voll ausschöpft.

Bereitstellungsoptionen in TensorRT

Bevor wir uns den Code zum Exportieren von YOLO11-Modellen in das TensorRT-Format ansehen, wollen wir verstehen, wo TensorRT-Modelle normalerweise verwendet werden.

TensorRT bietet verschiedene Bereitstellungsoptionen, wobei jede Option ein anderes Gleichgewicht zwischen einfacher Integration, Leistungsoptimierung und Flexibilität bietet:

• Bereitstellung innerhalb von TensorFlow: Diese Methode integriert TensorRT in TensorFlow, wodurch optimierte Modelle in einer vertrauten TensorFlow-Umgebung ausgeführt werden können. Sie ist nützlich für Modelle mit einer Mischung aus unterstützten und nicht unterstützten Layern, da TF-TRT diese effizient verarbeiten kann.

• Standalone TensorRT Runtime API: Bietet granulare Kontrolle, ideal für leistungskritische Anwendungen. Sie ist komplexer, ermöglicht aber die benutzerdefinierte Implementierung von nicht unterstützten Operatoren.

• NVIDIA Triton Inference Server: Eine Option, die Modelle aus verschiedenen Frameworks unterstützt. Besonders geeignet für Cloud- oder Edge-Inference, bietet sie Funktionen wie die gleichzeitige Modellausführung und Modellanalyse.

Exportieren von YOLO11-Modellen nach TensorRT

Sie können die Ausführungseffizienz verbessern und die Leistung optimieren, indem Sie YOLO11-Modelle in das TensorRT-Format konvertieren.

Installation

Um das erforderliche Paket zu installieren, führen Sie Folgendes aus:

# Install the required package for YOLO11
pip install ultralytics

Detaillierte Anweisungen und Best Practices zum Installationsprozess finden Sie in unserem YOLO11 Installationshandbuch. Wenn Sie bei der Installation der erforderlichen Pakete für YOLO11 auf Schwierigkeiten stoßen, konsultieren Sie unseren Leitfaden zu häufigen Problemen für Lösungen und Tipps.

Nutzung

Bevor Sie sich mit den Anwendungsanweisungen befassen, sollten Sie sich das Angebot an YOLO11-Modellen von Ultralytics ansehen. Dies wird Ihnen helfen, das am besten geeignete Modell für Ihre Projektanforderungen auszuwählen.

from ultralytics import YOLO

# Load the YOLO11 model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT format
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
tensorrt_model = YOLO("yolo11n.engine")

# Run inference
results = tensorrt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine # creates 'yolo11n.engine''

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

Export-Argumente

Weitere Informationen zum Exportprozess finden Sie auf der Ultralytics-Dokumentationsseite zum Exportieren.

Exportieren von TensorRT mit INT8-Quantisierung

Das Exportieren von Ultralytics YOLO-Modellen mit TensorRT unter Verwendung von INT8 Präzision führt eine Post-Training-Quantisierung (PTQ) durch. TensorRT verwendet die Kalibrierung für PTQ, welche die Verteilung der Aktivierungen innerhalb jedes Aktivierungs-Tensors misst, während das YOLO-Modell Inference auf repräsentativen Eingangsdaten verarbeitet, und verwendet dann diese Verteilung, um Skalierungswerte für jeden Tensor zu schätzen. Jeder Aktivierungs-Tensor, der ein Kandidat für die Quantisierung ist, hat eine zugeordnete Skala, die durch einen Kalibrierungsprozess abgeleitet wird.

Bei der Verarbeitung von implizit quantisierten Netzwerken verwendet TensorRT INT8 opportunistisch, um die Ausführungszeit der Layer zu optimieren. Wenn ein Layer in INT8 schneller läuft und seinen Dateneingängen und -ausgängen Quantisierungsskalen zugewiesen wurden, wird diesem Layer ein Kernel mit INT8-Präzision zugewiesen. Andernfalls wählt TensorRT eine Präzision von entweder FP32 oder FP16 für den Kernel, basierend darauf, was zu einer schnelleren Ausführungszeit für diesen Layer führt.

Konfigurieren des INT8-Exports

Die Argumente, die bei der Verwendung von exportieren für ein Ultralytics YOLO-Modell angegeben werden, werden stark die Leistung des exportierten Modells beeinflussen. Sie müssen auch basierend auf den verfügbaren Geräteressourcen ausgewählt werden, aber die Standardargumente sollten für die meisten diskreten NVIDIA GPUs vom Typ Ampere (oder neuer)funktionieren. Der verwendete Kalibrierungsalgorithmus ist "MINMAX_CALIBRATION" und Sie können weitere Details zu den verfügbaren Optionen lesen im TensorRT Developer Guide. Ultralytics-Tests haben ergeben, dass "MINMAX_CALIBRATION" die beste Wahl war und Exporte sind fest auf die Verwendung dieses Algorithmus eingestellt.

• workspace : Steuert die Größe (in GiB) der Gerätespeicherzuweisung während der Konvertierung der Modellgewichte.

  • Passen Sie den workspace Wert entsprechend Ihren Kalibrierungsanforderungen und der Ressourcenverfügbarkeit an. Während ein größerer workspace Wert die Kalibrierungszeit verlängern kann, ermöglicht er TensorRT, eine größere Bandbreite an Optimierungstaktiken zu untersuchen, was potenziell die Modellleistung und Genauigkeitverbessert. Umgekehrt kann ein kleinerer workspace Wert die Kalibrierungszeit verkürzen, aber die Optimierungsstrategien einschränken, was die Qualität des quantisierten Modells beeinträchtigen kann.

  • Standard ist workspace=None, wodurch TensorRT automatisch Speicher zuweisen kann. Bei der manuellen Konfiguration muss dieser Wert möglicherweise erhöht werden, wenn die Kalibrierung abstürzt (ohne Warnung beendet wird).

  • TensorRT meldet UNSUPPORTED_STATE während des Exports, wenn der Wert für workspace größer ist als der dem Gerät zur Verfügung stehende Speicher. Dies bedeutet, dass der Wert für workspace sollte gesenkt oder auf den Wert None.

  • Wenn workspace ist auf den Maximalwert eingestellt und die Kalibrierung schlägt fehl bzw. stürzt ab. Erwägen Sie die Verwendung von None zur automatischen Zuweisung oder durch Reduzierung der Werte für imgsz und batch verringert werden muss, um den Speicherbedarf zu reduzieren.

  • Denken Sie daran, dass die Kalibrierung für INT8 spezifisch für jedes Gerät ist. Die Verwendung einer "High-End"-GPU für die Kalibrierung kann zu einer schlechten Leistung führen, wenn die Inferenz auf einem anderen Gerät ausgeführt wird.

• batch : Die maximale Batch-Größe, die für die Inferenz verwendet wird. Während der Inferenz können kleinere Batches verwendet werden, aber die Inferenz akzeptiert keine Batches, die größer sind als die angegebene Größe.

Experimente von NVIDIA haben ergeben, dass mindestens 500 Kalibrierungsbilder empfohlen werden, die für Ihr Modell repräsentativ sind, mit INT8-Quantisierungskalibrierung. Dies ist eine Richtlinie und keine harte Anforderung, und Sie müssen experimentieren, um herauszufinden, was für Ihr Dataset erforderlich ist, um eine gute Leistung zu erzielen. Da die Kalibrierungsdaten für die INT8-Kalibrierung mit TensorRT erforderlich sind, stellen Sie sicher, dass Sie das data Argument verwenden, wenn int8=True für TensorRT und verwenden Sie data="my_dataset.yaml", wodurch die Bilder aus der Validierung zur Kalibrierung verwendet werden. Wenn kein Wert für data übergeben wird, wird beim Export nach TensorRT mit INT8-Quantisierung standardmäßig eines der "kleinen" Beispieldatensätze basierend auf der Modellaufgabe verwendet. anstatt einen Fehler auszugeben.

from ultralytics import YOLO

model = YOLO("yolov8n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    int8=True,
    data="coco.yaml",  # (4)!
)

# Load the exported TensorRT INT8 model
model = YOLO("yolov8n.engine", task="detect")

# Run inference
result = model.predict("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format with INT8 quantization
yolo export model=yolo11n.pt format=engine batch=8 workspace=4 int8=True data=coco.yaml # creates 'yolov8n.engine''

# Run inference with the exported TensorRT quantized model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

Vorteile der Verwendung von YOLO mit TensorRT INT8

• Reduzierte Modellgröße: Die Quantisierung von FP32 zu INT8 kann die Modellgröße um das Vierfache reduzieren (auf der Festplatte oder im Speicher), was zu schnelleren Downloadzeiten, geringeren Speicheranforderungen und einem reduzierten Speicherbedarf beim Bereitstellen eines Modells führt.

• Geringerer Stromverbrauch: Operationen mit reduzierter Präzision für INT8-exportierte YOLO-Modelle können weniger Strom verbrauchen als FP32-Modelle, insbesondere bei batteriebetriebenen Geräten.

• Verbesserte Inferenzgeschwindigkeiten: TensorRT optimiert das Modell für die Zielhardware, was potenziell zu schnelleren Inferenzgeschwindigkeiten auf GPUs, eingebetteten Geräten und Beschleunigern führt.

Nachteile der Verwendung von YOLO mit TensorRT INT8

• Verringerung der Evaluationsmetriken: Die Verwendung einer niedrigeren Präzision bedeutet dies mAP, Precision, Recall oder irgendein andere Metrik zur Bewertung der Modellleistung ist wahrscheinlich etwas schlechter. Siehe den Abschnitt Performance-Ergebnisse um die Unterschiede in mAP50 und mAP50-95 beim Exportieren mit INT8 auf einer kleinen Stichprobe verschiedener Geräte zu vergleichen.

• Erhöhte Entwicklungszeiten: Das Finden der „optimalen“ Einstellungen für die INT8-Kalibrierung für Datensatz und Gerät kann eine erhebliche Testzeit in Anspruch nehmen.

• Hardware-Abhängigkeit: Kalibrierungs- und Leistungsgewinne können stark hardwareabhängig sein, und Modellgewichte sind weniger übertragbar.

Ultralytics YOLO TensorRT Export Leistung

NVIDIA A100

Consumer-GPUs

Eingebettete Geräte

Evaluierungsmethoden

Erweitern Sie die folgenden Abschnitte, um Informationen darüber zu erhalten, wie diese Modelle exportiert und getestet wurden.

from ultralytics import YOLO

model = YOLO("yolov8n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, half=True)

# TensorRT INT8 with calibration `data` (i.e. COCO, ImageNet, or DOTAv1 for appropriate model task)
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, int8=True, data="coco8.yaml"
)

import cv2

from ultralytics import YOLO

model = YOLO("yolov8n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 of the same image
        verbose=False,
        device="cuda",
    )

from ultralytics import YOLO

model = YOLO("yolov8n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet, or DOTAv1 for appropriate model task
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

Bereitstellung exportierter YOLO11 TensorRT-Modelle

Nachdem Sie Ihre Ultralytics YOLO11-Modelle erfolgreich in das TensorRT-Format exportiert haben, können Sie sie nun bereitstellen. Detaillierte Anweisungen zur Bereitstellung Ihrer TensorRT-Modelle in verschiedenen Umgebungen finden Sie in den folgenden Ressourcen:

• Ultralytics mit einem Triton Server bereitstellen: Unsere Anleitung zur Verwendung des NVIDIA Triton Inference Servers (ehemals TensorRT Inference Server) speziell für die Verwendung mit Ultralytics YOLO Modellen.

• Deep Neural Networks mit NVIDIA TensorRT bereitstellen: Dieser Artikel erklärt, wie NVIDIA TensorRT verwendet wird, um Deep Neural Networks effizient auf GPU-basierten Bereitstellungsplattformen bereitzustellen.

• End-to-End KI für NVIDIA-basierte PCs: NVIDIA TensorRT Bereitstellung: Dieser Blog-Beitrag erklärt die Verwendung von NVIDIA TensorRT zur Optimierung und Bereitstellung von KI-Modellen auf NVIDIA-basierten PCs.

• GitHub Repository für NVIDIA TensorRT:: Dies ist das offizielle GitHub-Repository, das den Quellcode und die Dokumentation für NVIDIA TensorRT enthält.

Zusammenfassung

In dieser Anleitung haben wir uns auf die Konvertierung von Ultralytics YOLO11-Modellen in das TensorRT-Modellformat von NVIDIA konzentriert. Dieser Konvertierungsschritt ist entscheidend, um die Effizienz und Geschwindigkeit von YOLO11-Modellen zu verbessern, wodurch sie effektiver und für verschiedene Einsatzumgebungen geeignet werden.

Weitere Informationen zu den Nutzungsdetails finden Sie in der offiziellen TensorRT-Dokumentation.

Wenn Sie mehr über zusätzliche Ultralytics YOLO11-Integrationen erfahren möchten, bietet unsere Seite mit dem Integrationsleitfaden eine umfangreiche Auswahl an informativen Ressourcen und Einblicken.

FAQ

Wie konvertiere ich YOLO11-Modelle in das TensorRT-Format?

Um Ihre Ultralytics YOLO11 Modelle in das TensorRT-Format für optimierte NVIDIA GPU-Inferenz zu konvertieren, befolgen Sie diese Schritte:

1. Installieren Sie das erforderliche Paket:

   pip install ultralytics
   

2. Exportieren Sie Ihr YOLO11-Modell:

   from ultralytics import YOLO
   
   model = YOLO("yolo11n.pt")
   model.export(format="engine")  # creates 'yolo11n.engine'
   
   # Run inference
   model = YOLO("yolo11n.engine")
   results = model("https://ultralytics.com/images/bus.jpg")
   

Weitere Informationen finden Sie im YOLO11-Installationsleitfaden und in der Exportdokumentation.

Welche Vorteile bietet die Verwendung von TensorRT für YOLO11-Modelle?

Die Verwendung von TensorRT zur Optimierung von YOLO11-Modellen bietet mehrere Vorteile:

• Schnellere Inferenzgeschwindigkeit: TensorRT optimiert die Modellebenen und verwendet Präzisionskalibrierung (INT8 und FP16), um die Inferenz zu beschleunigen, ohne die Genauigkeit wesentlich zu beeinträchtigen.
• Speichereffizienz: TensorRT verwaltet den tensor Speicher dynamisch, wodurch der Overhead reduziert und die GPU-Speichernutzung verbessert wird.
• Layer Fusion: Kombiniert mehrere Layer zu einzelnen Operationen, wodurch die Rechenkomplexität reduziert wird.
• Kernel Auto-Tuning: Wählt automatisch optimierte GPU-Kernel für jede Modellebene aus, um maximale Leistung zu gewährleisten.

Um mehr zu erfahren, erkunden Sie die offizielle TensorRT-Dokumentation von NVIDIA und unsere detaillierte TensorRT-Übersicht.

Kann ich INT8-Quantisierung mit TensorRT für YOLO11-Modelle verwenden?

Ja, Sie können YOLO11-Modelle mit TensorRT mit INT8-Quantisierung exportieren. Dieser Prozess umfasst die Post-Training-Quantisierung (PTQ) und Kalibrierung:

1. Export mit INT8:

   from ultralytics import YOLO
   
   model = YOLO("yolov8n.pt")
   model.export(format="engine", batch=8, workspace=4, int8=True, data="coco.yaml")
   

2. Inferenz ausführen:

   from ultralytics import YOLO
   
   model = YOLO("yolov8n.engine", task="detect")
   result = model.predict("https://ultralytics.com/images/bus.jpg")
   

Weitere Informationen finden Sie im Abschnitt zum Exportieren von TensorRT mit INT8-Quantisierung.

Wie stelle ich YOLO11 TensorRT-Modelle auf einem NVIDIA Triton Inference Server bereit?

Die Bereitstellung von YOLO11 TensorRT-Modellen auf einem NVIDIA Triton Inference Server kann mithilfe der folgenden Ressourcen erfolgen:

• Ultralytics YOLOv8 mit Triton Server bereitstellen: Schritt-für-Schritt-Anleitung zur Einrichtung und Verwendung des Triton Inference Servers.
• NVIDIA Triton Inference Server Dokumentation: Offizielle NVIDIA-Dokumentation für detaillierte Bereitstellungsoptionen und -konfigurationen.

Diese Anleitungen helfen Ihnen, YOLOv8-Modelle effizient in verschiedene Bereitstellungsumgebungen zu integrieren.

Welche Leistungsverbesserungen werden bei YOLOv8-Modellen beobachtet, die nach TensorRT exportiert wurden?

Die Leistungsverbesserungen mit TensorRT können je nach verwendeter Hardware variieren. Hier sind einige typische Benchmarks:

• NVIDIA A100:

  • FP32 Inferenz: ~0,52 ms / Bild
  • FP16 Inferenz: ~0,34 ms / Bild
  • INT8 Inferenz: ~0,28 ms / Bild
  • Geringfügige Reduzierung der mAP mit INT8-Präzision, aber deutliche Verbesserung der Geschwindigkeit.

• Consumer-GPUs (z. B. RTX 3080):

  • FP32 Inferenz: ~1,06 ms / Bild
  • FP16 Inferenz: ~0,62 ms / Bild
  • INT8 Inferenz: ~0,52 ms / Bild

Detaillierte Performance-Benchmarks für verschiedene Hardwarekonfigurationen finden Sie im Performance-Bereich.

Für umfassendere Einblicke in die TensorRT-Performance konsultieren Sie die Ultralytics-Dokumentation und unsere Performance-Analyseberichte.

📅 Erstellt vor 1 Jahr ✏️ Aktualisiert vor 2 Monaten

Kommentare