TensorRT Export for YOLO11 Models

La distribuzione di modelli di computer vision in ambienti ad alte prestazioni può richiedere un formato che massimizzi la velocità e l'efficienza. Questo è particolarmente vero quando il modello viene distribuito su GPU NVIDIA .

By using the TensorRT export format, you can enhance your Ultralytics YOLO11 models for swift and efficient inference on NVIDIA hardware. This guide will give you easy-to-follow steps for the conversion process and help you make the most of NVIDIA's advanced technology in your deep learning projects.

TensorRT

TensorRT, sviluppato da NVIDIA, è un kit di sviluppo software (SDK) avanzato progettato per l'inferenza di apprendimento profondo ad alta velocità. È adatto ad applicazioni in tempo reale come il rilevamento di oggetti.

Questo toolkit ottimizza i modelli di deep learning per le GPU NVIDIA e consente di ottenere operazioni più rapide ed efficienti. I modelli TensorRT sono sottoposti all'ottimizzazione TensorRT , che comprende tecniche come la fusione dei livelli, la calibrazione della precisione (INT8 e FP16), la gestione dinamica della memoria tensor e l'autotuning del kernel. La conversione dei modelli di deep learning nel formato TensorRT consente agli sviluppatori di sfruttare appieno il potenziale delle GPU NVIDIA .

TensorRT è noto per la sua compatibilità con diversi formati di modelli, tra cui TensorFlow, PyTorch, e ONNX, offrendo agli sviluppatori una soluzione flessibile per l'integrazione e l'ottimizzazione di modelli provenienti da framework diversi. Questa versatilità consente una distribuzione efficiente dei modelli in diversi ambienti hardware e software.

Caratteristiche principali dei modelli TensorRT

TensorRT offrono una serie di caratteristiche chiave che contribuiscono alla loro efficienza ed efficacia nell'inferenza di deep learning ad alta velocità:

• Calibrazione di precisione: TensorRT supporta la calibrazione di precisione, consentendo di regolare i modelli in base a specifici requisiti di accuratezza. Questo include il supporto di formati a precisione ridotta come INT8 e FP16, che possono aumentare ulteriormente la velocità di inferenza mantenendo livelli di accuratezza accettabili.

• Fusione di livelli: Il processo di ottimizzazione di TensorRT include la fusione dei livelli, in cui più livelli di una rete neurale vengono combinati in un'unica operazione. Ciò riduce l'overhead computazionale e migliora la velocità di inferenza, riducendo al minimo l'accesso alla memoria e il calcolo.

• Gestione dinamica della memoria di Tensor : TensorRT gestisce in modo efficiente l'utilizzo della memoria di tensor durante l'inferenza, riducendo l'overhead di memoria e ottimizzando l'allocazione della stessa. Ciò si traduce in un utilizzo più efficiente della memoria di GPU .

• Automatic Kernel Tuning: TensorRT applies automatic kernel tuning to select the most optimized GPU kernel for each layer of the model. This adaptive approach ensures that the model takes full advantage of the GPUs computational power.

Opzioni di distribuzione in TensorRT

Before we look at the code for exporting YOLO11 models to the TensorRT format, let's understand where TensorRT models are normally used.

TensorRT offre diverse opzioni di implementazione, ognuna delle quali bilancia in modo diverso la facilità di integrazione, l'ottimizzazione delle prestazioni e la flessibilità:

• Distribuzione all'interno di TensorFlow: questo metodo integra TensorRT in TensorFlow, consentendo ai modelli ottimizzati di essere eseguiti nell'ambiente familiare di TensorFlow . È utile per i modelli con un mix di livelli supportati e non supportati, poiché TF-TRT può gestirli in modo efficiente.

• API runtime standalone TensorRT : Offre un controllo granulare, ideale per le applicazioni critiche dal punto di vista delle prestazioni. È più complessa, ma consente l'implementazione personalizzata di operatori non supportati.

• NVIDIA Triton Server di inferenza: Un'opzione che supporta modelli di vari framework. Particolarmente adatto per l'inferenza su cloud o su bordi, offre funzionalità come l'esecuzione concorrente del modello e l'analisi del modello.

Exporting YOLO11 Models to TensorRT

You can improve execution efficiency and optimize performance by converting YOLO11 models to TensorRT format.

Installazione

Per installare il pacchetto richiesto, eseguire:

# Install the required package for YOLO11
pip install ultralytics

Per istruzioni dettagliate e buone pratiche relative al processo di installazione, consultare la nostra guida all'installazione diYOLO11 . Durante l'installazione dei pacchetti necessari per YOLO11, se si incontrano difficoltà, consultare la nostra guida ai problemi comuni per trovare soluzioni e suggerimenti.

Utilizzo

Prima di immergersi nelle istruzioni per l'uso, assicuratevi di controllare la gamma di modelliYOLO11 offerti da Ultralytics. Questo vi aiuterà a scegliere il modello più adatto alle esigenze del vostro progetto.

from ultralytics import YOLO

# Load the YOLO11 model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT format
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
tensorrt_model = YOLO("yolo11n.engine")

# Run inference
results = tensorrt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine  # creates 'yolo11n.engine''

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

Per maggiori dettagli sul processo di esportazione, visitare la pagina di documentazioneUltralytics sull'esportazione.

Esportazione di TensorRT con quantizzazione INT8

L'esportazione dei modelli Ultralytics YOLO utilizzando TensorRT con precisione INT8 esegue la quantizzazione post-training (PTQ). TensorRT utilizza la calibrazione per la PTQ, che misura la distribuzione delle attivazioni all'interno di ciascuna attivazione tensor mentre il modello YOLO elabora l'inferenza su dati di input rappresentativi, e quindi utilizza tale distribuzione per stimare i valori di scala per ciascuna tensor. Ogni attivazione tensor candidata alla quantizzazione ha una scala associata che viene dedotta da un processo di calibrazione.

Quando elabora reti implicitamente quantizzate, TensorRT utilizza INT8 in modo opportunistico per ottimizzare il tempo di esecuzione dei livelli. Se un livello funziona più velocemente in INT8 e ha assegnato scale di quantizzazione ai suoi ingressi e uscite di dati, allora a quel livello viene assegnato un kernel con precisione INT8, altrimenti TensorRT seleziona una precisione di FP32 o FP16 per il kernel in base a quella che risulta in un tempo di esecuzione più veloce per quel livello.

Configurazione dell'esportazione INT8

Gli argomenti forniti quando si usa esportazione per un modello Ultralytics YOLO molto influenzano le prestazioni del modello esportato. Dovranno essere selezionati anche in base alle risorse del dispositivo disponibili, tuttavia gli argomenti predefiniti sono dovrebbe funziona per la maggior parte GPU discrete Ampere (o più recenti) NVIDIA. L'algoritmo di calibrazione utilizzato è "ENTROPY_CALIBRATION_2" e potete leggere maggiori dettagli sulle opzioni disponibili nella Guida per gli sviluppatori di TensorRT. Ultralytics test hanno rilevato che "ENTROPY_CALIBRATION_2" è stata la scelta migliore e le esportazioni sono fissate per l'utilizzo di questo algoritmo.

• workspace : Controlla la dimensione (in GiB) dell'allocazione della memoria del dispositivo durante la conversione dei pesi del modello.

  • Regolare il workspace in base alle esigenze di calibrazione e alla disponibilità di risorse. Mentre un valore più grande workspace può aumentare il tempo di calibrazione, ma permette a TensorRT di esplorare una gamma più ampia di tattiche di ottimizzazione, potenzialmente migliorando le prestazioni del modello e precisione. Al contrario, una dimensione più piccola workspace può ridurre i tempi di calibrazione, ma può limitare le strategie di ottimizzazione, influenzando la qualità del modello quantizzato.

  • L'impostazione predefinita è workspace=None, che consentirà a TensorRT di allocare automaticamente la memoria; quando si configura manualmente, potrebbe essere necessario aumentare questo valore se la calibrazione si blocca (esce senza avvertire).

  • TensorRT riferirà UNSUPPORTED_STATE durante l'esportazione se il valore per workspace è più grande della memoria disponibile per il dispositivo, il che significa che il valore di workspace dovrebbe essere abbassato o impostato su None.

  • Se workspace è impostato sul valore massimo e la calibrazione fallisce o si blocca, considerare l'uso di None per l'autoassegnazione o riducendo i valori di imgsz e batch per ridurre i requisiti di memoria.

  • Ricordate che la calibrazione per INT8 è specifica per ogni dispositivo; prendere in prestito un GPU "high-end" per la calibrazione, potrebbe risultare in prestazioni scadenti quando l'inferenza viene eseguita su un altro dispositivo.

• batch : La dimensione massima del lotto che verrà utilizzata per l'inferenza. Durante l'inferenza si possono usare lotti più piccoli, ma l'inferenza non accetterà lotti più grandi di quello specificato.

La sperimentazione di NVIDIA ha portato a consigliare l'uso di almeno 500 immagini di calibrazione rappresentative dei dati del modello, con calibrazione di quantizzazione INT8. Questa è una linea guida e non una duro e è necessario sperimentare ciò che è necessario per ottenere buone prestazioni per il proprio set di dati. Poiché i dati di calibrazione sono necessari per la calibrazione di INT8 con TensorRT, assicurarsi di utilizzare il parametro data argomento quando int8=True per TensorRT e utilizzare data="my_dataset.yaml"che utilizzerà le immagini di convalida con cui effettuare la calibrazione. Quando non viene passato alcun valore per data con l'esportazione in TensorRT con quantizzazione INT8, l'impostazione predefinita prevede l'utilizzo di uno degli elementi di "piccoli" insiemi di dati di esempio basati sul compito del modello invece di lanciare un errore.

from ultralytics import YOLO

model = YOLO("yolov8n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    int8=True,
    data="coco.yaml",  # (4)!
)

# Load the exported TensorRT INT8 model
model = YOLO("yolov8n.engine", task="detect")

# Run inference
result = model.predict("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format with INT8 quantization
yolo export model=yolo11n.pt format=engine batch=8 workspace=4 int8=True data=coco.yaml  # creates 'yolov8n.engine''

# Run inference with the exported TensorRT quantized model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

Vantaggi dell'utilizzo di YOLO con TensorRT INT8

• Riduzione delle dimensioni del modello: La quantizzazione da FP32 a INT8 può ridurre le dimensioni del modello di 4 volte (su disco o in memoria), con conseguenti tempi di download più rapidi, minori requisiti di archiviazione e un'impronta di memoria ridotta quando si distribuisce un modello.

• Consumo di energia ridotto: Le operazioni a precisione ridotta per i modelli INT8 esportati da YOLO possono consumare meno energia rispetto ai modelli FP32, soprattutto per i dispositivi alimentati a batteria.

• Migliori velocità di inferenza: TensorRT ottimizza il modello per l'hardware di destinazione, portando potenzialmente a velocità di inferenza più elevate su GPU, dispositivi embedded e acceleratori.

Svantaggi dell'utilizzo di YOLO con TensorRT INT8

• Diminuzione delle metriche di valutazione: L'utilizzo di una precisione inferiore significa che mAP, Precision, Recall o qualsiasi altra metrica utilizzata per valutare le prestazioni del modello è probabile che sia un po' peggiore. Si veda il Sezione risultati delle prestazioni per confrontare le differenze di mAP50 e mAP50-95 quando si esporta con INT8 su un piccolo campione di vari dispositivi.

• Aumento dei tempi di sviluppo: Trovare le impostazioni "ottimali" per la calibrazione INT8 in base al set di dati e al dispositivo può richiedere una quantità significativa di test.

• Dipendenza dall'hardware: La calibrazione e i guadagni di prestazioni potrebbero dipendere fortemente dall'hardware e i pesi dei modelli sono meno trasferibili.

Ultralytics YOLO TensorRT Prestazioni di esportazione

NVIDIA A100

GPU consumer

Dispositivi integrati

Metodi di valutazione

Per informazioni su come questi modelli sono stati esportati e testati, si vedano le sezioni seguenti.

from ultralytics import YOLO

model = YOLO("yolov8n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, half=True)

# TensorRT INT8 with calibration `data` (i.e. COCO, ImageNet, or DOTAv1 for appropriate model task)
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, int8=True, data="coco8.yaml"
)

import cv2

from ultralytics import YOLO

model = YOLO("yolov8n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 of the same image
        verbose=False,
        device="cuda",
    )

from ultralytics import YOLO

model = YOLO("yolov8n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet, or DOTAv1 for appropriate model task
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

Deploying Exported YOLO11 TensorRT Models

Having successfully exported your Ultralytics YOLO11 models to TensorRT format, you're now ready to deploy them. For in-depth instructions on deploying your TensorRT models in various settings, take a look at the following resources:

• Distribuire Ultralytics con un server Triton : La nostra guida su come usare il server NVIDIA di Triton Inference (precedentemente TensorRT Inference), specificamente per l'uso dei modelli Ultralytics YOLO .

• Distribuzione di reti neurali profonde con NVIDIA TensorRT: Questo articolo spiega come utilizzare NVIDIA TensorRT per distribuire in modo efficiente le reti neurali profonde sulle piattaforme di distribuzione basate su GPU.

• AI end-to-end per i PC basati su NVIDIA: NVIDIA TensorRT Distribuzione: Questo blog post spiega l'uso di NVIDIA TensorRT per l'ottimizzazione e la distribuzione di modelli di IA su NVIDIA PC.

• Repository GitHub per NVIDIA TensorRT :: Questo è il repository GitHub ufficiale che contiene il codice sorgente e la documentazione di NVIDIA TensorRT .

Sintesi

In this guide, we focused on converting Ultralytics YOLO11 models to NVIDIA's TensorRT model format. This conversion step is crucial for improving the efficiency and speed of YOLO11 models, making them more effective and suitable for diverse deployment environments.

Per ulteriori informazioni sui dettagli di utilizzo, consultare la documentazione ufficiale di TensorRT .

If you're curious about additional Ultralytics YOLO11 integrations, our integration guide page provides an extensive selection of informative resources and insights.

FAQ

How do I convert YOLO11 models to TensorRT format?

To convert your Ultralytics YOLO11 models to TensorRT format for optimized NVIDIA GPU inference, follow these steps:

1. Installare il pacchetto richiesto:

   pip install ultralytics
   

2. Export your YOLO11 model:

   from ultralytics import YOLO
   
   model = YOLO("yolo11n.pt")
   model.export(format="engine")  # creates 'yolov8n.engine'
   
   # Run inference
   model = YOLO("yolo11n.engine")
   results = model("https://ultralytics.com/images/bus.jpg")
   

For more details, visit the YOLO11 Installation guide and the export documentation.

What are the benefits of using TensorRT for YOLO11 models?

Using TensorRT to optimize YOLO11 models offers several benefits:

• Velocità di inferenza più rapida: TensorRT ottimizza i livelli del modello e utilizza la calibrazione di precisione (INT8 e FP16) per accelerare l'inferenza senza sacrificare significativamente l'accuratezza.
• Efficienza della memoria: TensorRT gestisce la memoria di tensor in modo dinamico, riducendo l'overhead e migliorando l'utilizzo della memoria di GPU .
• Fusione di livelli: Combina più strati in singole operazioni, riducendo la complessità computazionale.
• Kernel Auto-Tuning: Seleziona automaticamente i kernel ottimizzati di GPU per ogni strato del modello, garantendo le massime prestazioni.

Per ulteriori informazioni, esplorate le caratteristiche dettagliate di TensorRT qui e leggete la nostra sezioneTensorRT .

Can I use INT8 quantization with TensorRT for YOLO11 models?

Yes, you can export YOLO11 models using TensorRT with INT8 quantization. This process involves post-training quantization (PTQ) and calibration:

1. Esportazione con INT8:

   from ultralytics import YOLO
   
   model = YOLO("yolov8n.pt")
   model.export(format="engine", batch=8, workspace=4, int8=True, data="coco.yaml")
   

2. Eseguire l'inferenza:

   from ultralytics import YOLO
   
   model = YOLO("yolov8n.engine", task="detect")
   result = model.predict("https://ultralytics.com/images/bus.jpg")
   

Per ulteriori dettagli, consultare la sezione Esportazione di TensorRT con quantizzazione INT8.

How do I deploy YOLO11 TensorRT models on an NVIDIA Triton Inference Server?

Deploying YOLO11 TensorRT models on an NVIDIA Triton Inference Server can be done using the following resources:

• Distribuire Ultralytics YOLOv8 con Triton Server: Guida passo passo alla configurazione e all'uso di Triton Inference Server.
• NVIDIA Triton Documentazione sul server di inferenza: Documentazione ufficiale di NVIDIA per le opzioni di distribuzione e le configurazioni dettagliate.

Queste guide vi aiuteranno a integrare in modo efficiente i modelli di YOLOv8 in vari ambienti di distribuzione.

Quali sono i miglioramenti delle prestazioni osservati con i modelli YOLOv8 esportati in TensorRT?

I miglioramenti delle prestazioni con TensorRT possono variare in base all'hardware utilizzato. Ecco alcuni benchmark tipici:

• NVIDIA A100:

  • Inferenza FP32: ~0,52 ms / immagine
  • Inferenza FP16: ~0,34 ms / immagine
  • Inferenza INT8: ~0,28 ms / immagine
  • Leggera riduzione della mAP con precisione INT8, ma significativo miglioramento della velocità.

• GPU consumer (ad esempio, RTX 3080):

  • Inferenza FP32: ~1,06 ms / immagine
  • Inferenza FP16: ~0,62 ms / immagine
  • Inferenza INT8: ~0,52 ms / immagine

I benchmark dettagliati delle prestazioni per le diverse configurazioni hardware sono disponibili nella sezione prestazioni.

Per informazioni più complete sulle prestazioni di TensorRT , consultate la documentazione diUltralytics e i nostri rapporti di analisi delle prestazioni.

📅C reato 11 mesi fa ✏️ Aggiornato 6 giorni fa

Commenti