Esportazione TensorRT per modelli YOLO26#

La distribuzione di modelli di computer vision in ambienti ad alte prestazioni può richiedere un formato che massimizzi velocità ed efficienza. Questo è particolarmente vero quando distribuisci il tuo modello su GPU NVIDIA.

Utilizzando il formato di esportazione TensorRT, puoi ottimizzare i tuoi modelli Ultralytics YOLO26 per un'inferenza rapida ed efficiente sull'hardware NVIDIA. Questa guida ti fornirà passaggi semplici da seguire per il processo di conversione e ti aiuterà a sfruttare al meglio la tecnologia avanzata di NVIDIA nei tuoi progetti di deep learning.

TensorRT#

TensorRT, sviluppato da NVIDIA, è un kit avanzato di sviluppo software (SDK) progettato per l'inferenza ad alta velocità nel deep learning. È particolarmente adatto per applicazioni in tempo reale come la rilevazione degli oggetti.

Questo toolkit ottimizza i modelli di deep learning per le GPU NVIDIA, ottenendo operazioni più rapide ed efficienti. I modelli TensorRT vengono sottoposti all'ottimizzazione TensorRT, che include tecniche come la fusione dei layer, la calibrazione della precisione (INT8 e FP16), la gestione dinamica della memoria dei tensori e l'ottimizzazione automatica dei kernel. Convertire i modelli di deep learning nel formato TensorRT consente agli sviluppatori di sfruttare appieno il potenziale delle GPU NVIDIA.

TensorRT è noto per la compatibilità con vari formati di modelli, tra cui TensorFlow, PyTorch e ONNX, offrendo agli sviluppatori una soluzione flessibile per integrare e ottimizzare modelli provenienti da framework diversi. Questa versatilità consente una distribuzione efficiente dei modelli in ambienti hardware e software diversi.

Funzionalità principali dei modelli TensorRT#

I modelli TensorRT offrono diverse funzionalità chiave che contribuiscono alla loro efficienza ed efficacia nell'inferenza ad alta velocità nel deep learning:

• Calibrazione della precisione: TensorRT supporta la calibrazione della precisione, consentendo di ottimizzare i modelli per requisiti specifici di accuratezza. Questo include il supporto per formati a precisione ridotta come INT8 e FP16, che possono aumentare ulteriormente la velocità di inferenza mantenendo livelli di accuratezza accettabili.

• Fusione dei layer: il processo di ottimizzazione TensorRT include la fusione dei layer, in cui più layer di una rete neurale vengono combinati in un'unica operazione. Ciò riduce il sovraccarico computazionale e migliora la velocità di inferenza minimizzando l'accesso alla memoria e i calcoli.

• Gestione dinamica della memoria dei tensori: TensorRT gestisce in modo efficiente l'utilizzo della memoria dei tensori durante l'inferenza, riducendo il sovraccarico di memoria e ottimizzando l'allocazione della memoria. Ciò si traduce in un utilizzo più efficiente della memoria della GPU.

• Ottimizzazione automatica dei kernel: TensorRT applica l'ottimizzazione automatica dei kernel per selezionare il kernel della GPU più ottimizzato per ogni layer del modello. Questo approccio adattivo garantisce che il modello sfrutti appieno la potenza di calcolo della GPU.

Opzioni di distribuzione in TensorRT#

Prima di esaminare il codice per esportare i modelli YOLO26 nel formato TensorRT, vediamo dove vengono normalmente utilizzati i modelli TensorRT.

TensorRT offre diverse opzioni di distribuzione e ciascuna bilancia in modo diverso facilità di integrazione, ottimizzazione delle prestazioni e flessibilità:

• Distribuzione all'interno di TensorFlow: questo metodo integra TensorRT in TensorFlow, consentendo l'esecuzione di modelli ottimizzati in un ambiente TensorFlow familiare. È utile per i modelli che combinano layer supportati e non supportati, poiché TF-TRT può gestirli in modo efficiente.

• API del runtime TensorRT standalone: offre un controllo granulare ed è ideale per le applicazioni in cui le prestazioni sono fondamentali. È più complessa, ma consente un'implementazione personalizzata degli operatori non supportati.

• NVIDIA Triton Inference Server: un'opzione che supporta modelli provenienti da vari framework. Particolarmente adatta all'inferenza cloud o edge, offre funzionalità come l'esecuzione concorrente dei modelli e l'analisi dei modelli.

Attività supportate#

L'esportazione TensorRT supporta tutti e sette i task Ultralytics. La segmentazione semantica e la stima della profondità sono disponibili solo con YOLO26, l'unica famiglia che include queste head.

Esportazione dei modelli YOLO26 in TensorRT#

Puoi migliorare l'efficienza di esecuzione e ottimizzare le prestazioni convertendo i modelli YOLO26 nel formato TensorRT.

Installazione#

Per installare il pacchetto richiesto, esegui:

# Install the required package for YOLO26
pip install ultralytics

Per istruzioni dettagliate e best practice relative al processo di installazione, consulta la nostra guida all'installazione di YOLO26. Se durante l'installazione dei pacchetti richiesti per YOLO26 riscontri difficoltà, consulta la nostra guida ai problemi comuni per trovare soluzioni e suggerimenti.

Utilizzo#

Prima di passare alle istruzioni per l'utilizzo, dai un'occhiata alla gamma di modelli YOLO26 offerti da Ultralytics. Questo ti aiuterà a scegliere il modello più adatto ai requisiti del tuo progetto.

Il formato TensorRT supporta le modalità Export, Predict e Validate. L'inferenza e la convalida richiedono una GPU NVIDIA. Esporta il modello, quindi carica il modello esportato per eseguire l'inferenza o convalidarne l'accuratezza.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT format
model.export(format="engine")  # creates 'yolo26n.engine'

from ultralytics import YOLO

# Load the exported TensorRT model
model = YOLO("yolo26n.engine")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported TensorRT model
model = YOLO("yolo26n.engine")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Argomenti di esportazione#

Per ulteriori dettagli sul processo di esportazione, visita la pagina della documentazione Ultralytics sull'esportazione.

Esportazione TensorRT con quantizzazione INT8#

Esportare modelli YOLO di Ultralytics usando TensorRT con precisione INT8 esegue la quantizzazione post-addestramento (PTQ). TensorRT utilizza la calibrazione per la PTQ, che misura la distribuzione delle attivazioni all'interno di ciascun tensore di attivazione mentre il modello YOLO elabora l'inferenza su dati di input rappresentativi, e utilizza quindi tale distribuzione per stimare i valori di scala per ciascun tensore. Ciascun tensore di attivazione candidato alla quantizzazione ha una scala associata dedotta da un processo di calibrazione. Un checkpoint messo a punto con quantize=8 tramite quantization-aware training trasporta già i suoi intervalli INT8, quindi la sua esportazione li utilizza e salta la calibrazione.

Durante l'elaborazione di reti quantizzate implicitamente, TensorRT utilizza INT8 in modo opportunistico per ottimizzare il tempo di esecuzione dei layer. Se un layer viene eseguito più velocemente in INT8 e ha scale di quantizzazione assegnate ai propri input e output, a quel layer viene assegnato un kernel con precisione INT8; in caso contrario, TensorRT seleziona per il kernel una precisione FP32 o FP16, in base a quella che garantisce il tempo di esecuzione più rapido per quel layer.

Configurazione dell'esportazione INT8#

Gli argomenti forniti durante l'uso di export per un modello Ultralytics YOLO influenzeranno notevolmente le prestazioni del modello esportato. Dovranno inoltre essere selezionati in base alle risorse disponibili sul dispositivo; tuttavia, gli argomenti predefiniti dovrebbero funzionare per la maggior parte delle GPU NVIDIA discrete Ampere (o successive). L'algoritmo di calibrazione utilizzato è "MINMAX_CALIBRATION" per le esportazioni su GPU, mentre le esportazioni DLA su NVIDIA Jetson utilizzano "ENTROPY_CALIBRATION_2". Puoi leggere ulteriori dettagli sulle opzioni disponibili nella TensorRT Developer Guide. I test di Ultralytics hanno rilevato che "MINMAX_CALIBRATION" è la scelta migliore per le esportazioni su GPU; l'algoritmo viene selezionato automaticamente in base al dispositivo di esportazione.

• workspace : controlla la dimensione (in GiB) dell'allocazione della memoria del dispositivo durante la conversione dei pesi del modello.

  • Regola il valore di workspace in base alle tue esigenze di calibrazione e alla disponibilità di risorse. Sebbene un workspace più grande possa aumentare il tempo di calibrazione, consente a TensorRT di esplorare una gamma più ampia di strategie di ottimizzazione, migliorando potenzialmente le prestazioni e l'accuratezza del modello. Al contrario, un workspace più piccolo può ridurre il tempo di calibrazione, ma può limitare le strategie di ottimizzazione e influire sulla qualità del modello quantizzato.

  • Il valore predefinito è workspace=None, che consente a TensorRT di allocare automaticamente la memoria; durante la configurazione manuale, potrebbe essere necessario aumentare questo valore se la calibrazione si interrompe (termina senza avviso).

  • TensorRT segnalerà UNSUPPORTED_STATE durante l'esportazione se il valore di workspace è maggiore della memoria disponibile sul dispositivo; ciò significa che il valore di workspace deve essere ridotto o impostato su None.

  • Se workspace è impostato sul valore massimo e la calibrazione non riesce o si interrompe, valuta l'utilizzo di None per l'allocazione automatica oppure riduci i valori di imgsz e batch per diminuire i requisiti di memoria.

  • Ricorda che la calibrazione per INT8 è specifica per ogni dispositivo: prendere in prestito una GPU di "fascia alta" per la calibrazione potrebbe causare prestazioni scarse quando l'inferenza viene eseguita su un altro dispositivo.

• batch : la dimensione massima del batch utilizzata per l'inferenza. Durante l'inferenza è possibile utilizzare batch più piccoli, ma l'inferenza non accetterà batch più grandi di quello specificato.

La sperimentazione di NVIDIA li ha portati a consigliare l'uso di almeno 500 immagini di calibrazione rappresentative dei dati per il tuo modello, con la calibrazione della quantizzazione INT8. Questa è una linea guida e non un requisito rigoroso, e dovrai sperimentare ciò che è necessario per ottenere buone prestazioni per il tuo dataset. Poiché i dati di calibrazione sono necessari per la calibrazione INT8 con TensorRT, assicurati di usare l'argomento data quando esporti un checkpoint che non è stato addestrato con quantize=8 (quantizzazione post-addestramento) a quantize=8 per TensorRT, e usa data="my_dataset.yaml", che utilizzerà le immagini della validazione per eseguire la calibrazione. Un checkpoint addestrato con quantize=8 salta la calibrazione, quindi ometti data per il checkpoint. Quando non viene passato alcun valore per data con l'esportazione in TensorRT con quantizzazione INT8, l'impostazione predefinita sarà l'uso di uno dei dataset di esempio "piccoli" basati sul task del modello invece di generare un errore.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    quantize=8,
    data="coco.yaml",  # (4)!
)

# Load the exported TensorRT INT8 model
model = YOLO("yolo26n.engine", task="detect")

# Run inference
result = model.predict("https://ultralytics.com/images/bus.jpg")

Vantaggi dell'utilizzo di YOLO con TensorRT INT8#

• Dimensioni ridotte del modello: la quantizzazione da FP32 a INT8 può ridurre le dimensioni del modello di 4 volte (su disco o in memoria), consentendo download più rapidi, requisiti di archiviazione inferiori e un minore ingombro di memoria durante la distribuzione di un modello.

• Minore consumo energetico: le operazioni a precisione ridotta per i modelli YOLO esportati in INT8 possono consumare meno energia rispetto ai modelli FP32, soprattutto sui dispositivi alimentati a batteria.

• Velocità di inferenza migliorate: TensorRT ottimizza il modello per l'hardware di destinazione, con un potenziale aumento della velocità di inferenza su GPU, dispositivi integrati e acceleratori.

Svantaggi dell'utilizzo di YOLO con TensorRT INT8#

• Diminuzione delle metriche di valutazione: l'utilizzo di una precisione inferiore significa che mAP, Precision, Recall o qualsiasi altra metrica utilizzata per valutare le prestazioni del modello sarà probabilmente leggermente peggiore. I layer Sigmoid vengono mantenuti a una precisione maggiore per preservare la calibrazione dei punteggi, ma INT8 può comunque modificare i valori di confidenza; seleziona quindi la soglia operativa dalla curva F1 del modello INT8 stesso. Consulta la sezione sui risultati delle prestazioni per confrontare le differenze in mAP50 e mAP50-95 durante l'esportazione con INT8 su un piccolo campione di dispositivi diversi.

• Aumento dei tempi di sviluppo: individuare le impostazioni "ottimali" per la calibrazione INT8 in base al dataset e al dispositivo può richiedere una quantità significativa di test.

• Dipendenza dall'hardware: la calibrazione e i miglioramenti delle prestazioni possono dipendere fortemente dall'hardware e i pesi del modello sono meno trasferibili.

Prestazioni dell'esportazione Ultralytics YOLO TensorRT#

NVIDIA A100#

GPU consumer#

Dispositivi integrati#

Metodi di valutazione#

Espandi le sezioni seguenti per informazioni su come sono stati esportati e testati questi modelli.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=16)

# TensorRT INT8 with calibration `data` (i.e. COCO, ImageNet, or DOTAv1 for appropriate model task)
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=8, data="coco8.yaml"
)

import cv2

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 of the same image
        verbose=False,
        device="cuda",
    )

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet, or DOTAv1 for appropriate model task
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

Distribuzione dei modelli YOLO26 esportati in TensorRT#

Dopo aver esportato correttamente i tuoi modelli Ultralytics YOLO26 in formato TensorRT, ora puoi distribuirli. Per istruzioni approfondite sulla distribuzione dei tuoi modelli TensorRT in vari contesti, consulta le seguenti risorse:

• Distribuire Ultralytics con un server Triton: la nostra guida su come utilizzare il server NVIDIA Triton Inference (precedentemente TensorRT Inference Server) specificamente con i modelli Ultralytics YOLO.

• Distribuzione di reti neurali profonde con NVIDIA TensorRT: questo articolo spiega come utilizzare NVIDIA TensorRT per distribuire in modo efficiente reti neurali profonde su piattaforme di distribuzione basate su GPU.

• AI end-to-end per PC basati su NVIDIA: distribuzione con NVIDIA TensorRT: questo post del blog spiega l'utilizzo di NVIDIA TensorRT per ottimizzare e distribuire modelli AI su PC basati su NVIDIA.

• Repository GitHub per NVIDIA TensorRT: Questo è il repository GitHub ufficiale che contiene il codice sorgente e la documentazione per NVIDIA TensorRT.

Riepilogo#

In questa guida ci siamo concentrati sulla conversione dei modelli Ultralytics YOLO26 nel formato di modello TensorRT di NVIDIA. Questo passaggio di conversione è fondamentale per migliorare l'efficienza e la velocità dei modelli YOLO26, rendendoli più efficaci e adatti a diversi ambienti di distribuzione.

Per ulteriori informazioni sui dettagli di utilizzo, consulta la documentazione ufficiale di TensorRT.

Se vuoi conoscere altre integrazioni Ultralytics YOLO26, la nostra pagina della guida alle integrazioni offre un'ampia selezione di risorse informative e approfondimenti.

FAQ#