Esportazione TensorRT per modelli YOLO26#

La distribuzione di modelli di computer vision in ambienti ad alte prestazioni può richiedere un formato che massimizzi velocità ed efficienza. Questo vale in particolare quando distribuisci il tuo modello su GPU NVIDIA.

Utilizzando il formato di esportazione TensorRT, puoi ottimizzare i tuoi modelli Ultralytics YOLO26 per un'inferenza rapida ed efficiente su hardware NVIDIA. Questa guida ti offre passaggi semplici da seguire per il processo di conversione e ti aiuta a sfruttare al massimo la tecnologia avanzata di NVIDIA nei tuoi progetti di deep learning.

TensorRT#

TensorRT, sviluppato da NVIDIA, è un kit di sviluppo software (SDK) avanzato progettato per l'inferenza di deep learning ad alta velocità. È ideale per applicazioni in tempo reale come il rilevamento di oggetti.

Questo toolkit ottimizza i modelli di deep learning per GPU NVIDIA e produce operazioni più veloci ed efficienti. I modelli TensorRT vengono sottoposti a ottimizzazione TensorRT, che include tecniche come la fusione dei layer, la calibrazione della precisione (INT8 e FP16), la gestione dinamica della memoria dei tensori e l'auto-tuning del kernel. Convertire i modelli di deep learning nel formato TensorRT permette agli sviluppatori di realizzare appieno il potenziale delle GPU NVIDIA.

TensorRT è noto per la sua compatibilità con vari formati di modelli, tra cui TensorFlow, PyTorch e ONNX, offrendo agli sviluppatori una soluzione flessibile per integrare e ottimizzare modelli provenienti da diversi framework. Questa versatilità consente una distribuzione del modello efficiente in diversi ambienti hardware e software.

Caratteristiche principali dei modelli TensorRT#

I modelli TensorRT offrono una gamma di funzionalità chiave che contribuiscono alla loro efficienza ed efficacia nell'inferenza di deep learning ad alta velocità:

• Precision Calibration: TensorRT supporta la calibrazione della precisione, consentendo ai modelli di essere ottimizzati per requisiti di accuratezza specifici. Ciò include il supporto per formati a precisione ridotta come INT8 e FP16, che possono aumentare ulteriormente la velocità di inferenza mantenendo livelli di accuratezza accettabili.

• Fusione dei livelli: Il processo di ottimizzazione di TensorRT include la fusione dei livelli, in cui più livelli di una rete neurale vengono combinati in un'unica operazione. Ciò riduce il sovraccarico di calcolo e migliora la velocità di inferenza riducendo al minimo l'accesso alla memoria e il calcolo.

• Dynamic Tensor Memory Management: TensorRT gestisce in modo efficiente l'utilizzo della memoria dei tensori durante l'inferenza, riducendo l'overhead di memoria e ottimizzando l'allocazione della stessa. Ciò si traduce in un utilizzo più efficiente della memoria GPU.

• Automatic Kernel Tuning: TensorRT applica l'auto-tuning del kernel per selezionare il kernel GPU più ottimizzato per ogni layer del modello. Questo approccio adattivo garantisce che il modello sfrutti appieno la potenza computazionale della GPU.

Opzioni di distribuzione in TensorRT#

Prima di esaminare il codice per esportare i modelli YOLO26 nel formato TensorRT, capiamo dove vengono solitamente utilizzati i modelli TensorRT.

TensorRT offre diverse opzioni di distribuzione, ognuna delle quali bilancia diversamente facilità di integrazione, ottimizzazione delle prestazioni e flessibilità:

• Distribuzione all'interno di TensorFlow: Questo metodo integra TensorRT in TensorFlow, consentendo ai modelli ottimizzati di essere eseguiti in un ambiente TensorFlow familiare. È utile per i modelli con un mix di livelli supportati e non supportati, poiché TF-TRT può gestirli in modo efficiente.

• Standalone TensorRT Runtime API: Offre un controllo granulare, ideale per applicazioni dove le prestazioni sono critiche. È più complesso ma consente un'implementazione personalizzata degli operatori non supportati.

• NVIDIA Triton Inference Server: Un'opzione che supporta modelli da vari framework. Particolarmente adatto per l'inferenza su cloud o edge, fornisce funzionalità come l'esecuzione simultanea dei modelli e l'analisi dei modelli.

Attività supportate#

L'esportazione in TensorRT supporta tutti e sette i task di Ultralytics. La segmentazione semantica e la stima della profondità sono disponibili solo con YOLO26, l'unica famiglia che include tali teste.

Esportazione di modelli YOLO26 in TensorRT#

Puoi migliorare l'efficienza di esecuzione e ottimizzare le prestazioni convertendo i modelli YOLO26 nel formato TensorRT.

Installazione#

Per installare il pacchetto richiesto, esegui:

# Install the required package for YOLO26
pip install ultralytics

Per istruzioni dettagliate e best practice relative al processo di installazione, consulta la nostra guida all'installazione di YOLO26. Durante l'installazione dei pacchetti richiesti per YOLO26, se riscontri difficoltà, consulta la nostra guida ai problemi comuni per soluzioni e suggerimenti.

Utilizzo#

Prima di immergiti nelle istruzioni d'uso, assicurati di dare un'occhiata alla gamma di modelli YOLO26 offerti da Ultralytics. Questo ti aiuterà a scegliere il modello più adatto ai requisiti del tuo progetto.

Il formato TensorRT supporta le modalità Export, Predict e Validate. L'inferenza e la convalida richiedono una GPU NVIDIA. Esporta il tuo modello, quindi carica il modello esportato per eseguire l'inferenza o validarne la precisione.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT format
model.export(format="engine")  # creates 'yolo26n.engine'

from ultralytics import YOLO

# Load the exported TensorRT model
model = YOLO("yolo26n.engine")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported TensorRT model
model = YOLO("yolo26n.engine")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Argomenti di esportazione#

Per ulteriori dettagli sul processo di esportazione, visita la pagina della documentazione di Ultralytics sull'esportazione.

Esportazione TensorRT con quantizzazione INT8#

L'esportazione di modelli Ultralytics YOLO tramite TensorRT con precisione INT8 esegue la quantizzazione post-addestramento (PTQ). TensorRT utilizza la calibrazione per il PTQ, che misura la distribuzione delle attivazioni all'interno di ciascun tensore di attivazione mentre il modello YOLO elabora l'inferenza su dati di input rappresentativi, e quindi utilizza tale distribuzione per stimare i valori di scala per ciascun tensore. Ciascun tensore di attivazione candidato alla quantizzazione ha una scala associata dedotta da un processo di calibrazione.

Durante l'elaborazione di reti quantizzate implicitamente, TensorRT utilizza INT8 in modo opportunistico per ottimizzare il tempo di esecuzione dei layer. Se un layer viene eseguito più velocemente in INT8 e ha scale di quantizzazione assegnate sui suoi input e output di dati, allora viene assegnato a quel layer un kernel con precisione INT8, altrimenti TensorRT seleziona una precisione FP32 o FP16 per il kernel in base a ciò che risulta in un tempo di esecuzione più rapido per quel layer.

Configurazione dell'esportazione INT8#

Gli argomenti forniti quando si utilizza export per un modello Ultralytics YOLO influiranno notevolmente sulle prestazioni del modello esportato. Sarà inoltre necessario sceglierli in base alle risorse del dispositivo disponibili, tuttavia gli argomenti predefiniti dovrebbero funzionare per la maggior parte delle GPU discrete NVIDIA Ampere (o successive). L'algoritmo di calibrazione utilizzato è "MINMAX_CALIBRATION" per le esportazioni su GPU, mentre le esportazioni DLA su NVIDIA Jetson utilizzano "ENTROPY_CALIBRATION_2". Puoi leggere maggiori dettagli sulle opzioni disponibili nella Guida per gli sviluppatori di TensorRT. I test di Ultralytics hanno riscontrato che "MINMAX_CALIBRATION" è la scelta migliore per le esportazioni su GPU e l'algoritmo viene selezionato automaticamente in base al dispositivo di esportazione.

• workspace : Controlla la dimensione (in GiB) dell'allocazione della memoria del dispositivo durante la conversione dei pesi del modello.

  • Regola il valore di workspace in base alle tue esigenze di calibrazione e alla disponibilità delle risorse. Sebbene un workspace più grande possa aumentare il tempo di calibrazione, consente a TensorRT di esplorare una gamma più ampia di tattiche di ottimizzazione, migliorando potenzialmente le prestazioni e la precisione del modello. Al contrario, un workspace più piccolo può ridurre il tempo di calibrazione ma può limitare le strategie di ottimizzazione, influenzando la qualità del modello quantizzato.

  • Il valore predefinito è workspace=None, che consentirà a TensorRT di allocare automaticamente la memoria; se configurato manualmente, questo valore potrebbe dover essere aumentato in caso di arresto anomalo della calibrazione (uscita senza preavviso).

  • TensorRT segnalerà UNSUPPORTED_STATE durante l'esportazione se il valore per workspace è superiore alla memoria disponibile per il dispositivo, il che significa che il valore per workspace deve essere ridotto o impostato su None.

  • Se workspace è impostato sul valore massimo e la calibrazione fallisce o si arresta in modo anomalo, considera di utilizzare None per l'allocazione automatica o di ridurre i valori per imgsz e batch per ridurre i requisiti di memoria.

  • Ricorda: la calibrazione per INT8 è specifica per ogni dispositivo; prendere in prestito una GPU "di fascia alta" per la calibrazione potrebbe comportare scarse prestazioni quando l'inferenza viene eseguita su un altro dispositivo.

• batch : La dimensione massima del batch che verrà utilizzata per l'inferenza. Durante l'inferenza è possibile utilizzare batch più piccoli, ma l'inferenza non accetterà batch più grandi di quanto specificato.

La sperimentazione condotta da NVIDIA li ha portati a consigliare l'utilizzo di almeno 500 immagini di calibrazione rappresentative dei dati per il proprio modello, con la calibrazione della quantizzazione INT8. Questa è una linea guida e non un requisito rigido, e dovrai sperimentare ciò che è necessario per ottenere buone prestazioni per il tuo set di dati. Poiché i dati di calibrazione sono necessari per la calibrazione INT8 con TensorRT, assicurati di utilizzare l'argomento data quando quantize=8 per TensorRT e utilizza data="my_dataset.yaml", che utilizzerà le immagini della convalida per la calibrazione. Quando non viene passato alcun valore per data con l'esportazione su TensorRT con quantizzazione INT8, l'impostazione predefinita sarà quella di utilizzare uno dei set di dati di esempio "piccoli" basati sul task del modello anziché generare un errore.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    quantize=8,
    data="coco.yaml",  # (4)!
)

# Load the exported TensorRT INT8 model
model = YOLO("yolo26n.engine", task="detect")

# Run inference
result = model.predict("https://ultralytics.com/images/bus.jpg")

Vantaggi dell'utilizzo di YOLO con TensorRT INT8#

• Dimensione del modello ridotta: La quantizzazione da FP32 a INT8 può ridurre la dimensione del modello di 4 volte (su disco o in memoria), portando a tempi di download più rapidi, requisiti di archiviazione inferiori e un ingombro di memoria ridotto durante la distribuzione di un modello.

• Minore consumo energetico: Le operazioni a precisione ridotta per i modelli YOLO esportati in INT8 possono consumare meno energia rispetto ai modelli FP32, specialmente per i dispositivi alimentati a batteria.

• Velocità di inferenza migliorate: TensorRT ottimizza il modello per l'hardware di destinazione, portando potenzialmente a velocità di inferenza più elevate su GPU, dispositivi embedded e acceleratori.

Svantaggi dell'utilizzo di YOLO con TensorRT INT8#

• Diminuzione delle metriche di valutazione: L'utilizzo di una precisione inferiore comporterà probabilmente un peggioramento di mAP, Precision, Recall o di qualsiasi altra metrica utilizzata per valutare le prestazioni del modello. I livelli Sigmoid vengono mantenuti a una precisione superiore per preservare la calibrazione dei punteggi, ma l'INT8 può comunque spostare i valori di confidenza, quindi seleziona la soglia operativa dalla curva F1 del modello INT8 stesso. Consulta la sezione Risultati delle prestazioni per confrontare le differenze in mAP50 e mAP50-95 durante l'esportazione con INT8 su un piccolo campione di vari dispositivi.

• Tempi di sviluppo aumentati: Trovare le impostazioni "ottimali" per la calibrazione INT8 per il dataset e il dispositivo può richiedere una notevole quantità di test.

• Dipendenza dall'hardware: La calibrazione e i guadagni di prestazioni potrebbero essere fortemente dipendenti dall'hardware e i pesi del modello sono meno trasferibili.

Prestazioni di esportazione Ultralytics YOLO TensorRT#

NVIDIA A100#

GPU consumer#

Dispositivi embedded#

Metodi di valutazione#

Espandi le sezioni qui sotto per informazioni su come questi modelli sono stati esportati e testati.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=16)

# TensorRT INT8 with calibration `data` (i.e. COCO, ImageNet, or DOTAv1 for appropriate model task)
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=8, data="coco8.yaml"
)

import cv2

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 of the same image
        verbose=False,
        device="cuda",
    )

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet, or DOTAv1 for appropriate model task
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

Distribuzione dei modelli YOLO26 TensorRT esportati#

Dopo aver esportato con successo i tuoi modelli Ultralytics YOLO26 nel formato TensorRT, sei pronto per distribuirli. Per istruzioni approfondite sulla distribuzione dei tuoi modelli TensorRT in vari contesti, dai un'occhiata alle seguenti risorse:

• Distribuisci Ultralytics con un Triton Server: La nostra guida su come utilizzare il server Triton Inference di NVIDIA (precedentemente TensorRT Inference Server) specificamente per l'uso con i modelli Ultralytics YOLO.

• Distribuzione di reti neurali profonde con NVIDIA TensorRT: Questo articolo spiega come utilizzare NVIDIA TensorRT per distribuire in modo efficiente reti neurali profonde su piattaforme di distribuzione basate su GPU.

• Intelligenza artificiale end-to-end per PC basati su NVIDIA: Distribuzione con NVIDIA TensorRT: Questo post del blog spiega l'uso di NVIDIA TensorRT per l'ottimizzazione e la distribuzione di modelli di IA su PC basati su NVIDIA.

• Repository GitHub per NVIDIA TensorRT:: Questo è il repository GitHub ufficiale che contiene il codice sorgente e la documentazione per NVIDIA TensorRT.

Riepilogo#

In questa guida, ci siamo concentrati sulla conversione dei modelli Ultralytics YOLO26 nel formato di modello TensorRT di NVIDIA. Questo passaggio di conversione è fondamentale per migliorare l'efficienza e la velocità dei modelli YOLO26, rendendoli più efficaci e adatti a diversi ambienti di distribuzione.

Per ulteriori informazioni sui dettagli di utilizzo, dai un'occhiata alla documentazione ufficiale di TensorRT.

Se sei curioso di conoscere altre integrazioni di Ultralytics YOLO26, la nostra pagina della guida all'integrazione offre un'ampia selezione di risorse informative e approfondimenti.

FAQ#