Esportazione TensorRT per i modelli YOLO26#

La distribuzione di modelli di visione artificiale in ambienti ad alte prestazioni può richiedere un formato che massimizzi velocità ed efficienza. Questo è particolarmente vero quando distribuisci il modello su GPU NVIDIA.

Usando il formato di esportazione TensorRT, puoi ottimizzare i tuoi modelli Ultralytics YOLO26 per un'inferenza rapida ed efficiente sull'hardware NVIDIA. Questa guida ti fornirà passaggi semplici da seguire per il processo di conversione e ti aiuterà a sfruttare al meglio la tecnologia avanzata di NVIDIA nei tuoi progetti di deep learning.

TensorRT#

TensorRT, sviluppato da NVIDIA, è un kit di sviluppo software (SDK) avanzato progettato per l'inferenza di deep learning ad alta velocità. È adatto alle applicazioni in tempo reale, come il rilevamento degli oggetti.

Questo toolkit ottimizza i modelli di deep learning per le GPU NVIDIA, consentendo operazioni più rapide ed efficienti. I modelli TensorRT vengono ottimizzati con TensorRT tramite tecniche come la fusione dei livelli, la calibrazione della precisione (INT8 e FP16), la gestione dinamica della memoria dei tensori e l'ottimizzazione automatica dei kernel. La conversione dei modelli di deep learning nel formato TensorRT permette agli sviluppatori di sfruttare appieno il potenziale delle GPU NVIDIA.

TensorRT è noto per la compatibilità con diversi formati di modello, tra cui TensorFlow, PyTorch e ONNX, offrendo agli sviluppatori una soluzione flessibile per integrare e ottimizzare modelli provenienti da framework diversi. Questa versatilità consente una distribuzione dei modelli efficiente in ambienti hardware e software diversi.

Caratteristiche principali dei modelli TensorRT#

I modelli TensorRT offrono diverse funzionalità chiave che contribuiscono alla loro efficienza ed efficacia nell'inferenza di deep learning ad alta velocità:

• Calibrazione della precisione: TensorRT supporta la calibrazione della precisione, che consente di ottimizzare i modelli in base a requisiti specifici di accuratezza. Include il supporto per formati a precisione ridotta come INT8 e FP16, che possono aumentare ulteriormente la velocità di inferenza mantenendo livelli di accuratezza accettabili.

• Fusione dei livelli: il processo di ottimizzazione di TensorRT include la fusione dei livelli, in cui più livelli di una rete neurale vengono combinati in un'unica operazione. Questo riduce il carico computazionale e migliora la velocità di inferenza minimizzando gli accessi alla memoria e i calcoli.

• Gestione dinamica della memoria dei tensori: TensorRT gestisce in modo efficiente l'uso della memoria dei tensori durante l'inferenza, riducendo il carico sulla memoria e ottimizzandone l'allocazione. Questo si traduce in un uso più efficiente della memoria GPU.

• Ottimizzazione automatica dei kernel: TensorRT ottimizza automaticamente i kernel per selezionare il kernel GPU più efficiente per ogni livello del modello. Questo approccio adattivo garantisce che il modello sfrutti appieno la potenza di calcolo della GPU.

Opzioni di distribuzione in TensorRT#

Prima di esaminare il codice per esportare i modelli YOLO26 nel formato TensorRT, vediamo dove vengono normalmente usati i modelli TensorRT.

TensorRT offre diverse opzioni di distribuzione, ognuna delle quali bilancia in modo diverso la facilità di integrazione, l'ottimizzazione delle prestazioni e la flessibilità:

• Distribuzione all'interno di TensorFlow: questo metodo integra TensorRT in TensorFlow, consentendo l'esecuzione dei modelli ottimizzati in un ambiente TensorFlow familiare. È utile per i modelli che combinano livelli supportati e non supportati, perché TF-TRT è in grado di gestirli in modo efficiente.

• API runtime TensorRT standalone: offre un controllo granulare, ideale per le applicazioni in cui le prestazioni sono fondamentali. È più complessa, ma permette di implementare operatori non supportati in modo personalizzato.

• NVIDIA Triton Inference Server: un'opzione che supporta modelli di diversi framework. Particolarmente adatta all'inferenza nel cloud o edge, offre funzionalità come l'esecuzione simultanea di modelli e l'analisi dei modelli.

Attività supportate#

L'esportazione TensorRT supporta tutti e sette i task di Ultralytics. La segmentazione semantica e la stima della profondità sono disponibili solo con YOLO26, l'unica famiglia che include queste head.

Esportazione dei modelli YOLO26 in TensorRT#

Puoi migliorare l'efficienza di esecuzione e ottimizzare le prestazioni convertendo i modelli YOLO26 nel formato TensorRT.

Installazione#

Per installare il pacchetto richiesto, esegui:

# Install the required package for YOLO26
pip install ultralytics

Per istruzioni dettagliate e buone pratiche relative al processo di installazione, consulta la nostra guida all'installazione di YOLO26. Se durante l'installazione dei pacchetti necessari per YOLO26 riscontri difficoltà, consulta la nostra guida ai problemi comuni per trovare soluzioni e suggerimenti.

Utilizzo#

Prima di approfondire le istruzioni per l'uso, dai un'occhiata alla gamma di modelli YOLO26 offerti da Ultralytics. Ti aiuterà a scegliere il modello più adatto ai requisiti del tuo progetto.

Il formato TensorRT supporta le modalità Esporta, Predici e Convalida. L'inferenza e la convalida richiedono una GPU NVIDIA. Esporta il modello, quindi carica il modello esportato per eseguire l'inferenza o convalidarne l'accuratezza.

from ultralytics import YOLO

# Carica un modello YOLO26
model = YOLO("yolo26n.pt")

# Esporta il modello in formato TensorRT
model.export(format="engine")  # crea 'yolo26n.engine'

from ultralytics import YOLO

# Carica il modello TensorRT esportato
model = YOLO("yolo26n.engine")

# Esegui l'inferenza
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Carica il modello TensorRT esportato
model = YOLO("yolo26n.engine")

# # Convalida l'accuratezza sul dataset COCO8
metrics = model.val(data="coco8.yaml")

Argomenti di esportazione#

Per ulteriori dettagli sul processo di esportazione, visita la pagina della documentazione Ultralytics dedicata all'esportazione.

Esportazione TensorRT con quantizzazione INT8#

L'esportazione dei modelli Ultralytics YOLO con TensorRT e precisione INT8 esegue la quantizzazione post-addestramento (PTQ). Per la PTQ, TensorRT usa la calibrazione, che misura la distribuzione delle attivazioni all'interno di ciascun tensore di attivazione mentre il modello YOLO elabora l'inferenza su dati di input rappresentativi, quindi usa tale distribuzione per stimare i valori di scala di ogni tensore. Ogni tensore di attivazione candidato alla quantizzazione ha una scala associata, determinata tramite un processo di calibrazione. Un checkpoint ottimizzato con quantize=8 tramite addestramento consapevole della quantizzazione contiene già i propri intervalli INT8, quindi l'esportazione li usa e salta la calibrazione.

Quando elabora reti quantizzate in modo implicito, TensorRT usa INT8 in modo opportunistico per ottimizzare il tempo di esecuzione dei livelli. Se un livello viene eseguito più rapidamente in INT8 e ha scale di quantizzazione assegnate agli input e agli output dei suoi dati, a quel livello viene assegnato un kernel con precisione INT8; altrimenti TensorRT seleziona per il kernel una precisione FP32 o FP16, in base a quella che consente un'esecuzione più rapida del livello.

Configurazione dell'esportazione INT8#

Gli argomenti forniti durante l'esportazione di un modello Ultralytics YOLO influiranno notevolmente sulle prestazioni del modello esportato. Dovrai anche sceglierli in base alle risorse disponibili sul dispositivo; tuttavia, gli argomenti predefiniti dovrebbero funzionare con la maggior parte delle GPU discrete NVIDIA Ampere (o successive). Per le esportazioni su GPU viene usato l'algoritmo di calibrazione "MINMAX_CALIBRATION", mentre le esportazioni DLA su NVIDIA Jetson usano "ENTROPY_CALIBRATION_2". Puoi trovare maggiori dettagli sulle opzioni disponibili nella guida per sviluppatori di TensorRT. I test di Ultralytics hanno individuato in "MINMAX_CALIBRATION" la scelta migliore per le esportazioni su GPU; l'algoritmo viene selezionato automaticamente in base al dispositivo di esportazione.

• workspace : controlla la dimensione (in GiB) dell'allocazione di memoria del dispositivo durante la conversione dei pesi del modello.

  • Regola il valore di workspace in base alle tue esigenze di calibrazione e alle risorse disponibili. Sebbene un valore maggiore di workspace possa aumentare il tempo di calibrazione, consente a TensorRT di esplorare una gamma più ampia di strategie di ottimizzazione, migliorando potenzialmente le prestazioni e l'accuratezza del modello. Al contrario, un valore minore di workspace può ridurre il tempo di calibrazione, ma limitare le strategie di ottimizzazione e influire sulla qualità del modello quantizzato.

  • Il valore predefinito è workspace=None, che consente a TensorRT di allocare automaticamente la memoria; se la configurazione è manuale, potrebbe essere necessario aumentare questo valore se la calibrazione si interrompe (termina senza preavviso).

  • Durante l'esportazione, TensorRT segnalerà UNSUPPORTED_STATE se il valore di workspace supera la memoria disponibile sul dispositivo; in tal caso, il valore di workspace deve essere ridotto o impostato su None.

  • Se workspace è impostato sul valore massimo e la calibrazione non riesce o si interrompe, prova a usare None per l'allocazione automatica oppure riduci i valori di imgsz e batch per diminuire i requisiti di memoria.

  • Ricorda che la calibrazione INT8 è specifica per ogni dispositivo; prendere in prestito una GPU di fascia alta per la calibrazione può causare prestazioni scarse quando l'inferenza viene eseguita su un altro dispositivo.

• batch : la dimensione massima del batch che verrà usata per l'inferenza. Con dynamic=True è possibile usare batch più piccoli durante l'inferenza, ma non verranno accettati batch più grandi di quello specificato.

Dai loro esperimenti, NVIDIA ha concluso che per la calibrazione con quantizzazione INT8 è consigliabile usare almeno 500 immagini rappresentative dei dati del modello. Si tratta di un'indicazione, non di un requisito rigido, e dovrai sperimentare per stabilire cosa serve per ottenere buone prestazioni sul tuo dataset. Poiché i dati di calibrazione sono necessari per la calibrazione INT8 con TensorRT, assicurati di usare l'argomento data quando esporti per TensorRT a quantize=8 un checkpoint non addestrato con quantize=8 (quantizzazione post-addestramento); usa data="my_dataset.yaml", che userà le immagini della convalida per la calibrazione. Un checkpoint addestrato con quantize=8 salta la calibrazione, quindi in questo caso ometti data. Se durante l'esportazione in TensorRT con quantizzazione INT8 non viene passato alcun valore per data, verrà usato per impostazione predefinita uno dei dataset di esempio «small» basati sul task del modello, invece di generare un errore.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    quantize=8,
    data="coco.yaml",  # (4)!
)

# Carica il modello TensorRT INT8 esportato
model = YOLO("yolo26n.engine", task="detect")

# Esegui l'inferenza
result = model.predict("https://ultralytics.com/images/bus.jpg")

Vantaggi dell'utilizzo di YOLO con TensorRT INT8#

• Dimensioni del modello ridotte: La quantizzazione da FP32 a INT8 può ridurre le dimensioni del modello di 4 volte (su disco o in memoria), riducendo i tempi di download, i requisiti di archiviazione e l'ingombro in memoria durante la distribuzione di un modello.

• Consumo energetico inferiore: Le operazioni a precisione ridotta per i modelli YOLO esportati in INT8 possono consumare meno energia rispetto ai modelli FP32, soprattutto sui dispositivi alimentati a batteria.

• Velocità di inferenza migliorate: TensorRT ottimizza il modello per l'hardware di destinazione, accelerando potenzialmente l'inferenza su GPU, dispositivi embedded e acceleratori.

Svantaggi dell'utilizzo di YOLO con TensorRT INT8#

• Peggioramento delle metriche di valutazione: L'utilizzo di una precisione inferiore comporta probabilmente risultati leggermente peggiori per mAP, Precision, Recall o qualsiasi altra metrica utilizzata per valutare le prestazioni del modello. I livelli Sigmoid mantengono una precisione più elevata per preservare la calibrazione dei punteggi, ma INT8 può comunque modificare i valori di confidenza; scegli quindi la soglia operativa dalla curva F1 del modello INT8 stesso. Consulta la sezione sui risultati delle prestazioni per confrontare le differenze in mAP50 e mAP50-95 quando esporti con INT8 su un piccolo campione di dispositivi diversi.

• Tempi di sviluppo più lunghi: individuare le impostazioni "ottimali" per la calibrazione INT8 del dataset e del dispositivo può richiedere molti test.

• Dipendenza dall'hardware: la calibrazione e i miglioramenti delle prestazioni possono dipendere fortemente dall'hardware, e i pesi del modello sono meno trasferibili.

Prestazioni dell'esportazione Ultralytics YOLO TensorRT#

NVIDIA A100#

GPU consumer#

Dispositivi embedded#

Metodi di valutazione#

Espandi le sezioni qui sotto per scoprire come sono stati esportati e testati questi modelli.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=16)

# TensorRT INT8 con `data` per la calibrazione (ad es. COCO, ImageNet o DOTAv1 per l'attività del modello appropriata)
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=8, data="coco8.yaml"
)

import cv2

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 della stessa immagine
        verbose=False,
        device="cuda",
    )

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet o DOTAv1 per l'attività del modello appropriata
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

Distribuzione dei modelli YOLO26 esportati in TensorRT#

Dopo aver esportato correttamente i tuoi modelli Ultralytics YOLO26 nel formato TensorRT, puoi procedere alla distribuzione. Per istruzioni dettagliate sulla distribuzione dei modelli TensorRT in diversi contesti, consulta le seguenti risorse:

• Distribuire Ultralytics con Triton Server: la nostra guida all'utilizzo di Triton Inference Server di NVIDIA (precedentemente TensorRT Inference Server) specificamente con i modelli Ultralytics YOLO.

• Distribuzione di reti neurali profonde con NVIDIA TensorRT: questo articolo spiega come usare NVIDIA TensorRT per distribuire in modo efficiente reti neurali profonde su piattaforme di distribuzione basate su GPU.

• IA end-to-end per PC basati su NVIDIA: distribuzione con NVIDIA TensorRT: questo post del blog spiega come usare NVIDIA TensorRT per ottimizzare e distribuire modelli IA su PC basati su NVIDIA.

• Repository GitHub per NVIDIA TensorRT: il repository GitHub ufficiale che contiene il codice sorgente e la documentazione di NVIDIA TensorRT.

Riepilogo#

In questa guida ci siamo concentrati sulla conversione dei modelli Ultralytics YOLO26 nel formato di modello NVIDIA TensorRT. Questo passaggio è fondamentale per migliorare l'efficienza e la velocità dei modelli YOLO26, rendendoli più efficaci e adatti a diversi ambienti di distribuzione.

Per maggiori informazioni sull'utilizzo, consulta la documentazione ufficiale di TensorRT.

Se vuoi scoprire altre integrazioni di Ultralytics YOLO26, la nostra pagina delle guide alle integrazioni offre un'ampia selezione di risorse e approfondimenti utili.

Domande frequenti#