Esportazione del modello YOLO26 in TorchScript per una distribuzione rapida#

La distribuzione di modelli di visione artificiale in ambienti C++ senza Python richiede una rappresentazione serializzata portabile. TorchScript garantisce questa compatibilità per le applicazioni LibTorch legacy.

Esporta in TorchScript per serializzare i tuoi modelli Ultralytics YOLO26, garantendo compatibilità multipiattaforma e una distribuzione più semplice. Questa guida mostra come esportare i modelli YOLO26 nel formato TorchScript, così potrai usarli in una più ampia gamma di applicazioni.

Perché esportare in TorchScript?#

Sviluppato dagli autori di PyTorch, TorchScript è uno strumento per ottimizzare e distribuire modelli PyTorch su diverse piattaforme. Esportare i modelli YOLO26 in TorchScript aiuta a trasferirli dalla ricerca alle applicazioni reali. TorchScript, parte del framework PyTorch, semplifica questa transizione consentendo di usare i modelli PyTorch in ambienti che non supportano Python.

Il processo prevede due tecniche: tracing e scripting. Il tracing registra le operazioni durante l'esecuzione del modello, mentre lo scripting consente di definire i modelli usando un sottoinsieme di Python. Queste tecniche permettono a modelli come YOLO26 di funzionare al di fuori del loro consueto ambiente Python.

I modelli TorchScript possono essere ottimizzati anche con tecniche come la fusione degli operatori e il miglioramento dell'uso della memoria, così da garantire un'esecuzione efficiente. Un altro vantaggio dell'esportazione in TorchScript è la possibilità di accelerare l'esecuzione dei modelli su diverse piattaforme hardware. Crea una rappresentazione autonoma e pronta per la produzione del tuo modello PyTorch, integrabile in ambienti C++.

Caratteristiche principali dei modelli TorchScript#

TorchScript, componente fondamentale dell'ecosistema PyTorch, offre funzionalità per ottimizzare e distribuire modelli di deep learning.

Ecco le caratteristiche principali che rendono TorchScript uno strumento prezioso per gli sviluppatori:

• Esecuzione con grafo statico: TorchScript usa una rappresentazione a grafo statico dei calcoli del modello, diversa dall'esecuzione con grafo dinamico di PyTorch. Nell'esecuzione con grafo statico, il grafo di calcolo viene definito e compilato una sola volta prima dell'esecuzione vera e propria, migliorando così le prestazioni durante l'inferenza.

• Serializzazione del modello: TorchScript consente di serializzare i modelli PyTorch in un formato indipendente dalla piattaforma. I modelli serializzati possono essere caricati senza richiedere il codice Python originale, consentendo la distribuzione in diversi ambienti di runtime.

• Compilazione JIT: TorchScript usa la compilazione Just-In-Time (JIT) per convertire i modelli PyTorch in una rappresentazione intermedia ottimizzata. JIT compila il grafo di calcolo del modello, consentendo un'esecuzione efficiente sui dispositivi di destinazione.

• Conversione graduale: TorchScript offre un approccio di conversione graduale che consente di convertire progressivamente parti del modello PyTorch in TorchScript. Questa flessibilità è particolarmente utile con i modelli complessi o quando vuoi ottimizzare parti specifiche del codice.

Opzioni di distribuzione con TorchScript#

Prima di esaminare il codice per esportare i modelli YOLO26 nel formato TorchScript, ecco alcuni contesti in cui vengono solitamente usati i modelli TorchScript.

TorchScript offre diverse opzioni per distribuire modelli di machine learning, ad esempio:

• API C++: il caso d'uso più comune di TorchScript è la sua API C++ LibTorch, che consente di caricare ed eseguire modelli TorchScript ottimizzati direttamente nelle applicazioni C++. È ideale negli ambienti di produzione in cui Python potrebbe non essere adatto o disponibile. L'API C++ offre un'esecuzione efficiente dei modelli TorchScript con un overhead ridotto, massimizzando le prestazioni potenziali.

• Distribuzione su dispositivi mobili: per l'inferenza a bassa latenza e offline e la privacy dei dati sui dispositivi mobili, usa ExecuTorch, il sostituto di PyTorch per TorchScript Mobile.

• Distribuzione nel cloud: i modelli TorchScript possono essere distribuiti su server cloud utilizzando soluzioni come NVIDIA Triton Inference Server. Offre funzionalità come il controllo delle versioni dei modelli, l'elaborazione in batch e il monitoraggio delle metriche per una distribuzione scalabile negli ambienti di produzione. La distribuzione nel cloud con TorchScript può rendere i tuoi modelli accessibili tramite API o altri servizi web.

Attività supportate#

L'esportazione TorchScript supporta tutti e sette i task Ultralytics. La segmentazione semantica e la stima della profondità sono disponibili solo con YOLO26, l'unica famiglia che include queste head.

Esportazione in TorchScript: conversione del modello YOLO26#

Esportare i modelli YOLO26 in TorchScript semplifica l'esecuzione al di fuori di Python, ad esempio nelle applicazioni C++ basate su LibTorch.

Installazione#

Per installare il pacchetto richiesto, esegui:

# Install the required package for YOLO26
pip install ultralytics

Per istruzioni dettagliate e best practice sulla procedura di installazione, consulta la nostra guida all'installazione di Ultralytics. Se durante l'installazione dei pacchetti necessari per YOLO26 riscontri difficoltà, consulta la nostra guida ai problemi comuni per trovare soluzioni e suggerimenti.

Utilizzo#

Tutti i modelli Ultralytics YOLO26 sono progettati per supportare l'esportazione senza configurazioni aggiuntive, semplificando l'integrazione nel workflow di distribuzione che preferisci. Puoi consultare l'elenco completo dei formati di esportazione supportati e delle opzioni di configurazione per scegliere la configurazione più adatta alla tua applicazione.

Il formato TorchScript supporta le modalità Esporta, Prevedi e Convalida. Esporta il modello, quindi carica il modello esportato per eseguire inferenze o convalidarne la precisione.

from ultralytics import YOLO

# Carica un modello YOLO26
model = YOLO("yolo26n.pt")

# Esporta il modello nel formato TorchScript
model.export(format="torchscript")  # crea 'yolo26n.torchscript'

from ultralytics import YOLO

# Carica il modello TorchScript esportato
model = YOLO("yolo26n.torchscript")

# Esegui l'inferenza
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Carica il modello TorchScript esportato
model = YOLO("yolo26n.torchscript")

# # Convalida l'accuratezza sul dataset COCO8
metrics = model.val(data="coco8.yaml")

Argomenti di esportazione#

Per ulteriori dettagli sul processo di esportazione, visita la pagina della documentazione Ultralytics dedicata all'esportazione.

Distribuzione dei modelli YOLO26 TorchScript esportati#

Dopo aver esportato correttamente i modelli Ultralytics YOLO26 nel formato TorchScript, puoi distribuirli. Il primo passaggio consigliato per eseguire un modello TorchScript consiste nell'usare il metodo YOLO("model.torchscript"), come illustrato nello snippet di codice d'uso precedente. Per istruzioni dettagliate sulla distribuzione dei modelli TorchScript in altri contesti, consulta le seguenti risorse:

• Scopri la distribuzione su dispositivi mobili: per l'attuale distribuzione di PyTorch su dispositivi mobili, usa la pipeline separata torch.export() → .pte di ExecuTorch.

• Padroneggia la distribuzione lato server: scopri come servire modelli TorchScript con il backend PyTorch di NVIDIA Triton Inference Server per un servizio dei modelli scalabile ed efficiente.

• Implementa la distribuzione in C++: approfondisci il tutorial sul caricamento di un modello TorchScript in C++, che facilita l'integrazione dei tuoi modelli TorchScript nelle applicazioni C++ per migliorare prestazioni e versatilità.

Riepilogo#

Questa guida ha illustrato l'esportazione dei modelli Ultralytics YOLO26 nel formato TorchScript. Seguendo le istruzioni fornite, puoi ottimizzare le prestazioni dei modelli YOLO26 e distribuirli con flessibilità su diverse piattaforme e in vari ambienti.

Per ulteriori dettagli sull'utilizzo, consulta la documentazione ufficiale di TorchScript.

Domande frequenti#