Analisi comparativa delle opzioni di deployment di YOLO11

Introduzione

Hai fatto molta strada nel tuo percorso con YOLO11. Hai raccolto diligentemente i dati, li hai annotati meticolosamente e hai dedicato ore all'addestramento e alla valutazione rigorosa del tuo modello YOLO11 personalizzato. Ora è il momento di mettere il tuo modello al lavoro per la tua specifica applicazione, caso d'uso o progetto. Ma c'è una decisione critica che ti sta davanti: come esportare ed effettuare il deployment del tuo modello in modo efficace.

Guarda: Come scegliere il miglior formato di distribuzione Ultralytics YOLO11 per il tuo progetto | TensorRT | OpenVINO 🚀

Questa guida ti illustra le opzioni di deployment di YOLO11 e i fattori essenziali da considerare per scegliere l'opzione giusta per il tuo progetto.

Come selezionare l'opzione di deployment giusta per il tuo modello YOLO11

Quando è il momento di effettuare il deployment del tuo modello YOLO11, la selezione di un formato di esportazione adatto è molto importante. Come indicato nella documentazione sulle modalità di Ultralytics YOLO11, la funzione model.export() consente di convertire il modello addestrato in una varietà di formati adatti a diversi ambienti ed esigenze di prestazioni.

Il formato ideale dipende dal contesto operativo previsto del tuo modello, bilanciando velocità, vincoli hardware e facilità di integrazione. Nella sezione seguente, esamineremo più da vicino ciascuna opzione di esportazione, comprendendo quando scegliere ciascuna di esse.

Opzioni di deployment di YOLO11

Esaminiamo le diverse opzioni di deployment di YOLO11. Per una guida dettagliata al processo di esportazione, visita la pagina della documentazione di Ultralytics sull'esportazione.

PyTorch

PyTorch è una libreria di machine learning open source ampiamente utilizzata per applicazioni di deep learning e intelligenza artificiale. Fornisce un alto livello di flessibilità e velocità, il che lo ha reso uno dei preferiti tra ricercatori e sviluppatori.

• Benchmark delle prestazioni: PyTorch è noto per la sua facilità d'uso e flessibilità, il che può comportare un leggero compromesso nelle prestazioni pure rispetto ad altri framework più specializzati e ottimizzati.
• Compatibilità e integrazione: Offre un'eccellente compatibilità con varie librerie di data science e machine learning in python.
• Supporto della community ed ecosistema: Una delle community più vivaci, con ampie risorse per l'apprendimento e la risoluzione dei problemi.
• Case study: Comunemente utilizzato nei prototipi di ricerca, molti articoli accademici fanno riferimento a modelli distribuiti in PyTorch.
• Manutenzione e aggiornamenti: Aggiornamenti regolari con sviluppo attivo e supporto per nuove funzionalità.
• Considerazioni sulla sicurezza: Patch regolari per problemi di sicurezza, ma la sicurezza dipende in gran parte dall'ambiente complessivo in cui viene distribuito.
• Accelerazione hardware: Supporta CUDA per l'accelerazione GPU, essenziale per accelerare l'addestramento e l'inferenza del modello.

TorchScript

TorchScript estende le capacità di PyTorch consentendo l'esportazione di modelli da eseguire in un ambiente runtime C++. Questo lo rende adatto per ambienti di produzione in cui python non è disponibile.

• Benchmark delle prestazioni: Può offrire prestazioni migliorate rispetto a PyTorch nativo, specialmente in ambienti di produzione.
• Compatibilità e integrazione: Progettato per una transizione fluida da PyTorch ad ambienti di produzione C++, anche se alcune funzionalità avanzate potrebbero non essere tradotte perfettamente.
• Supporto della community ed ecosistema: Beneficia dell'ampia community di PyTorch, ma ha una portata più ristretta di sviluppatori specializzati.
• Case study: Ampiamente utilizzato in contesti industriali in cui l'overhead delle prestazioni di python è un collo di bottiglia.
• Manutenzione e aggiornamenti: Mantenuto in parallelo con PyTorch con aggiornamenti costanti.
• Considerazioni sulla sicurezza: Offre una maggiore sicurezza consentendo l'esecuzione di modelli in ambienti senza installazioni python complete.
• Accelerazione hardware: Eredita il supporto CUDA di PyTorch, garantendo un utilizzo efficiente della GPU.

ONNX

Open Neural Network Exchange (ONNX) è un formato che consente l'interoperabilità dei modelli tra diversi framework, il che può essere fondamentale quando si esegue il deployment su varie piattaforme.

• Benchmark delle prestazioni: I modelli ONNX possono sperimentare prestazioni variabili a seconda del runtime specifico su cui vengono implementati.
• Compatibilità e integrazione: Elevata interoperabilità tra più piattaforme e hardware grazie alla sua natura indipendente dal framework.
• Supporto della community ed ecosistema: Supportato da molte organizzazioni, il che porta a un ampio ecosistema e a una varietà di strumenti per l'ottimizzazione.
• Case study: Utilizzato frequentemente per spostare modelli tra diversi framework di machine learning, dimostrandone la flessibilità.
• Manutenzione e aggiornamenti: In quanto standard aperto, ONNX viene regolarmente aggiornato per supportare nuove operazioni e modelli.
• Considerazioni sulla sicurezza: Come con qualsiasi strumento multipiattaforma, è essenziale garantire pratiche sicure nella pipeline di conversione e implementazione.
• Accelerazione hardware: Con ONNX Runtime, i modelli possono sfruttare varie ottimizzazioni hardware.

OpenVINO

OpenVINO è un toolkit Intel progettato per facilitare l'implementazione di modelli di deep learning su hardware Intel, migliorando prestazioni e velocità.

• Benchmark delle prestazioni: Ottimizzato specificamente per CPU, GPU e VPU Intel, offre significativi incrementi di prestazioni su hardware compatibile.
• Compatibilità e integrazione: Funziona meglio all'interno dell'ecosistema Intel, ma supporta anche una gamma di altre piattaforme.
• Supporto della community ed ecosistema: Supportato da Intel, con una solida base di utenti soprattutto nel dominio della computer vision.
• Case study: Spesso utilizzato in scenari IoT e di edge computing in cui l'hardware Intel è prevalente.
• Manutenzione e aggiornamenti: Intel aggiorna regolarmente OpenVINO per supportare i modelli di deep learning e l'hardware Intel più recenti.
• Considerazioni sulla sicurezza: Fornisce solide funzionalità di sicurezza adatte per l'implementazione in applicazioni sensibili.
• Accelerazione hardware: Realizzato su misura per l'accelerazione su hardware Intel, sfruttando set di istruzioni dedicati e funzionalità hardware.

Per maggiori dettagli sull'implementazione tramite OpenVINO, fare riferimento alla documentazione sull'integrazione di Ultralytics: Esportazione Intel OpenVINO.

TensorRT

TensorRT è un runtime e ottimizzatore di inferenza di deep learning ad alte prestazioni di NVIDIA, ideale per applicazioni che richiedono velocità ed efficienza.

• Benchmark delle prestazioni: Offre prestazioni di alto livello sulle GPU NVIDIA con supporto per l'inferenza ad alta velocità.
• Compatibilità e integrazione: Più adatto per hardware NVIDIA, con supporto limitato al di fuori di questo ambiente.
• Supporto della community ed ecosistema: Forte rete di supporto tramite i forum per sviluppatori e la documentazione di NVIDIA.
• Case study: Ampiamente adottato in settori che richiedono inferenza in tempo reale su dati video e immagini.
• Manutenzione e aggiornamenti: NVIDIA gestisce TensorRT con aggiornamenti frequenti per migliorare le prestazioni e supportare nuove architetture GPU.
• Considerazioni sulla sicurezza: Come molti prodotti NVIDIA, pone una forte enfasi sulla sicurezza, ma i dettagli dipendono dall'ambiente di implementazione.
• Accelerazione hardware: Progettato esclusivamente per GPU NVIDIA, fornendo ottimizzazione e accelerazione approfondite.

Per maggiori informazioni sul deployment di TensorRT, consultare la guida all'integrazione di TensorRT.

CoreML

CoreML è il framework di machine learning di Apple, ottimizzato per le prestazioni on-device nell'ecosistema Apple, inclusi iOS, macOS, watchOS e tvOS.

• Benchmark delle prestazioni: Ottimizzato per le prestazioni on-device su hardware Apple con un consumo minimo della batteria.
• Compatibilità e integrazione: Esclusivamente per l'ecosistema Apple, fornendo un flusso di lavoro semplificato per le applicazioni iOS e macOS.
• Supporto della community ed ecosistema: Forte supporto da parte di Apple e di una community di sviluppatori dedicata, con ampia documentazione e strumenti.
• Case study: Comunemente utilizzato in applicazioni che richiedono funzionalità di machine learning on-device su prodotti Apple.
• Manutenzione e aggiornamenti: Regolarmente aggiornato da Apple per supportare i più recenti progressi del machine learning e l'hardware Apple.
• Considerazioni sulla sicurezza: Beneficia dell'attenzione di Apple per la privacy degli utenti e la sicurezza dei dati.
• Accelerazione hardware: Sfrutta appieno il neural engine e la GPU di Apple per attività di machine learning accelerate.

TF SavedModel

TF SavedModel è il formato di TensorFlow per salvare e servire modelli di machine learning, particolarmente adatto per ambienti server scalabili.

• Benchmark delle prestazioni: Offre prestazioni scalabili in ambienti server, specialmente se utilizzato con TensorFlow Serving.
• Compatibilità e integrazione: Ampia compatibilità in tutto l'ecosistema di TensorFlow, comprese le implementazioni cloud e server aziendali.
• Supporto della community ed ecosistema: Ampio supporto della community grazie alla popolarità di TensorFlow, con una vasta gamma di strumenti per l'implementazione e l'ottimizzazione.
• Case study: Ampiamente utilizzato in ambienti di produzione per servire modelli di deep learning su larga scala.
• Manutenzione e aggiornamenti: Supportato da Google e dalla community di TensorFlow, garantendo aggiornamenti regolari e nuove funzionalità.
• Considerazioni sulla sicurezza: L'implementazione tramite TensorFlow Serving include solide funzionalità di sicurezza per applicazioni di livello enterprise.
• Accelerazione hardware: Supporta varie accelerazioni hardware tramite i backend di TensorFlow.

TF GraphDef

TF GraphDef è un formato TensorFlow che rappresenta il modello come un grafo, il che è vantaggioso per ambienti in cui è richiesto un grafo di calcolo statico.

• Benchmark delle prestazioni: Fornisce prestazioni stabili per grafi di calcolo statici, con particolare attenzione alla coerenza e all'affidabilità.
• Compatibilità e integrazione: Si integra facilmente nell'infrastruttura di TensorFlow, ma è meno flessibile rispetto a SavedModel.
• Supporto della community ed ecosistema: Buon supporto da parte dell'ecosistema di TensorFlow, con molte risorse disponibili per l'ottimizzazione dei grafi statici.
• Case study: Utile in scenari in cui è necessario un grafo statico, come in alcuni sistemi embedded.
• Manutenzione e aggiornamenti: Aggiornamenti regolari insieme agli aggiornamenti principali di TensorFlow.
• Considerazioni sulla sicurezza: Garantisce una distribuzione sicura con le pratiche di sicurezza consolidate di TensorFlow.
• Accelerazione hardware: Può utilizzare le opzioni di accelerazione hardware di TensorFlow, anche se non flessibile come SavedModel.

Scopri di più su TF GraphDef nella nostra guida all'integrazione di TF GraphDef.

TF Lite

TF Lite è la soluzione di TensorFlow per il machine learning su dispositivi mobili ed embedded, che fornisce una libreria leggera per l'inferenza on-device.

• Benchmark delle prestazioni: Progettato per velocità ed efficienza su dispositivi mobili ed embedded.
• Compatibilità e integrazione: Può essere utilizzato su un'ampia gamma di dispositivi grazie alla sua natura leggera.
• Supporto della community ed ecosistema: Supportato da Google, ha una solida community e un numero crescente di risorse per gli sviluppatori.
• Case study: Popolare nelle applicazioni mobile che richiedono inferenza on-device con un footprint minimo.
• Manutenzione e aggiornamenti: Aggiornato regolarmente per includere le funzionalità e le ottimizzazioni più recenti per i dispositivi mobili.
• Considerazioni sulla sicurezza: Fornisce un ambiente sicuro per l'esecuzione di modelli sui dispositivi degli utenti finali.
• Accelerazione hardware: Supporta una varietà di opzioni di accelerazione hardware, tra cui GPU e DSP.

TF Edge TPU

TF Edge TPU è progettato per un calcolo efficiente e ad alta velocità sull'hardware Edge TPU di Google, perfetto per i dispositivi IoT che richiedono l'elaborazione in tempo reale.

• Benchmark delle prestazioni: Specificamente ottimizzato per un calcolo efficiente e ad alta velocità sull'hardware Edge TPU di Google.
• Compatibilità e integrazione: Funziona esclusivamente con i modelli TensorFlow Lite sui dispositivi Edge TPU.
• Supporto della community ed ecosistema: Supporto crescente con risorse fornite da Google e sviluppatori di terze parti.
• Case study: Utilizzato in dispositivi e applicazioni IoT che richiedono l'elaborazione in tempo reale con bassa latenza.
• Manutenzione e aggiornamenti: Continuamente migliorato per sfruttare le capacità delle nuove versioni hardware di Edge TPU.
• Considerazioni sulla sicurezza: Si integra con la solida sicurezza di Google per i dispositivi IoT ed edge.
• Accelerazione hardware: Progettato su misura per sfruttare appieno i dispositivi Google Coral.

TF.js

TensorFlow.js (TF.js) è una libreria che porta le capacità di machine learning direttamente nel browser, offrendo un nuovo regno di possibilità per gli sviluppatori web e gli utenti. Consente l'integrazione di modelli di machine learning nelle applicazioni web senza la necessità di un'infrastruttura back-end.

• Benchmark delle prestazioni: Abilita il machine learning direttamente nel browser con prestazioni ragionevoli, a seconda del dispositivo client.
• Compatibilità e integrazione: Elevata compatibilità con le tecnologie web, consentendo una facile integrazione nelle applicazioni web.
• Supporto della community ed ecosistema: Supporto da una community di sviluppatori web e Node.js, con una varietà di strumenti per il deployment di modelli di machine learning nei browser.
• Case study: Ideale per applicazioni web interattive che beneficiano del machine learning lato client senza la necessità di elaborazione lato server.
• Manutenzione e aggiornamenti: Gestito dal team di TensorFlow con contributi dalla community open source.
• Considerazioni sulla sicurezza: Viene eseguito all'interno del contesto sicuro del browser, utilizzando il modello di sicurezza della piattaforma web.
• Accelerazione hardware: Le prestazioni possono essere migliorate con API basate sul web che accedono all'accelerazione hardware come WebGL.

PaddlePaddle

PaddlePaddle è un framework open source di deep learning sviluppato da Baidu. È progettato per essere efficiente per i ricercatori e facile da usare per gli sviluppatori. È particolarmente popolare in Cina e offre supporto specializzato per l'elaborazione del linguaggio cinese.

• Benchmark delle prestazioni: Offre prestazioni competitive con particolare attenzione alla facilità d'uso e alla scalabilità.
• Compatibilità e integrazione: Ben integrato nell'ecosistema di Baidu e supporta una vasta gamma di applicazioni.
• Supporto della community ed ecosistema: Sebbene la community sia più piccola a livello globale, è in rapida crescita, soprattutto in Cina.
• Case study: Comunemente utilizzato nei mercati cinesi e dagli sviluppatori che cercano alternative ad altri framework principali.
• Manutenzione e aggiornamenti: Aggiornato regolarmente con particolare attenzione alla fornitura di applicazioni e servizi di intelligenza artificiale in lingua cinese.
• Considerazioni sulla sicurezza: Enfatizza la privacy dei dati e la sicurezza, soddisfacendo gli standard cinesi di governance dei dati.
• Accelerazione hardware: Supporta varie accelerazioni hardware, inclusi i chip Kunlun di Baidu.

MNN

MNN è un framework di deep learning altamente efficiente e leggero. Supporta l'inferenza e l'addestramento di modelli di deep learning e ha prestazioni leader del settore per l'inferenza e l'addestramento on-device. Inoltre, MNN viene utilizzato anche su dispositivi embedded, come l'IoT.

• Benchmark delle Prestazioni: Alte prestazioni per dispositivi mobili con eccellente ottimizzazione per sistemi ARM.
• Compatibilità e integrazione: Funziona bene con sistemi ARM mobili ed embedded e architetture CPU X86-64.
• Supporto della community ed ecosistema: Supportato dalla community del machine learning mobile ed embedded.
• Casi di studio: Ideale per applicazioni che richiedono prestazioni efficienti su sistemi mobili.
• Manutenzione e Aggiornamenti: Regolarmente manutenuto per garantire elevate prestazioni sui dispositivi mobili.
• Considerazioni sulla sicurezza: Fornisce vantaggi di sicurezza sul dispositivo mantenendo i dati in locale.
• Accelerazione hardware: Ottimizzato per CPU e GPU ARM per la massima efficienza.

NCNN

NCNN è un framework di inferenza di rete neurale ad alte prestazioni ottimizzato per la piattaforma mobile. Si distingue per la sua natura leggera ed efficienza, rendendolo particolarmente adatto per dispositivi mobili ed embedded dove le risorse sono limitate.

• Benchmark delle prestazioni: Altamente ottimizzato per piattaforme mobili, offre un'inferenza efficiente su dispositivi basati su ARM.
• Compatibilità e integrazione: Adatto per applicazioni su telefoni cellulari e sistemi embedded con architettura ARM.
• Supporto della community ed ecosistema: Supportato da una community di nicchia ma attiva, focalizzata su applicazioni ML mobili ed embedded.
• Case study: Preferito per applicazioni mobili dove efficienza e velocità sono fondamentali su Android e altri sistemi basati su ARM.
• Manutenzione e aggiornamenti: Continuamente migliorato per mantenere prestazioni elevate su una vasta gamma di dispositivi ARM.
• Considerazioni sulla sicurezza: Si concentra sull'esecuzione locale sul dispositivo, sfruttando la sicurezza intrinseca dell'elaborazione on-device.
• Accelerazione hardware: Realizzato su misura per CPU e GPU ARM, con ottimizzazioni specifiche per queste architetture.

Analisi comparativa delle opzioni di deployment di YOLO11

La seguente tabella fornisce un'istantanea delle varie opzioni di deployment disponibili per i modelli YOLO11, aiutandoti a valutare quale potrebbe adattarsi meglio alle esigenze del tuo progetto in base a diversi criteri critici. Per uno sguardo approfondito al formato di ciascuna opzione di deployment, consulta la pagina della documentazione di Ultralytics sui formati di esportazione.

Questa analisi comparativa offre una panoramica generale. Per l'implementazione, è essenziale considerare i requisiti e i vincoli specifici del tuo progetto e consultare la documentazione dettagliata e le risorse disponibili per ciascuna opzione.

Community e supporto

Quando si inizia a utilizzare YOLO11, avere una community e un supporto utili può fare una grande differenza. Ecco come entrare in contatto con altri che condividono i tuoi interessi e ottenere l'assistenza di cui hai bisogno.

Interagisci con la community più ampia

• Discussioni su GitHub: Il repository YOLO11 su GitHub ha una sezione "Discussioni" dove puoi porre domande, segnalare problemi e suggerire miglioramenti.
• Server Discord di Ultralytics: Ultralytics ha un server Discord dove puoi interagire con altri utenti e sviluppatori.

Documentazione e risorse ufficiali

• Documentazione di Ultralytics YOLO11: La documentazione ufficiale fornisce una panoramica completa di YOLO11, insieme a guide sull'installazione, l'utilizzo e la risoluzione dei problemi.

Queste risorse ti aiuteranno ad affrontare le sfide e a rimanere aggiornato sulle ultime tendenze e sulle migliori pratiche nella community di YOLO11.

Conclusione

In questa guida, abbiamo esplorato le diverse opzioni di implementazione per YOLO11. Abbiamo anche discusso i fattori importanti da considerare quando si effettua la scelta. Queste opzioni ti consentono di personalizzare il tuo modello per vari ambienti e requisiti di prestazioni, rendendolo adatto per applicazioni reali.

Non dimenticare che YOLO11 e la community di Ultralytics sono una preziosa fonte di aiuto. Entra in contatto con altri sviluppatori ed esperti per imparare suggerimenti e soluzioni uniche che potresti non trovare nella normale documentazione. Continua a cercare conoscenza, esplorare nuove idee e condividere le tue esperienze.

Buona implementazione!

FAQ

Quali sono le opzioni di deployment disponibili per YOLO11 su diverse piattaforme hardware?

Ultralytics YOLO11 supporta vari formati di implementazione, ciascuno progettato per ambienti e piattaforme hardware specifici. I formati principali includono:

• PyTorch per la ricerca e la prototipazione, con un'eccellente integrazione python.
• TorchScript per ambienti di produzione in cui python non è disponibile.
• ONNX per la compatibilità multipiattaforma e l'accelerazione hardware.
• OpenVINO per prestazioni ottimizzate su hardware Intel.
• TensorRT per l'inferenza ad alta velocità su GPU NVIDIA.

Ogni formato ha vantaggi unici. Per una guida dettagliata, consulta la nostra documentazione sul processo di esportazione.

Come posso migliorare la velocità di inferenza del mio modello YOLO11 su una CPU Intel?

Per migliorare la velocità di inferenza sulle CPU Intel, puoi implementare il tuo modello YOLO11 utilizzando il toolkit OpenVINO di Intel. OpenVINO offre significativi incrementi di prestazioni ottimizzando i modelli per sfruttare in modo efficiente l'hardware Intel.

1. Converti il tuo modello YOLO11 nel formato OpenVINO utilizzando il model.export() funzione.
2. Segui la guida di configurazione dettagliata nella documentazione sull'esportazione Intel OpenVINO.

Per ulteriori approfondimenti, consulta il nostro post del blog.

Posso effettuare il deployment di modelli YOLO11 su dispositivi mobili?

Sì, i modelli YOLO11 possono essere implementati su dispositivi mobili utilizzando TensorFlow Lite (TF Lite) sia per piattaforme Android che iOS. TF Lite è progettato per dispositivi mobili e embedded, fornendo un'inferenza efficiente sul dispositivo.

# Export command for TFLite format
model.export(format="tflite")

# CLI command for TFLite export
yolo export --format tflite

Per maggiori dettagli sull'implementazione di modelli su dispositivi mobili, consulta la nostra guida all'integrazione di TF Lite.

Quali fattori devo considerare quando scelgo un formato di deployment per il mio modello YOLO11?

Quando scegli un formato di implementazione per YOLO11, considera i seguenti fattori:

• Prestazioni: Alcuni formati come TensorRT offrono velocità eccezionali su GPU NVIDIA, mentre OpenVINO è ottimizzato per hardware Intel.
• Compatibilità: ONNX offre un'ampia compatibilità tra diverse piattaforme.
• Facilità di integrazione: Formati come CoreML o TF Lite sono pensati per ecosistemi specifici come iOS e Android, rispettivamente.
• Supporto della community: Formati come PyTorch e TensorFlow dispongono di ampie risorse e supporto da parte della community.

Per un'analisi comparativa, consultare la nostra documentazione sui formati di esportazione.

Come posso effettuare il deployment di modelli YOLO11 in un'applicazione web?

Per distribuire modelli YOLO11 in un'applicazione web, è possibile utilizzare TensorFlow.js (TF.js), che consente di eseguire modelli di machine learning direttamente nel browser. Questo approccio elimina la necessità di un'infrastruttura backend e offre prestazioni in tempo reale.

1. Esporta il modello YOLO11 nel formato TF.js.
2. Integra il modello esportato nella tua applicazione web.

Per istruzioni dettagliate, consulta la nostra guida sull'integrazione di TensorFlow.js.

📅 Creato 1 anno fa ✏️ Aggiornato 3 mesi fa

Commenti