Conoscere le opzioni di distribuzione di YOLO11

Introduzione

Avete fatto molta strada nel vostro viaggio con YOLO11. Avete raccolto diligentemente i dati, li avete annotati meticolosamente e avete dedicato molte ore all'addestramento e alla valutazione rigorosa del vostro modello YOLO11 personalizzato. Ora è giunto il momento di mettere il modello al lavoro per la vostra specifica applicazione, caso d'uso o progetto. Ma c'è una decisione cruciale da prendere: come esportare e distribuire il modello in modo efficace.

Questa guida illustra le opzioni di distribuzione di YOLO11 e i fattori essenziali da considerare per scegliere l'opzione giusta per il vostro progetto.

Come selezionare la giusta opzione di distribuzione per il vostro modello YOLO11

Quando è il momento di distribuire il modello YOLO11 , la scelta di un formato di esportazione adeguato è molto importante. Come indicato nella documentazione diUltralytics YOLO11 Modes, la funzione model.export() consente di convertire il modello addestrato in una varietà di formati adatti a diversi ambienti e requisiti di prestazione.

Il formato ideale dipende dal contesto operativo previsto per il modello, bilanciando velocità, vincoli hardware e facilità di integrazione. Nella sezione seguente analizzeremo più da vicino ogni opzione di esportazione e capiremo quando scegliere ciascuna di esse.

YOLO11Opzioni di distribuzione

Esaminiamo le diverse opzioni di distribuzione di YOLO11 . Per una descrizione dettagliata del processo di esportazione, visitate la pagina di documentazione diUltralytics sull'esportazione.

PyTorch

PyTorch è una libreria open-source per l'apprendimento automatico ampiamente utilizzata per applicazioni di deep learning e intelligenza artificiale. Offre un elevato livello di flessibilità e velocità, che l'ha resa una delle preferite da ricercatori e sviluppatori.

• Benchmark delle prestazioni: PyTorch è noto per la sua facilità d'uso e la sua flessibilità, il che può comportare un leggero compromesso nelle prestazioni grezze rispetto ad altri framework più specializzati e ottimizzati.

• Compatibilità e integrazione: Offre un'eccellente compatibilità con diverse librerie di data science e machine learning in Python.

• Supporto ed ecosistema della comunità: Una delle comunità più vivaci, con ampie risorse per l'apprendimento e la risoluzione dei problemi.

• Casi di studio: Utilizzati comunemente nei prototipi di ricerca, molti documenti accademici fanno riferimento a modelli implementati in PyTorch.

• Manutenzione e aggiornamenti: Aggiornamenti regolari con sviluppo attivo e supporto per nuove funzionalità.

• Considerazioni sulla sicurezza: Patch regolari per i problemi di sicurezza, ma la sicurezza dipende in larga misura dall'ambiente complessivo in cui viene distribuito.

• Accelerazione hardware: Supporta CUDA per l'accelerazione di GPU , essenziale per accelerare l'addestramento e l'inferenza dei modelli.

TorchScript

TorchScript estende le capacità di PyTorch consentendo l'esportazione di modelli da eseguire in un ambiente runtime C++. Ciò lo rende adatto agli ambienti di produzione in cui Python non è disponibile.

• Benchmark delle prestazioni: Può offrire prestazioni migliori rispetto a PyTorch nativo, soprattutto negli ambienti di produzione.

• Compatibilità e integrazione: Progettato per una transizione perfetta da PyTorch agli ambienti di produzione C++, anche se alcune funzioni avanzate potrebbero non essere perfettamente tradotte.

• Supporto ed ecosistema della comunità: Beneficia dell'ampia comunità di PyTorch, ma ha un ambito più ristretto di sviluppatori specializzati.

• Casi di studio: Ampiamente utilizzato in contesti industriali dove l'overhead delle prestazioni di Python rappresenta un collo di bottiglia.

• Manutenzione e aggiornamenti: Mantenuto insieme a PyTorch con aggiornamenti costanti.

• Considerazioni sulla sicurezza: Offre una maggiore sicurezza consentendo l'esecuzione di modelli in ambienti senza installazioni complete di Python .

• Accelerazione hardware: Eredita il supporto di PyTorch'CUDA , garantendo un utilizzo efficiente di GPU .

ONNX

L'Open Neural Network Exchange (ONNX) è un formato che consente l'interoperabilità dei modelli tra diversi framework, che può essere fondamentale quando si distribuiscono su varie piattaforme.

• Benchmark delle prestazioni: i modelli di ONNX possono avere prestazioni variabili a seconda del runtime specifico su cui vengono distribuiti.

• Compatibilità e integrazione: Elevata interoperabilità su più piattaforme e hardware grazie alla sua natura di framework-agnostic.

• Supporto ed ecosistema della comunità: Supportato da molte organizzazioni, che hanno dato vita a un ampio ecosistema e a una varietà di strumenti per l'ottimizzazione.

• Casi di studio: Viene spesso utilizzato per spostare i modelli tra diversi framework di apprendimento automatico, dimostrando la sua flessibilità.

• Manutenzione e aggiornamenti: Essendo uno standard aperto, ONNX viene regolarmente aggiornato per supportare nuove operazioni e modelli.

• Considerazioni sulla sicurezza: Come per qualsiasi strumento multipiattaforma, è essenziale garantire pratiche sicure nella pipeline di conversione e distribuzione.

• Accelerazione hardware: Con ONNX Runtime, i modelli possono sfruttare diverse ottimizzazioni hardware.

OpenVINO

OpenVINO è un toolkit di Intel progettato per facilitare l'implementazione di modelli di deep learning sull'hardware di Intel , migliorando le prestazioni e la velocità.

• Benchmark delle prestazioni: Ottimizzato specificamente per le CPU, le GPU e le VPU di Intel , offre un significativo incremento delle prestazioni su hardware compatibile.

• Compatibilità e integrazione: Funziona al meglio all'interno dell'ecosistema Intel , ma supporta anche una serie di altre piattaforme.

• Supporto ed ecosistema della comunità: Sostenuto da Intel, con una solida base di utenti soprattutto nel campo della computer vision.

• Casi di studio: Spesso utilizzato in scenari IoT e di edge computing in cui è prevalente l'hardware Intel .

• Manutenzione e aggiornamenti: Intel aggiorna regolarmente OpenVINO per supportare i più recenti modelli di deep learning e Intel hardware.

• Considerazioni sulla sicurezza: Offre robuste funzioni di sicurezza adatte all'impiego in applicazioni sensibili.

• Accelerazione hardware: Personalizzata per l'accelerazione su hardware Intel , sfruttando set di istruzioni e caratteristiche hardware dedicate.

Per ulteriori dettagli sulla distribuzione utilizzando OpenVINO, consultare la documentazione sull'integrazione di Ultralytics : Intel OpenVINO Esportazione.

TensorRT

TensorRT è un ottimizzatore di inferenze di deep learning ad alte prestazioni e un runtime di NVIDIA, ideale per le applicazioni che richiedono velocità ed efficienza.

• Benchmark delle prestazioni: Offre prestazioni di alto livello sulle GPU NVIDIA con supporto per l'inferenza ad alta velocità.

• Compatibilità e integrazione: È più adatto all'hardware di NVIDIA , con un supporto limitato al di fuori di questo ambiente.

• Supporto ed ecosistema della comunità: Forte rete di supporto attraverso i forum per sviluppatori e la documentazione di NVIDIA.

• Casi di studio: Ampiamente adottato nei settori che richiedono un'inferenza in tempo reale su dati video e immagini.

• Manutenzione e aggiornamenti: NVIDIA mantiene TensorRT con frequenti aggiornamenti per migliorare le prestazioni e supportare nuove architetture GPU .

• Considerazioni sulla sicurezza: Come molti prodotti NVIDIA , ha una forte enfasi sulla sicurezza, ma le specifiche dipendono dall'ambiente di distribuzione.

• Accelerazione hardware: Progettato esclusivamente per le GPU NVIDIA , offre un'ottimizzazione e un'accelerazione profonde.

CoreML

CoreML è il framework di apprendimento automatico di Apple, ottimizzato per le prestazioni sui dispositivi dell'ecosistema Apple, tra cui iOS, macOS, watchOS e tvOS.

• Benchmark delle prestazioni: Ottimizzato per prestazioni on-device su hardware Apple con un utilizzo minimo della batteria.

• Compatibilità e integrazione: In esclusiva per l'ecosistema Apple, fornisce un flusso di lavoro semplificato per le applicazioni iOS e macOS.

• Supporto della comunità ed ecosistema: Forte supporto da parte di Apple e di una comunità di sviluppatori dedicata, con ampia documentazione e strumenti.

• Casi di studio: Comunemente utilizzato nelle applicazioni che richiedono capacità di apprendimento automatico sul dispositivo sui prodotti Apple.

• Manutenzione e aggiornamenti: Aggiornato regolarmente da Apple per supportare i più recenti progressi di apprendimento automatico e l'hardware Apple.

• Considerazioni sulla sicurezza: Beneficia dell'attenzione di Apple alla privacy degli utenti e alla sicurezza dei dati.

• Accelerazione hardware: Sfrutta appieno il motore neurale di Apple e GPU per accelerare le attività di apprendimento automatico.

TF SavedModel

TF SavedModel è il formato di TensorFlow per salvare e servire modelli di apprendimento automatico, particolarmente adatto ad ambienti server scalabili.

• Benchmark delle prestazioni: Offre prestazioni scalabili in ambienti server, soprattutto se utilizzato con TensorFlow Serving.

• Compatibilità e integrazione: Ampia compatibilità con l'ecosistema di TensorFlow, comprese le implementazioni di server cloud e aziendali.

• Supporto della comunità ed ecosistema: Grande supporto della comunità grazie alla popolarità di TensorFlow, con una vasta gamma di strumenti per l'implementazione e l'ottimizzazione.

• Casi di studio: Ampiamente utilizzato in ambienti di produzione per servire modelli di deep learning su scala.

• Manutenzione e aggiornamenti: Supportato da Google e dalla comunità di TensorFlow , garantisce aggiornamenti regolari e nuove funzionalità.

• Considerazioni sulla sicurezza: L'implementazione tramite TensorFlow Serving include solide funzioni di sicurezza per le applicazioni di livello aziendale.

• Accelerazione hardware: Supporta varie accelerazioni hardware attraverso i backend di TensorFlow.

TF GraphDef

TF GraphDef è un formato TensorFlow che rappresenta il modello come un grafo, utile per gli ambienti in cui è richiesto un grafo di calcolo statico.

• Benchmark delle prestazioni: Fornisce prestazioni stabili per grafi di calcolo statici, con particolare attenzione alla coerenza e all'affidabilità.

• Compatibilità e integrazione: Si integra facilmente nell'infrastruttura di TensorFlow ma è meno flessibile rispetto a SavedModel.

• Supporto della comunità ed ecosistema: Buon supporto dall'ecosistema di TensorFlow, con molte risorse disponibili per l'ottimizzazione dei grafi statici.

• Casi di studio: Utile in scenari in cui è necessario un grafico statico, come in alcuni sistemi embedded.

• Manutenzione e aggiornamenti: Aggiornamenti regolari insieme agli aggiornamenti principali di TensorFlow.

• Considerazioni sulla sicurezza: Garantisce un'implementazione sicura con le pratiche di sicurezza consolidate di TensorFlow.

• Accelerazione hardware: Può utilizzare le opzioni di accelerazione hardware di TensorFlow, anche se non è così flessibile come SavedModel.

TF Lite

TF Lite è la soluzione di TensorFlow per l'apprendimento automatico su dispositivi mobili ed embedded, che fornisce una libreria leggera per l'inferenza su dispositivo.

• Benchmark delle prestazioni: Progettato per garantire velocità ed efficienza su dispositivi mobili ed embedded.

• Compatibilità e integrazione: Può essere utilizzato su un'ampia gamma di dispositivi grazie alla sua leggerezza.

• Supporto della comunità ed ecosistema: Sostenuto da Google, ha una solida comunità e un numero crescente di risorse per gli sviluppatori.

• Casi di studio: Molto diffuso nelle applicazioni mobili che richiedono un'inferenza sul dispositivo con un ingombro minimo.

• Manutenzione e aggiornamenti: Aggiornamento regolare per includere le ultime funzionalità e ottimizzazioni per i dispositivi mobili.

• Considerazioni sulla sicurezza: Fornisce un ambiente sicuro per l'esecuzione dei modelli sui dispositivi degli utenti finali.

• Accelerazione hardware: Supporta una serie di opzioni di accelerazione hardware, tra cui GPU e DSP.

TF Bordo TPU

TF Edge TPU è progettato per un'elaborazione efficiente e ad alta velocità sull'hardware Edge TPU di Google, perfetto per i dispositivi IoT che richiedono un'elaborazione in tempo reale.

• Benchmark delle prestazioni: Ottimizzato specificamente per il calcolo efficiente e ad alta velocità sull'hardware di Google's Edge TPU .

• Compatibilità e integrazione: Funziona esclusivamente con i modelli TensorFlow Lite su dispositivi Edge TPU .

• Supporto ed ecosistema della comunità: Supporto crescente con risorse fornite da Google e da sviluppatori di terze parti.

• Casi di studio: Utilizzato nei dispositivi IoT e nelle applicazioni che richiedono un'elaborazione in tempo reale con bassa latenza.

• Manutenzione e aggiornamenti: Miglioramento continuo per sfruttare le capacità delle nuove versioni hardware di Edge TPU .

• Considerazioni sulla sicurezza: Si integra con la solida sicurezza di Google per i dispositivi IoT ed edge.

• Accelerazione hardware: Progettato su misura per sfruttare appieno i dispositivi Google Coral.

TF.js

TensorFlow.js (TF.js) è una libreria che porta le capacità di apprendimento automatico direttamente nel browser, offrendo un nuovo regno di possibilità per gli sviluppatori web e gli utenti. Permette di integrare i modelli di apprendimento automatico nelle applicazioni web senza la necessità di un'infrastruttura back-end.

• Benchmark delle prestazioni: Consente l'apprendimento automatico direttamente nel browser con prestazioni ragionevoli, a seconda del dispositivo client.

• Compatibilità e integrazione: Elevata compatibilità con le tecnologie web, che consente una facile integrazione nelle applicazioni web.

• Supporto ed ecosistema della comunità: Supporto da parte di una comunità di sviluppatori web e Node.js, con una serie di strumenti per la distribuzione di modelli ML nei browser.

• Casi di studio: Ideale per le applicazioni web interattive che beneficiano dell'apprendimento automatico lato client senza la necessità di un'elaborazione lato server.

• Manutenzione e aggiornamenti: Mantenuto dal team di TensorFlow con i contributi della comunità open-source.

• Considerazioni sulla sicurezza: Viene eseguito nel contesto sicuro del browser, utilizzando il modello di sicurezza della piattaforma web.

• Accelerazione hardware: Le prestazioni possono essere migliorate con API basate sul web che accedono all'accelerazione hardware come WebGL.

PaddlePaddle

PaddlePaddle è un framework open-source per il deep learning sviluppato da Baidu. È stato progettato per essere efficiente per i ricercatori e facile da usare per gli sviluppatori. È particolarmente popolare in Cina e offre un supporto specializzato per l'elaborazione della lingua cinese.

• Benchmark delle prestazioni: Offre prestazioni competitive con particolare attenzione alla facilità d'uso e alla scalabilità.

• Compatibilità e integrazione: Ben integrato nell'ecosistema di Baidu, supporta un'ampia gamma di applicazioni.

• Supporto ed ecosistema della comunità: Sebbene la comunità sia più piccola a livello globale, sta crescendo rapidamente, soprattutto in Cina.

• Casi di studio: Comunemente utilizzato nei mercati cinesi e dagli sviluppatori che cercano alternative agli altri framework principali.

• Manutenzione e aggiornamenti: Aggiornamento regolare con particolare attenzione alle applicazioni e ai servizi di IA in lingua cinese.

• Considerazioni sulla sicurezza: Enfatizza la privacy e la sicurezza dei dati, rispettando gli standard cinesi di governance dei dati.

• Accelerazione hardware: Supporta diverse accelerazioni hardware, compresi i chip Kunlun di Baidu.

NCNN

NCNN è un framework per l'inferenza di reti neurali ad alte prestazioni ottimizzato per la piattaforma mobile. Si distingue per la sua leggerezza ed efficienza, che lo rendono particolarmente adatto ai dispositivi mobili e incorporati in cui le risorse sono limitate.

• Benchmark delle prestazioni: altamente ottimizzato per le piattaforme mobili, offre un'inferenza efficiente sui dispositivi basati su ARM.

• Compatibilità e integrazione: Adatto per applicazioni su telefoni cellulari e sistemi embedded con architettura ARM.

• Supporto ed ecosistema della comunità: Supportato da una comunità di nicchia ma attiva, focalizzata sulle applicazioni ML mobili e integrate.

• Casi di studio: Preferito per le applicazioni mobili in cui efficienza e velocità sono fondamentali su Android e altri sistemi basati su ARM.

• Manutenzione e aggiornamenti: Miglioramento continuo per mantenere elevate le prestazioni su una gamma di dispositivi ARM.

• Considerazioni sulla sicurezza: Si concentra sull'esecuzione locale sul dispositivo, sfruttando la sicurezza intrinseca dell'elaborazione sul dispositivo.

• Accelerazione hardware: Su misura per CPU e GPU ARM, con ottimizzazioni specifiche per queste architetture.

MNN

MNN è un framework di deep learning altamente efficiente e leggero. Supporta l'inferenza e l'addestramento di modelli di deep learning e ha prestazioni leader nel settore per l'inferenza e l'addestramento su dispositivo. Inoltre, MNN viene utilizzato anche su dispositivi embedded, come l'IoT.

Analisi comparativa delle opzioni di implementazione di YOLO11

La tabella seguente fornisce un'istantanea delle varie opzioni di distribuzione disponibili per i modelli YOLO11 , aiutandovi a valutare quale potrebbe essere la più adatta alle vostre esigenze di progetto in base a diversi criteri critici. Per un approfondimento sul formato di ciascuna opzione di distribuzione, consultare la pagina della documentazione diUltralytics sui formati di esportazione.

Questa analisi comparativa fornisce una panoramica di alto livello. Per l'implementazione, è essenziale considerare i requisiti e i vincoli specifici del vostro progetto e consultare la documentazione dettagliata e le risorse disponibili per ciascuna opzione.

Comunità e supporto

Quando si inizia a lavorare sul sito YOLO11, avere una comunità e un supporto utili può avere un impatto significativo. Ecco come connettersi con altri che condividono i vostri interessi e ottenere l'assistenza di cui avete bisogno.

Impegnarsi con la comunità più ampia

• Discussioni su GitHub: Il repository YOLO11 su GitHub ha una sezione "Discussioni" in cui è possibile porre domande, segnalare problemi e suggerire miglioramenti.

• Ultralytics Server Discord: Ultralytics ha un server Discord dove è possibile interagire con altri utenti e sviluppatori.

Documentazione e risorse ufficiali

• Ultralytics YOLO11 Documenti: La documentazione ufficiale fornisce una panoramica completa di YOLO11, oltre a guide sull'installazione, l'uso e la risoluzione dei problemi.

Queste risorse vi aiuteranno ad affrontare le sfide e a rimanere aggiornati sulle ultime tendenze e sulle migliori pratiche della comunità di YOLO11 .

Conclusione

In questa guida abbiamo esplorato le diverse opzioni di distribuzione di YOLO11. Abbiamo anche discusso i fattori importanti da considerare al momento della scelta. Queste opzioni consentono di personalizzare il modello per vari ambienti e requisiti di prestazioni, rendendolo adatto ad applicazioni reali.

Non dimenticate che la comunità di YOLO11 e Ultralytics è una preziosa fonte di aiuto. Collegatevi con altri sviluppatori ed esperti per apprendere suggerimenti e soluzioni uniche che potreste non trovare nella normale documentazione. Continuate a cercare la conoscenza, a esplorare nuove idee e a condividere le vostre esperienze.

Buona distribuzione!

FAQ

Quali sono le opzioni di distribuzione disponibili per YOLO11 su diverse piattaforme hardware?

Ultralytics YOLO11 supporta diversi formati di distribuzione, ciascuno progettato per ambienti e piattaforme hardware specifici. I formati principali includono:

• PyTorch per la ricerca e la prototipazione, con un'eccellente integrazione di Python .
• TorchScript per gli ambienti di produzione in cui Python non è disponibile.
• ONNX per la compatibilità multipiattaforma e l'accelerazione hardware.
• OpenVINO per ottimizzare le prestazioni sull'hardware di Intel .
• TensorRT per l'inferenza ad alta velocità su GPU NVIDIA .

Ogni formato presenta vantaggi unici. Per una descrizione dettagliata, consultate la documentazione sul processo di esportazione.

Come posso migliorare la velocità di inferenza del mio modello YOLO11 su Intel CPU ?

Per migliorare la velocità di inferenza sulle CPU Intel , è possibile distribuire il modello YOLO11 utilizzando il toolkit Intel OpenVINO . OpenVINO offre un significativo aumento delle prestazioni ottimizzando i modelli per sfruttare in modo efficiente l'hardware Intel .

1. Convertire il modello YOLO11 nel formato OpenVINO utilizzando il file model.export() funzione.
2. Seguire la guida dettagliata alla configurazione nella documentazione di Intel OpenVINO Export.

Per ulteriori approfondimenti, consultate il nostro post sul blog.

Posso distribuire i modelli YOLO11 sui dispositivi mobili?

Sì, i modelli di YOLO11 possono essere distribuiti su dispositivi mobili utilizzando il programma TensorFlow Lite (TF Lite) per entrambe le piattaforme Android e iOS . TF Lite è stato progettato per i dispositivi mobili e incorporati e fornisce un'inferenza efficiente sul dispositivo.

# Export command for TFLite format
model.export(format="tflite")

# CLI command for TFLite export
yolo export --format tflite

Per maggiori dettagli sulla distribuzione dei modelli su mobile, consultare la nostra guida all'integrazione diTF Lite.

Quali fattori devo considerare quando scelgo un formato di distribuzione per il mio modello YOLO11 ?

Quando si sceglie un formato di distribuzione per YOLO11, si considerano i seguenti fattori:

• Prestazioni: Alcuni formati, come TensorRT , offrono velocità eccezionali sulle GPU NVIDIA , mentre OpenVINO è ottimizzato per l'hardware Intel .
• Compatibilità: ONNX offre un'ampia compatibilità con diverse piattaforme.
• Facilità di integrazione: Formati come CoreML o TF Lite sono stati creati su misura per ecosistemi specifici come iOS e Android, rispettivamente.
• Supporto alla comunità: Formati come PyTorch e TensorFlow dispongono di ampie risorse e supporto da parte della comunità.

Per un'analisi comparativa, consultare la nostra documentazione sui formati di esportazione.

Come posso distribuire i modelli di YOLO11 in un'applicazione web?

Per distribuire i modelli di YOLO11 in un'applicazione web, è possibile utilizzare TensorFlow.js (TF.js), che consente di eseguire modelli di apprendimento automatico direttamente nel browser. Questo approccio elimina la necessità di un'infrastruttura di backend e fornisce prestazioni in tempo reale.

1. Esportare il modello YOLO11 nel formato TF.js.
2. Integrare il modello esportato nell'applicazione web.

Per le istruzioni passo-passo, consultare la nostra guida all'integrazione diTensorFlow.js.

📅C reato 1 anno fa ✏️ Aggiornato 22 giorni fa

Commenti