Esportazione Ultralytics YOLO in NCNN#

La distribuzione di modelli di computer vision su dispositivi con potenza di calcolo limitata, come i sistemi mobili o embedded, richiede un'attenta scelta del formato. L'uso di un formato ottimizzato garantisce che anche i dispositivi con risorse limitate possano gestire in modo efficiente attività avanzate di computer vision.

L'esportazione nel formato NCNN consente di ottimizzare i modelli Ultralytics YOLO26 per applicazioni leggere eseguite direttamente sui dispositivi. Questa guida spiega come convertire i modelli nel formato NCNN per migliorarne le prestazioni su dispositivi mobili ed embedded.

Perché esportare in NCNN?#

Il framework NCNN, sviluppato da Tencent, è un framework di calcolo per l'inferenza di reti neurali ad alte prestazioni, ottimizzato specificamente per piattaforme mobili, inclusi telefoni, dispositivi embedded e dispositivi IoT. NCNN è compatibile con un'ampia gamma di piattaforme, tra cui Linux, Android, iOS e macOS.

NCNN è noto per la sua elevata velocità di elaborazione sulle CPU mobili e consente di distribuire rapidamente modelli di deep learning sulle piattaforme mobili, rivelandosi un'ottima scelta per creare applicazioni basate sull'AI.

Caratteristiche principali dei modelli NCNN#

I modelli NCNN offrono diverse caratteristiche chiave che abilitano il machine learning direttamente sul dispositivo e aiutano gli sviluppatori a distribuire modelli su dispositivi mobili, embedded ed edge:

• Efficienti e ad alte prestazioni: i modelli NCNN sono leggeri e ottimizzati per dispositivi mobili ed embedded con risorse limitate, come Raspberry Pi, e mantengono un'elevata accuratezza nelle attività di computer vision.

• Quantizzazione: NCNN supporta la quantizzazione, una tecnica che riduce la precisione dei pesi e delle attivazioni del modello per migliorarne le prestazioni e ridurre l'occupazione di memoria.

• Compatibilità: i modelli NCNN sono compatibili con i più diffusi framework di deep learning, tra cui TensorFlow, Caffe e ONNX, consentendo agli sviluppatori di sfruttare modelli e flussi di lavoro esistenti.

• Facilità d'uso: NCNN fornisce strumenti intuitivi per convertire i modelli tra diversi formati, garantendo un'interoperabilità fluida tra ambienti di sviluppo differenti.

• Accelerazione GPU Vulkan: NCNN supporta Vulkan per l'inferenza accelerata su GPU di diversi produttori, tra cui AMD, Intel e altre GPU non NVIDIA, consentendo distribuzioni ad alte prestazioni su una gamma più ampia di hardware.

Opzioni di distribuzione con NCNN#

I modelli NCNN sono compatibili con diverse piattaforme di distribuzione:

• Distribuzione su dispositivi mobili: ottimizzati per Android e iOS, consentono un'integrazione fluida nelle applicazioni mobili per un'inferenza efficiente direttamente sul dispositivo.

• Sistemi embedded e dispositivi IoT: ideali per dispositivi con risorse limitate, come Raspberry Pi e NVIDIA Jetson. Se l'inferenza standard su Raspberry Pi con la guida Ultralytics non è sufficiente, NCNN può offrire miglioramenti significativi delle prestazioni.

• Distribuzione su desktop e server: supporta la distribuzione su Linux, Windows e macOS per flussi di lavoro di sviluppo, addestramento e valutazione.

Accelerazione GPU Vulkan#

NCNN supporta l'accelerazione GPU tramite Vulkan, consentendo inferenze ad alte prestazioni su un'ampia gamma di GPU, comprese quelle AMD, Intel e altre schede grafiche non NVIDIA. Questa funzionalità è particolarmente utile per:

• Supporto GPU multipiattaforma: a differenza di CUDA, limitato alle GPU NVIDIA, Vulkan funziona con GPU di diversi produttori.
• Sistemi multi-GPU: seleziona un dispositivo Vulkan specifico nei sistemi con più GPU usando device="vulkan:0", device="vulkan:1" ecc.
• Distribuzioni edge e desktop: sfrutta l'accelerazione GPU sui dispositivi in cui CUDA non è disponibile.

Per usare l'accelerazione Vulkan, specifica il dispositivo Vulkan quando esegui l'inferenza:

from ultralytics import YOLO

# Carica il modello esportato in NCNN
ncnn_model = YOLO("./yolo26n_ncnn_model")

# Esegui l'inferenza con l'accelerazione GPU Vulkan (primo dispositivo Vulkan)
results = ncnn_model("https://ultralytics.com/images/bus.jpg", device="vulkan:0")

# Usa il secondo dispositivo Vulkan nei sistemi multi-GPU
results = ncnn_model("https://ultralytics.com/images/bus.jpg", device="vulkan:1")

Attività supportate#

L'esportazione NCNN supporta tutte e sette le attività Ultralytics. La segmentazione semantica e la stima della profondità sono disponibili solo con YOLO26, l'unica famiglia che include queste head.

Esportazione in NCNN: conversione del tuo modello YOLO26#

Puoi ampliare la compatibilità del modello e la flessibilità di distribuzione convertendo i modelli YOLO26 nel formato NCNN.

Installazione#

Per installare i pacchetti necessari, esegui:

# Install the required package for YOLO26
pip install ultralytics

Per istruzioni dettagliate e best practice, consulta la guida all'installazione di Ultralytics. Se riscontri difficoltà, consulta la guida ai problemi comuni per trovare soluzioni.

Utilizzo#

Tutti i modelli Ultralytics YOLO26 sono progettati per supportare l'esportazione senza configurazioni aggiuntive, semplificando l'integrazione nel workflow di distribuzione che preferisci. Puoi consultare l'elenco completo dei formati di esportazione supportati e delle opzioni di configurazione per scegliere la configurazione più adatta alla tua applicazione.

Il formato NCNN supporta le modalità Export, Predict e Validate. Esporta il tuo modello, quindi carica il modello esportato per eseguire inferenze o convalidarne la precisione.

from ultralytics import YOLO

# Carica un modello YOLO26
model = YOLO("yolo26n.pt")

# Esporta il modello nel formato NCNN
model.export(format="ncnn")  # creates 'yolo26n_ncnn_model'

from ultralytics import YOLO

# Carica il modello esportato in NCNN
model = YOLO("./yolo26n_ncnn_model")

# Esegui l'inferenza
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Carica il modello esportato in NCNN
model = YOLO("./yolo26n_ncnn_model")

# # Convalida l'accuratezza sul dataset COCO8
metrics = model.val(data="coco8.yaml")

Argomenti di esportazione#

Per ulteriori dettagli sul processo di esportazione, visita la pagina della documentazione Ultralytics dedicata all'esportazione.

Distribuzione dei modelli YOLO26 NCNN esportati#

Dopo aver esportato i tuoi modelli Ultralytics YOLO26 nel formato NCNN, puoi distribuirli usando il metodo YOLO("yolo26n_ncnn_model/"), come mostrato nell'esempio d'uso qui sopra. Per istruzioni di distribuzione specifiche per piattaforma, consulta le risorse seguenti:

• Android: crea e integra modelli NCNN per il rilevamento degli oggetti nelle applicazioni Android.

• macOS: distribuisci modelli NCNN sui sistemi macOS.

• Linux: distribuisci modelli NCNN su dispositivi Linux, inclusi Raspberry Pi e sistemi embedded simili.

• Windows x64: distribuisci modelli NCNN su Windows x64 usando Visual Studio.

Riepilogo#

Questa guida ha illustrato l'esportazione dei modelli Ultralytics YOLO26 nel formato NCNN per migliorare l'efficienza e la velocità sui dispositivi con risorse limitate.

Per ulteriori dettagli, consulta la documentazione ufficiale di NCNN. Per altre opzioni di esportazione, visita la pagina della guida alle integrazioni.

Domande frequenti#