Esportazione Ultralytics YOLO NCNN#

La distribuzione di modelli di computer vision su dispositivi con potenza di calcolo limitata, come sistemi mobili o embedded, richiede un'attenta selezione del formato. L'uso di un formato ottimizzato garantisce che anche i dispositivi con risorse limitate possano gestire in modo efficiente attività avanzate di computer vision.

Esportare nel formato NCNN ti consente di ottimizzare i tuoi modelli Ultralytics YOLO26 per applicazioni leggere basate su dispositivi. Questa guida spiega come convertire i tuoi modelli in formato NCNN per migliorare le prestazioni su dispositivi mobili ed embedded.

Perché esportare in NCNN?#

Il framework NCNN, sviluppato da Tencent, è un framework di calcolo per l'inferenza di reti neurali ad alte prestazioni, ottimizzato specificamente per piattaforme mobili, inclusi telefoni cellulari, dispositivi embedded e dispositivi IoT. NCNN è compatibile con un'ampia gamma di piattaforme, tra cui Linux, Android, iOS e macOS.

NCNN è noto per la sua velocità di elaborazione elevata su CPU mobili e consente una rapida distribuzione di modelli di deep learning su piattaforme mobili, rendendolo una scelta eccellente per la creazione di applicazioni basate sull'IA.

Caratteristiche principali dei modelli NCNN#

I modelli NCNN offrono diverse funzionalità chiave che abilitano il machine learning on-device, aiutando gli sviluppatori a distribuire modelli su dispositivi mobili, embedded e edge:

• Efficiente e ad alte prestazioni: i modelli NCNN sono leggeri e ottimizzati per dispositivi mobili ed embedded come Raspberry Pi con risorse limitate, pur mantenendo un'elevata precisione nelle attività di computer vision.

• Quantizzazione: NCNN supporta la quantizzazione, una tecnica che riduce la precisione dei pesi e delle attivazioni del modello per migliorare le prestazioni e ridurre l'occupazione di memoria.

• Compatibilità: i modelli NCNN sono compatibili con i più diffusi framework di deep learning, inclusi TensorFlow, Caffe e ONNX, consentendo agli sviluppatori di sfruttare modelli e flussi di lavoro esistenti.

• Facilità d'uso: NCNN fornisce strumenti intuitivi per convertire i modelli tra diversi formati, garantendo un'interoperabilità fluida tra vari ambienti di sviluppo.

• Accelerazione GPU Vulkan: NCNN supporta Vulkan per l'inferenza accelerata tramite GPU su più fornitori, inclusi AMD, Intel e altre GPU non NVIDIA, consentendo una distribuzione ad alte prestazioni su una gamma più ampia di hardware.

Opzioni di distribuzione con NCNN#

I modelli NCNN sono compatibili con una varietà di piattaforme di distribuzione:

• Distribuzione mobile: Ottimizzato per Android e iOS, consente un'integrazione fluida nelle applicazioni mobili per un'efficiente inferenza on-device.

• Sistemi embedded e dispositivi IoT: ideali per dispositivi con risorse limitate come Raspberry Pi e NVIDIA Jetson. Se l'inferenza standard su un Raspberry Pi con la Guida di Ultralytics non è sufficiente, NCNN può offrire significativi miglioramenti delle prestazioni.

• Distribuzione desktop e server: Supporta la distribuzione su Linux, Windows e macOS per flussi di lavoro di sviluppo, addestramento e valutazione.

Accelerazione GPU Vulkan#

NCNN supporta l'accelerazione GPU tramite Vulkan, consentendo un'inferenza ad alte prestazioni su una vasta gamma di GPU, incluse quelle AMD, Intel e altre schede grafiche non NVIDIA. Questo è particolarmente utile per:

• Supporto GPU multi-fornitore: A differenza di CUDA, che è limitato alle GPU NVIDIA, Vulkan funziona su più fornitori di GPU.
• Sistemi multi-GPU: seleziona uno specifico dispositivo Vulkan in sistemi con più GPU utilizzando device="vulkan:0", device="vulkan:1", ecc.
• Distribuzioni edge e desktop: Sfrutta l'accelerazione GPU su dispositivi dove CUDA non è disponibile.

Per utilizzare l'accelerazione Vulkan, specifica il dispositivo Vulkan durante l'esecuzione dell'inferenza:

from ultralytics import YOLO

# Load the exported NCNN model
ncnn_model = YOLO("./yolo26n_ncnn_model")

# Run inference with Vulkan GPU acceleration (first Vulkan device)
results = ncnn_model("https://ultralytics.com/images/bus.jpg", device="vulkan:0")

# Use second Vulkan device in multi-GPU systems
results = ncnn_model("https://ultralytics.com/images/bus.jpg", device="vulkan:1")

Attività supportate#

L'esportazione NCNN supporta tutte e sette le attività di Ultralytics. La segmentazione semantica e la stima della profondità sono disponibili solo con YOLO26, l'unica famiglia che include quelle teste.

Esportazione in NCNN: Conversione del tuo modello YOLO26#

Puoi espandere la compatibilità del modello e la flessibilità di distribuzione convertendo i modelli YOLO26 nel formato NCNN.

Installazione#

Per installare i pacchetti richiesti, esegui:

# Install the required package for YOLO26
pip install ultralytics

Per istruzioni dettagliate e best practices, consulta la Guida all'installazione di Ultralytics. In caso di difficoltà, consulta la nostra Guida ai problemi comuni per trovare soluzioni.

Utilizzo#

Tutti i modelli Ultralytics YOLO26 sono progettati per supportare l'esportazione pronta all'uso, rendendo semplice integrarli nel tuo flusso di lavoro di distribuzione preferito. Puoi visualizzare l'elenco completo dei formati di esportazione supportati e delle opzioni di configurazione per scegliere la configurazione migliore per la tua applicazione.

Il formato NCNN supporta le modalità Esporta, Prevedi e Valida. Esporta il tuo modello, quindi carica il modello esportato per eseguire l'inferenza o validarne la precisione.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to NCNN format
model.export(format="ncnn")  # creates '/yolo26n_ncnn_model'

from ultralytics import YOLO

# Load the exported NCNN model
model = YOLO("./yolo26n_ncnn_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported NCNN model
model = YOLO("./yolo26n_ncnn_model")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Argomenti di esportazione#

Per ulteriori dettagli sul processo di esportazione, visita la pagina della documentazione di Ultralytics sull'esportazione.

Distribuzione di modelli YOLO26 NCNN esportati#

Dopo aver esportato i tuoi modelli Ultralytics YOLO26 nel formato NCNN, puoi distribuirli utilizzando il metodo YOLO("yolo26n_ncnn_model/") come mostrato nell'esempio di utilizzo sopra. Per le istruzioni di distribuzione specifiche per piattaforma, consulta le seguenti risorse:

• Android: compila e integra modelli NCNN per il rilevamento di oggetti nelle applicazioni Android.

• macOS: distribuisci modelli NCNN su sistemi macOS.

• Linux: distribuisci modelli NCNN su dispositivi Linux, inclusi Raspberry Pi e sistemi embedded simili.

• Windows x64: distribuisci modelli NCNN su Windows x64 utilizzando Visual Studio.

Riepilogo#

Questa guida ha trattato l'esportazione dei modelli Ultralytics YOLO26 nel formato NCNN per una maggiore efficienza e velocità su dispositivi con risorse limitate.

Per ulteriori dettagli, fai riferimento alla documentazione ufficiale di NCNN. Per altre opzioni di esportazione, visita la nostra pagina della guida all'integrazione.

FAQ#