Esportazione Intel OpenVINO

In questa guida, trattiamo l'esportazione di modelli YOLO26 nel formato OpenVINO, che può offrire fino a 3 volte più velocità su CPU, oltre ad accelerare l'inferenza YOLO su hardware Intel GPU e NPU.

OpenVINO, abbreviazione di Open Visual Inference & Neural Network Optimization toolkit, è un toolkit completo per ottimizzare e distribuire modelli di inferenza AI. Anche se il nome contiene Visual, OpenVINO supporta anche varie attività aggiuntive, tra cui linguaggio, audio, serie temporali, ecc.

Esempi di utilizzo

Esporta un modello YOLO26n in formato OpenVINO ed esegui l'inferenza con il modello esportato.

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Argomenti di esportazione

Per ulteriori dettagli sul processo di esportazione, visita la pagina della documentazione di Ultralytics sull'esportazione.

Vantaggi di OpenVINO

1. Prestazioni: OpenVINO offre un'inferenza ad alte prestazioni utilizzando la potenza di CPU Intel, GPU integrate e discrete, ed FPGA.
2. Supporto per l'esecuzione eterogenea: OpenVINO fornisce un'API per scrivere una volta e distribuire su qualsiasi hardware Intel supportato (CPU, GPU, FPGA, VPU, ecc.).
3. Ottimizzatore di modelli: OpenVINO fornisce un Model Optimizer che importa, converte e ottimizza i modelli da popolari framework di deep learning come PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle e Caffe.
4. Facilità d'uso: Il toolkit viene fornito con oltre 80 notebook di tutorial (inclusa l'ottimizzazione YOLO26) che insegnano diversi aspetti del toolkit.

Struttura dell'esportazione OpenVINO

Quando esporti un modello nel formato OpenVINO, ne risulta una directory contenente quanto segue:

1. File XML: Descrive la topologia della rete.
2. File BIN: Contiene i dati binari di pesi e bias.
3. File di mappatura: Contiene la mappatura dei tensori di output del modello originale ai nomi dei tensori OpenVINO.

Puoi utilizzare questi file per eseguire l'inferenza con il motore di inferenza OpenVINO.

Utilizzo dell'esportazione OpenVINO nella distribuzione

Una volta che il tuo modello è stato esportato correttamente nel formato OpenVINO, hai due opzioni principali per eseguire l'inferenza:

1. Utilizza il pacchetto ultralytics, che fornisce un'API di alto livello e racchiude il Runtime OpenVINO.

2. Utilizza il pacchetto nativo openvino per un controllo più avanzato o personalizzato sul comportamento dell'inferenza.

Inferenza con Ultralytics

Il pacchetto ultralytics ti consente di eseguire facilmente l'inferenza utilizzando il modello OpenVINO esportato tramite il metodo predict. Puoi anche specificare il dispositivo di destinazione (es. intel:gpu, intel:npu, intel:cpu) utilizzando l'argomento device.

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

Questo approccio è ideale per la prototipazione rapida o la distribuzione quando non hai bisogno del controllo completo sulla pipeline di inferenza.

Inferenza con OpenVINO Runtime

Il Runtime OpenVINO fornisce un'API unificata per l'inferenza su tutto l'hardware Intel supportato. Fornisce inoltre funzionalità avanzate come il bilanciamento del carico sull'hardware Intel e l'esecuzione asincrona. Per ulteriori informazioni sull'esecuzione dell'inferenza, consulta i notebook YOLO26.

Ricorda che avrai bisogno dei file XML e BIN, così come di qualsiasi impostazione specifica dell'applicazione come la dimensione dell'input, il fattore di scala per la normalizzazione, ecc., per impostare e utilizzare correttamente il modello con il Runtime.

Nella tua applicazione di distribuzione, solitamente dovresti eseguire i seguenti passaggi:

1. Inizializza OpenVINO creando core = Core().
2. Carica il modello utilizzando il metodo core.read_model().
3. Compila il modello utilizzando la funzione core.compile_model().
4. Prepara l'input (immagine, testo, audio, ecc.).
5. Esegui l'inferenza utilizzando compiled_model(input_data).

Per passaggi più dettagliati e frammenti di codice, consulta la documentazione di OpenVINO o il tutorial sull'API.

Benchmark YOLO11 OpenVINO

Il team di Ultralytics ha testato YOLO11 su vari formati di modello e precisione, valutando velocità e accuratezza su diversi dispositivi Intel compatibili con OpenVINO.

CPU Intel Core

La serie Intel® Core® è una gamma di processori ad alte prestazioni di Intel. La gamma include Core i3 (entry-level), Core i5 (fascia media), Core i7 (fascia alta) e Core i9 (prestazioni estreme). Ogni serie soddisfa diverse esigenze di calcolo e budget, dalle attività quotidiane ai carichi di lavoro professionali impegnativi. Con ogni nuova generazione, vengono apportati miglioramenti alle prestazioni, all'efficienza energetica e alle funzionalità.

I benchmark di seguito sono eseguiti su CPU Intel® Core® i9-12900KS di 12a generazione con precisione FP32.

Intel® Core™ Ultra

La serie Intel® Core™ Ultra™ rappresenta un nuovo punto di riferimento nel calcolo ad alte prestazioni, progettato per soddisfare le esigenze in evoluzione degli utenti moderni, dai gamer e creatori ai professionisti che sfruttano l'AI. Questa linea di prossima generazione è più di una tradizionale serie di CPU; combina potenti core CPU, funzionalità GPU integrate ad alte prestazioni e una Neural Processing Unit (NPU) dedicata all'interno di un singolo chip, offrendo una soluzione unificata per carichi di lavoro computazionali diversificati e intensivi.

Al centro dell'architettura Intel® Core Ultra™ c'è un design ibrido che consente prestazioni eccezionali nelle attività di elaborazione tradizionali, carichi di lavoro accelerati dalla GPU e operazioni basate sull'AI. L'inclusione della NPU migliora l'inferenza AI sul dispositivo, consentendo un apprendimento automatico e un'elaborazione dei dati più rapidi ed efficienti in un'ampia gamma di applicazioni.

La famiglia Core Ultra™ include vari modelli su misura per diverse esigenze di prestazioni, con opzioni che spaziano da design a basso consumo energetico a varianti ad alta potenza contrassegnate dalla dicitura "H", ideali per laptop e form factor compatti che richiedono una notevole potenza di calcolo. In tutta la gamma, gli utenti beneficiano della sinergia dell'integrazione di CPU, GPU e NPU, offrendo efficienza, reattività e capacità multitasking notevoli.

Come parte della continua innovazione di Intel, la serie Core Ultra™ stabilisce un nuovo standard per il calcolo pronto per il futuro. Con molteplici modelli disponibili e altri all'orizzonte, questa serie sottolinea l'impegno di Intel nel fornire soluzioni all'avanguardia per la prossima generazione di dispositivi intelligenti potenziati dall'AI.

I benchmark di seguito sono eseguiti su Intel® Core™ Ultra™ 7 258V e Intel® Core™ Ultra™ 7 265K con precisione FP32 e INT8.

Intel® Core™ Ultra™ 7 258V

Benchmark

GPU Intel® Arc™ integrataCPU Intel® Lunar LakeNPU integrata Intel® AI Boost

Risultati dettagliati del benchmark

Modello	Formato	Precision	Stato	Dimensioni (MB)	metrics/mAP50-95(B)	Tempo di inferenza (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.5052	32.27
YOLO11n	OpenVINO	FP32	✅	10.4	0.5068	11.84
YOLO11n	OpenVINO	INT8	✅	3.3	0.4969	11.24
YOLO11s	PyTorch	FP32	✅	18.4	0.5776	92.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.5797	14.82
YOLO11s	OpenVINO	INT8	✅	9.8	0.5751	12.88
YOLO11m	PyTorch	FP32	✅	38.8	0.6262	277.24
YOLO11m	OpenVINO	FP32	✅	77.1	0.6306	22.94
YOLO11m	OpenVINO	INT8	✅	20.2	0.6126	17.85
YOLO11l	PyTorch	FP32	✅	49.0	0.6361	348.97
YOLO11l	OpenVINO	FP32	✅	97.3	0.6365	27.34
YOLO11l	OpenVINO	INT8	✅	25.7	0.6242	20.83
YOLO11x	PyTorch	FP32	✅	109.3	0.6984	666.07
YOLO11x	OpenVINO	FP32	✅	217.8	0.6890	39.09
YOLO11x	OpenVINO	INT8	✅	55.9	0.6856	30.60

Intel® Core™ Ultra™ 7 265K

Benchmark

GPU Intel® Arc™ integrataCPU Intel® Arrow LakeNPU integrata Intel® AI Boost

Risultati dettagliati del benchmark

Modello	Formato	Precision	Stato	Dimensioni (MB)	metrics/mAP50-95(B)	Tempo di inferenza (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.5072	16.29
YOLO11n	OpenVINO	FP32	✅	10.4	0.5079	13.13
YOLO11n	OpenVINO	INT8	✅	3.3	0.4976	8.86
YOLO11s	PyTorch	FP32	✅	18.4	0.5771	39.61
YOLO11s	OpenVINO	FP32	✅	36.4	0.5808	18.26
YOLO11s	OpenVINO	INT8	✅	9.8	0.5726	13.24
YOLO11m	PyTorch	FP32	✅	38.8	0.6258	100.65
YOLO11m	OpenVINO	FP32	✅	77.1	0.6310	43.50
YOLO11m	OpenVINO	INT8	✅	20.2	0.6137	20.90
YOLO11l	PyTorch	FP32	✅	49.0	0.6367	131.37
YOLO11l	OpenVINO	FP32	✅	97.3	0.6371	54.52
YOLO11l	OpenVINO	INT8	✅	25.7	0.6226	27.36
YOLO11x	PyTorch	FP32	✅	109.3	0.6990	212.45
YOLO11x	OpenVINO	FP32	✅	217.8	0.6884	112.76
YOLO11x	OpenVINO	INT8	✅	55.9	0.6900	52.06

GPU Intel® Arc

Intel® Arc™ è la linea di schede grafiche discrete di Intel progettata per il gaming ad alte prestazioni, la creazione di contenuti e i carichi di lavoro AI. La serie Arc è dotata di architetture GPU avanzate che supportano ray tracing in tempo reale, grafica potenziata dall'AI e gaming ad alta risoluzione. Focalizzandosi su prestazioni ed efficienza, Intel® Arc™ mira a competere con altri marchi leader di GPU fornendo al contempo funzionalità uniche come la codifica AV1 accelerata via hardware e il supporto per le API grafiche più recenti.

I benchmark qui sotto sono eseguiti su Intel Arc A770 e Intel Arc B580 con precisione FP32 e INT8.

Intel Arc A770

Intel Arc B580

Riproduci i nostri risultati

Per riprodurre i benchmark di Ultralytics sopra riportati su tutti i formati di esportazione, esegui questo codice:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

Conclusione

I risultati dei benchmark dimostrano chiaramente i vantaggi dell'esportazione del modello YOLO11 nel formato OpenVINO. Tra diversi modelli e piattaforme hardware, il formato OpenVINO supera costantemente gli altri formati in termini di velocità di inferenza, mantenendo un'accuratezza paragonabile.

I benchmark sottolineano l'efficacia di OpenVINO come strumento per il deployment di modelli di deep learning. Convertendo i modelli nel formato OpenVINO, gli sviluppatori possono ottenere significativi miglioramenti delle prestazioni, rendendo più semplice il deployment di questi modelli in applicazioni reali.

Per informazioni più dettagliate e istruzioni sull'utilizzo di OpenVINO, fai riferimento alla documentazione ufficiale di OpenVINO.

FAQ

Come posso esportare modelli YOLO26 nel formato OpenVINO?

L'esportazione di modelli YOLO26 nel formato OpenVINO può migliorare significativamente la velocità della CPU e abilitare le accelerazioni GPU e NPU su hardware Intel. Per esportare, puoi utilizzare Python o la CLI come mostrato di seguito:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

Per ulteriori informazioni, fai riferimento alla documentazione sui formati di esportazione.

Quali sono i vantaggi dell'utilizzo di OpenVINO con i modelli YOLO26?

L'utilizzo del toolkit OpenVINO di Intel con i modelli YOLO26 offre diversi vantaggi:

1. Prestazioni: Ottieni un incremento di velocità fino a 3x sull'inferenza CPU e sfrutta le GPU e NPU Intel per l'accelerazione.
2. Model Optimizer: Converti, ottimizza ed esegui modelli da framework popolari come PyTorch, TensorFlow e ONNX.
3. Facilità d'uso: Sono disponibili oltre 80 tutorial sotto forma di notebook per aiutare gli utenti a iniziare, inclusi quelli per YOLO26.
4. Esecuzione eterogenea: Distribuisci modelli su vari hardware Intel con una API unificata.

Per confronti dettagliati sulle prestazioni, visita la nostra sezione benchmark.

Come posso eseguire l'inferenza utilizzando un modello YOLO26 esportato in OpenVINO?

Dopo aver esportato un modello YOLO26n nel formato OpenVINO, puoi eseguire l'inferenza utilizzando Python o la CLI:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

Fai riferimento alla nostra documentazione sulla modalità di predizione per ulteriori dettagli.

Perché dovrei scegliere Ultralytics YOLO26 rispetto ad altri modelli per l'esportazione OpenVINO?

Ultralytics YOLO26 è ottimizzato per il rilevamento di oggetti in tempo reale con elevata accuratezza e velocità. Nello specifico, quando combinato con OpenVINO, YOLO26 offre:

• Fino a 3x di incremento velocità su CPU Intel
• Deployment senza interruzioni su GPU e NPU Intel
• Accuratezza coerente e paragonabile tra vari formati di esportazione

Per un'analisi approfondita delle prestazioni, controlla i nostri benchmark YOLO11 dettagliati su diversi hardware.

Posso testare i benchmark dei modelli YOLO26 su diversi formati come PyTorch, ONNX e OpenVINO?

Sì, puoi testare i benchmark dei modelli YOLO26 in vari formati, inclusi PyTorch, TorchScript, ONNX e OpenVINO. Utilizza il seguente snippet di codice per eseguire i benchmark sul dataset che hai scelto:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

Per risultati dettagliati dei benchmark, fai riferimento alla nostra sezione benchmark e alla documentazione sui formati di esportazione.