Esportazione Intel OpenVINO

In questa guida, trattiamo l'esportazione dei modelli YOLO26 nel formato OpenVINO, che può fornire un'accelerazione fino a 3x su CPU, oltre ad accelerare l'inferenza YOLO su hardware Intel GPU e NPU.

OpenVINO, abbreviazione di Open Visual Inference & Neural Network Optimization toolkit, è un toolkit completo per l'ottimizzazione e il deployment di modelli di inferenza AI. Anche se il nome contiene Visual, OpenVINO supporta anche varie attività aggiuntive tra cui linguaggio, audio, serie temporali, ecc.

Esempi di utilizzo

Esporta un modello YOLO26n nel formato OpenVINO ed esegui l'inferenza con il modello esportato.

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Argomenti di esportazione

Per maggiori dettagli sul processo di esportazione, visita la pagina della documentazione di Ultralytics sull'esportazione.

Vantaggi di OpenVINO

1. Prestazioni: OpenVINO offre un'inferenza ad alte prestazioni sfruttando la potenza delle CPU Intel, delle GPU integrate e discrete e degli FPGA.
2. Supporto per l'esecuzione eterogenea: OpenVINO fornisce un'API per scrivere il codice una volta ed eseguirlo su qualsiasi hardware Intel supportato (CPU, GPU, FPGA, VPU, ecc.).
3. Model Optimizer: OpenVINO fornisce un Model Optimizer che importa, converte e ottimizza i modelli da framework di deep learning popolari come PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle e Caffe.
4. Facilità d'uso: Il toolkit viene fornito con oltre 80 notebook di tutorial (inclusa l'ottimizzazione YOLO26) che insegnano diversi aspetti del toolkit.

Struttura di esportazione OpenVINO

Quando esporti un modello nel formato OpenVINO, si ottiene una directory contenente quanto segue:

1. File XML: Descrive la topologia della rete.
2. File BIN: Contiene i dati binari di pesi e bias.
3. File di mapping: Contiene la mappatura dei tensori di output del modello originale ai nomi dei tensori OpenVINO.

Puoi utilizzare questi file per eseguire l'inferenza con l'OpenVINO Inference Engine.

Utilizzo dell'esportazione OpenVINO nel deployment

Una volta che il tuo modello è stato esportato con successo nel formato OpenVINO, hai due opzioni principali per eseguire l'inferenza:

1. Usa il pacchetto ultralytics, che fornisce un'API di alto livello e racchiude l'OpenVINO Runtime.

2. Usa il pacchetto nativo openvino per un controllo più avanzato o personalizzato sul comportamento dell'inferenza.

Inferenza con Ultralytics

Il pacchetto ultralytics ti consente di eseguire facilmente l'inferenza utilizzando il modello OpenVINO esportato tramite il metodo predict. Puoi anche specificare il dispositivo di destinazione (es. intel:gpu, intel:npu, intel:cpu) usando l'argomento device.

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

Questo approccio è ideale per una prototipazione rapida o per il deployment quando non hai bisogno di un controllo completo sulla pipeline di inferenza.

Inferenza con OpenVINO Runtime

L'OpenVINO Runtime fornisce un'API unificata per l'inferenza su tutto l'hardware Intel supportato. Offre anche funzionalità avanzate come il bilanciamento del carico sull'hardware Intel e l'esecuzione asincrona. Per maggiori informazioni sull'esecuzione dell'inferenza, consulta i notebook YOLO26.

Ricorda, avrai bisogno dei file XML e BIN, così come di eventuali impostazioni specifiche dell'applicazione come la dimensione dell'input, il fattore di scala per la normalizzazione, ecc., per configurare correttamente e utilizzare il modello con il Runtime.

Nella tua applicazione di deployment, dovresti solitamente eseguire i seguenti passaggi:

1. Inizializza OpenVINO creando core = Core().
2. Carica il modello utilizzando il metodo core.read_model().
3. Compila il modello utilizzando la funzione core.compile_model().
4. Prepara l'input (immagine, testo, audio, ecc.).
5. Esegui l'inferenza utilizzando compiled_model(input_data).

Per passaggi più dettagliati e frammenti di codice, consulta la documentazione di OpenVINO o il tutorial API.

Benchmark OpenVINO YOLO26

Il team di Ultralytics ha eseguito il benchmark di YOLO26 su vari formati di modello e precisione, valutando velocità e accuratezza su diversi dispositivi Intel compatibili con OpenVINO.

Intel® Core™ Ultra

La serie Intel® Core™ Ultra™ rappresenta un nuovo punto di riferimento nel calcolo ad alte prestazioni, progettata per soddisfare le esigenze in continua evoluzione degli utenti moderni, dai gamer ai creatori ai professionisti che sfruttano l'IA. Questa linea di nuova generazione è molto più di una tradizionale serie di CPU; combina potenti core CPU, capacità GPU integrate ad alte prestazioni e una Neural Processing Unit (NPU) dedicata all'interno di un singolo chip, offrendo una soluzione unificata per carichi di lavoro di calcolo diversi e intensivi.

Al centro dell'architettura Intel® Core Ultra™ c'è un design ibrido che consente prestazioni eccezionali tra le attività di elaborazione tradizionali, carichi di lavoro accelerati da GPU e operazioni guidate dall'IA. L'inclusione della NPU migliora l'inferenza AI sul dispositivo, consentendo un machine learning e un'elaborazione dati più rapidi ed efficienti in un'ampia gamma di applicazioni.

La famiglia Core Ultra™ include vari modelli su misura per diverse esigenze di prestazioni, con opzioni che spaziano da design efficienti dal punto di vista energetico a varianti ad alta potenza contrassegnate dalla sigla "H", ideali per laptop e form factor compatti che richiedono una potenza di calcolo seria. In tutta la linea, gli utenti beneficiano della sinergia dell'integrazione di CPU, GPU e NPU, offrendo efficienza, reattività e capacità di multitasking notevoli.

Come parte dell'innovazione continua di Intel, la serie Core Ultra™ definisce un nuovo standard per il calcolo pronto per il futuro. Con molteplici modelli disponibili e altri all'orizzonte, questa serie sottolinea l'impegno di Intel nel fornire soluzioni all'avanguardia per la prossima generazione di dispositivi intelligenti potenziati dall'IA.

I benchmark qui sotto sono eseguiti su Intel® Core™ Ultra™ X7 358H, Intel® Core™ Ultra™ 7 258V e Intel® Core™ Ultra™ 7 155H a precisione FP32, FP16 e INT8.

Intel® Core™ Ultra™ X7 358H

Benchmark

GPU Intel® Arc™ integrataIntel® Panther Lake CPUIntegrated Intel® AI Boost NPU

Risultati dettagliati del benchmark

Modello	Formato	Precisione	Stato	Dimensione (MB)	metriche/mAP50-95(B)	Tempo di inferenza (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	25.18
YOLO26n	OpenVINO	FP32	✅	9.6	0.4763	2.67
YOLO26n	OpenVINO	FP16	✅	5.1	0.4763	2.64
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	2.73
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	50.09
YOLO26s	OpenVINO	FP32	✅	36.7	0.5615	3.57
YOLO26s	OpenVINO	FP16	✅	18.6	0.5615	3.55
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	3.09
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	135.1
YOLO26m	OpenVINO	FP32	✅	78.3	0.6168	5.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	5.85
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	4.14
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	169.75
YOLO26l	OpenVINO	FP32	✅	95.3	0.6206	8.14
YOLO26l	OpenVINO	FP16	✅	48.1	0.6206	8.18
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	4.67
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	407.56
YOLO26x	OpenVINO	FP32	✅	213.2	0.6569	13.11
YOLO26x	OpenVINO	FP16	✅	107.1	0.6569	13.15
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	9.24

Intel® Core™ Ultra™ 7 258V

Benchmark

GPU Intel® Arc™ integrataIntel® Lunar Lake CPUIntegrated Intel® AI Boost NPU

Risultati dettagliati del benchmark

Modello	Formato	Precisione	Stato	Dimensione (MB)	metriche/mAP50-95(B)	Tempo di inferenza (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	31.43
YOLO26n	OpenVINO	FP32	✅	9.6	0.4762	3.57
YOLO26n	OpenVINO	FP16	✅	5.1	0.4762	3.53
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	3.65
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	60.4
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	5.02
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	5.01
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	4.31
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	173.31
YOLO26m	OpenVINO	FP32	✅	78.3	0.6191	9.48
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	9.6
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	6.03
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6173	224.52
YOLO26l	OpenVINO	FP32	✅	95.3	0.3725	11.88
YOLO26l	OpenVINO	FP16	✅	48.1	0.6201	12.0
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	8.47
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	595.72
YOLO26x	OpenVINO	FP32	✅	213.2	0.6567	20.26
YOLO26x	OpenVINO	FP16	✅	107.1	0.6454	20.25
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	14.77

Intel® Core™ Ultra™ 7 155H

Benchmark

GPU Intel® Arc™ integrataIntel® Meteor Lake CPU

Risultati dettagliati del benchmark

Modello	Formato	Precisione	Stato	Dimensione (MB)	metriche/mAP50-95(B)	Tempo di inferenza (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	38.77
YOLO26n	OpenVINO	FP32	✅	9.6	0.4774	9.87
YOLO26n	OpenVINO	FP16	✅	5.1	0.4774	9.84
YOLO26n	OpenVINO	INT8	✅	3.2	0.4705	5.86
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	69.54
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	17.29
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	17.06
YOLO26s	OpenVINO	INT8	✅	10.0	0.5452	10.33
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	192.22
YOLO26m	OpenVINO	FP32	✅	78.3	0.6187	34.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6187	34.75
YOLO26m	OpenVINO	INT8	✅	20.5	0.6073	15.99
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	245.62
YOLO26l	OpenVINO	FP32	✅	95.3	0.6202	43.7
YOLO26l	OpenVINO	FP16	✅	48.1	0.6202	44.65
YOLO26l	OpenVINO	INT8	✅	25.2	0.6048	20.31
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	513.06
YOLO26x	OpenVINO	FP32	✅	213.2	0.6544	80.19
YOLO26x	OpenVINO	FP16	✅	107.1	0.6544	79.83
YOLO26x	OpenVINO	INT8	✅	54.8	0.6393	35.16

Riproduci i nostri risultati

Per riprodurre i benchmark Ultralytics sopra indicati su tutti i formati di esportazione, esegui questo codice:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

Conclusione

I risultati dei benchmark dimostrano chiaramente i vantaggi dell'esportazione del modello YOLO26 nel formato OpenVINO. Tra diversi modelli e piattaforme hardware, il formato OpenVINO supera costantemente gli altri formati in termini di velocità di inferenza, mantenendo un'accuratezza paragonabile.

I benchmark sottolineano l'efficacia di OpenVINO come strumento per il deployment di modelli di deep learning. Convertendo i modelli nel formato OpenVINO, gli sviluppatori possono ottenere significativi miglioramenti delle prestazioni, rendendo più semplice il deployment di questi modelli in applicazioni reali.

Per informazioni più dettagliate e istruzioni sull'uso di OpenVINO, fai riferimento alla documentazione ufficiale di OpenVINO.

FAQ

Come posso esportare i modelli YOLO26 nel formato OpenVINO?

L'esportazione dei modelli YOLO26 nel formato OpenVINO può aumentare significativamente la velocità della CPU e abilitare le accelerazioni su GPU e NPU sull'hardware Intel. Per esportare, puoi usare Python o la CLI come mostrato di seguito:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

Per ulteriori informazioni, fai riferimento alla documentazione sui formati di esportazione.

Quali sono i vantaggi dell'utilizzo di OpenVINO con i modelli YOLO26?

L'utilizzo del toolkit OpenVINO di Intel con i modelli YOLO26 offre diversi vantaggi:

1. Prestazioni: Ottieni un incremento di velocità fino a 3x sull'inferenza CPU e sfrutta le GPU e le NPU Intel per l'accelerazione.
2. Model Optimizer: Converti, ottimizza ed esegui modelli da framework popolari come PyTorch, TensorFlow e ONNX.
3. Facilità d'uso: Sono disponibili oltre 80 notebook tutorial per aiutarti a iniziare, inclusi quelli per YOLO26.
4. Esecuzione eterogenea: Effettua il deployment dei modelli su vari hardware Intel con un'unica API.

Per confronti dettagliati sulle prestazioni, visita la nostra sezione benchmark.

Come posso eseguire l'inferenza utilizzando un modello YOLO26 esportato in OpenVINO?

Dopo aver esportato un modello YOLO26n nel formato OpenVINO, puoi eseguire l'inferenza usando Python o la CLI:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

Fai riferimento alla nostra documentazione sulla modalità di previsione per maggiori dettagli.

Perché dovrei scegliere Ultralytics YOLO26 rispetto ad altri modelli per l'esportazione in OpenVINO?

Ultralytics YOLO26 è ottimizzato per il rilevamento di oggetti in tempo reale con elevata accuratezza e velocità. Nello specifico, quando combinato con OpenVINO, YOLO26 offre:

• Fino a 3x di incremento della velocità sulle CPU Intel
• Deployment senza problemi su GPU e NPU Intel
• Accuratezza coerente e paragonabile tra i vari formati di esportazione

Per un'analisi approfondita delle prestazioni, consulta i nostri benchmark YOLO26 dettagliati su diversi hardware.

Posso eseguire il benchmark dei modelli YOLO26 su formati diversi come PyTorch, ONNX e OpenVINO?

Sì, puoi eseguire il benchmark dei modelli YOLO26 in vari formati, inclusi PyTorch, TorchScript, ONNX e OpenVINO. Usa il seguente frammento di codice per eseguire i benchmark sul dataset scelto:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

Per risultati dettagliati dei benchmark, fai riferimento alla nostra sezione benchmark e alla documentazione sui formati di esportazione.