Link to this sectionEsportazione Intel OpenVINO#

In questa guida illustriamo come esportare modelli YOLO26 nel formato OpenVINO, che può offrire un incremento di velocità fino a 3x su CPU, oltre ad accelerare l'inferenza YOLO su hardware Intel GPU e NPU.

OpenVINO, abbreviazione di Open Visual Inference & Neural Network Optimization toolkit, è un toolkit completo per l'ottimizzazione e il deployment di modelli di inferenza AI. Anche se il nome contiene "Visual", OpenVINO supporta anche varie attività aggiuntive, tra cui linguaggio, audio, serie temporali, ecc.

Link to this sectionEsempi di utilizzo#

Il formato OpenVINO supporta le modalità Export, Predict e Validate. Esporta il tuo modello, quindi caricalo per eseguire l'inferenza o convalidarne l'accuratezza su CPU Intel, GPU integrata/dedicata o NPU.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to OpenVINO format
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

from ultralytics import YOLO

# Load the exported OpenVINO model
model = YOLO("yolo26n_openvino_model/")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

# Run inference on a specific device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

from ultralytics import YOLO

# Load the exported OpenVINO model
model = YOLO("yolo26n_openvino_model/")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Link to this sectionArgomenti di esportazione#

Per ulteriori dettagli sul processo di esportazione, visita la pagina della documentazione di Ultralytics sull'esportazione.

Link to this sectionVantaggi di OpenVINO#

1. Prestazioni: OpenVINO offre un'inferenza ad alte prestazioni sfruttando la potenza di CPU Intel, GPU integrate e dedicate, e FPGA.
2. Supporto per l'esecuzione eterogenea: OpenVINO fornisce un'API per scrivere una volta sola ed eseguire il deployment su qualsiasi hardware Intel supportato (CPU, GPU, FPGA, VPU, ecc.).
3. Model Optimizer: OpenVINO fornisce un Model Optimizer che importa, converte e ottimizza modelli da popolari framework di deep learning come PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle e Caffe.
4. Facilità d'uso: Il toolkit include un'ampia raccolta di notebook di tutorial (inclusa l'ottimizzazione YOLO26) che illustrano diversi aspetti del toolkit.

Link to this sectionStruttura di esportazione OpenVINO#

Quando esporti un modello in formato OpenVINO, ottieni una directory contenente quanto segue:

1. File XML: Descrive la topologia della rete.
2. File BIN: Contiene i dati binari di pesi e bias.
3. File di mappatura: Contiene la mappatura dei tensori di output del modello originale ai nomi dei tensori OpenVINO.

Puoi utilizzare questi file per eseguire l'inferenza con il motore di inferenza OpenVINO.

Link to this sectionUtilizzo dell'esportazione OpenVINO nel deployment#

Una volta che il tuo modello è stato esportato correttamente nel formato OpenVINO, hai due opzioni principali per eseguire l'inferenza:

1. Utilizza il pacchetto ultralytics, che fornisce un'API di alto livello e racchiude il runtime di OpenVINO.

2. Utilizza il pacchetto nativo openvino per un controllo più avanzato o personalizzato del comportamento dell'inferenza.

Link to this sectionInferenza con Ultralytics#

Il pacchetto ultralytics ti consente di eseguire facilmente l'inferenza utilizzando il modello OpenVINO esportato tramite il metodo predict. Puoi anche specificare il dispositivo di destinazione (es. intel:gpu, intel:npu, intel:cpu) usando l'argomento device.

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

Questo approccio è ideale per la prototipazione rapida o il deployment quando non hai bisogno di un controllo completo sulla pipeline di inferenza.

Link to this sectionInferenza con OpenVINO Runtime#

Il runtime di OpenVINO fornisce un'API unificata per l'inferenza su tutto l'hardware Intel supportato. Fornisce inoltre funzionalità avanzate come il bilanciamento del carico sull'hardware Intel e l'esecuzione asincrona. Per ulteriori informazioni sull'esecuzione dell'inferenza, fai riferimento ai notebook YOLO26.

Ricorda, avrai bisogno dei file XML e BIN, oltre a eventuali impostazioni specifiche dell'applicazione come dimensione dell'input, fattore di scala per la normalizzazione, ecc., per configurare e utilizzare correttamente il modello con il Runtime.

Nella tua applicazione di deployment, dovresti solitamente eseguire i seguenti passaggi:

1. Inizializza OpenVINO creando core = Core().
2. Carica il modello utilizzando il metodo core.read_model().
3. Compila il modello utilizzando la funzione core.compile_model().
4. Prepara l'input (immagine, testo, audio, ecc.).
5. Esegui l'inferenza utilizzando compiled_model(input_data).

Per passaggi più dettagliati e frammenti di codice, fai riferimento alla documentazione di OpenVINO o al tutorial API.

Link to this sectionBenchmark YOLO26 con OpenVINO#

Il team di Ultralytics ha confrontato YOLO26 su vari formati di modello e precision, valutando velocità e accuratezza su diversi dispositivi Intel compatibili con OpenVINO.

Link to this sectionIntel® Core™ Ultra#

La serie Intel® Core™ Ultra™ rappresenta un nuovo benchmark nell'informatica ad alte prestazioni, progettato per soddisfare le mutevoli esigenze degli utenti moderni, dai gamer e creatori ai professionisti che sfruttano l'IA. Questa linea di nuova generazione è più di una serie di CPU tradizionale; combina potenti core CPU, capacità GPU integrate ad alte prestazioni e una Neural Processing Unit (NPU) dedicata all'interno di un unico chip, offrendo una soluzione unificata per carichi di lavoro di calcolo diversificati e intensivi.

Al centro dell'architettura Intel® Core Ultra™ c'è un design ibrido che consente prestazioni eccezionali su attività di elaborazione tradizionali, carichi di lavoro accelerati da GPU e operazioni basate sull'IA. L'inclusione della NPU migliora l'inferenza IA sul dispositivo, consentendo un machine learning e un'elaborazione dei dati più rapidi ed efficienti su un'ampia gamma di applicazioni.

La famiglia Core Ultra™ include vari modelli su misura per diverse esigenze di prestazioni, con opzioni che vanno dai design a basso consumo energetico alle varianti ad alta potenza contrassegnate dalla sigla "H", ideali per laptop e form factor compatti che richiedono una potenza di calcolo elevata. In tutta la linea, gli utenti beneficiano della sinergia dell'integrazione di CPU, GPU e NPU, offrendo efficienza, reattività e capacità di multitasking notevoli.

Come parte dell'innovazione continua di Intel, la serie Core Ultra™ definisce un nuovo standard per l'informatica pronta per il futuro. Con molteplici modelli disponibili e altri all'orizzonte, questa serie sottolinea l'impegno di Intel nel fornire soluzioni all'avanguardia per la prossima generazione di dispositivi intelligenti potenziati dall'IA.

I benchmark di seguito sono stati eseguiti su Intel® Core™ Ultra™ X7 358H, Intel® Core™ Ultra™ 7 258V e Intel® Core™ Ultra™ 7 155H a precisione FP32, FP16 e INT8.

Link to this sectionIntel® Core™ Ultra™ X7 358H#

Benchmark

GPU integrata Intel® Arc™Intel® Panther Lake CPUIntegrated Intel® AI Boost NPU

Risultati dettagliati del benchmark

Modello	Formato	Precisione	Stato	Dimensioni (MB)	metr./mAP50-95(B)	Tempo di inferenza (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	25.18
YOLO26n	OpenVINO	FP32	✅	9.6	0.4763	2.67
YOLO26n	OpenVINO	FP16	✅	5.1	0.4763	2.64
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	2.73
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	50.09
YOLO26s	OpenVINO	FP32	✅	36.7	0.5615	3.57
YOLO26s	OpenVINO	FP16	✅	18.6	0.5615	3.55
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	3.09
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	135.1
YOLO26m	OpenVINO	FP32	✅	78.3	0.6168	5.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	5.85
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	4.14
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	169.75
YOLO26l	OpenVINO	FP32	✅	95.3	0.6206	8.14
YOLO26l	OpenVINO	FP16	✅	48.1	0.6206	8.18
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	4.67
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	407.56
YOLO26x	OpenVINO	FP32	✅	213.2	0.6569	13.11
YOLO26x	OpenVINO	FP16	✅	107.1	0.6569	13.15
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	9.24

Link to this sectionIntel® Core™ Ultra™ 7 258V#

Benchmark

GPU integrata Intel® Arc™Intel® Lunar Lake CPUIntegrated Intel® AI Boost NPU

Risultati dettagliati del benchmark

Modello	Formato	Precisione	Stato	Dimensioni (MB)	metr./mAP50-95(B)	Tempo di inferenza (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	31.43
YOLO26n	OpenVINO	FP32	✅	9.6	0.4762	3.57
YOLO26n	OpenVINO	FP16	✅	5.1	0.4762	3.53
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	3.65
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	60.4
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	5.02
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	5.01
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	4.31
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	173.31
YOLO26m	OpenVINO	FP32	✅	78.3	0.6191	9.48
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	9.6
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	6.03
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6173	224.52
YOLO26l	OpenVINO	FP32	✅	95.3	0.3725	11.88
YOLO26l	OpenVINO	FP16	✅	48.1	0.6201	12.0
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	8.47
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	595.72
YOLO26x	OpenVINO	FP32	✅	213.2	0.6567	20.26
YOLO26x	OpenVINO	FP16	✅	107.1	0.6454	20.25
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	14.77

Link to this sectionIntel® Core™ Ultra™ 7 155H#

Benchmark

GPU integrata Intel® Arc™Intel® Meteor Lake CPU

Risultati dettagliati del benchmark

Modello	Formato	Precisione	Stato	Dimensioni (MB)	metr./mAP50-95(B)	Tempo di inferenza (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	38.77
YOLO26n	OpenVINO	FP32	✅	9.6	0.4774	9.87
YOLO26n	OpenVINO	FP16	✅	5.1	0.4774	9.84
YOLO26n	OpenVINO	INT8	✅	3.2	0.4705	5.86
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	69.54
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	17.29
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	17.06
YOLO26s	OpenVINO	INT8	✅	10.0	0.5452	10.33
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	192.22
YOLO26m	OpenVINO	FP32	✅	78.3	0.6187	34.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6187	34.75
YOLO26m	OpenVINO	INT8	✅	20.5	0.6073	15.99
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	245.62
YOLO26l	OpenVINO	FP32	✅	95.3	0.6202	43.7
YOLO26l	OpenVINO	FP16	✅	48.1	0.6202	44.65
YOLO26l	OpenVINO	INT8	✅	25.2	0.6048	20.31
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	513.06
YOLO26x	OpenVINO	FP32	✅	213.2	0.6544	80.19
YOLO26x	OpenVINO	FP16	✅	107.1	0.6544	79.83
YOLO26x	OpenVINO	INT8	✅	54.8	0.6393	35.16

Link to this sectionRiproduci i nostri risultati#

Per riprodurre i benchmark Ultralytics sopra indicati su tutti i formati di esportazione, esegui questo codice:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

Link to this sectionConclusione#

I risultati dei benchmark dimostrano chiaramente i vantaggi dell'esportazione del modello YOLO26 nel formato OpenVINO. Tra diversi modelli e piattaforme hardware, il formato OpenVINO supera costantemente altri formati in termini di velocità di inferenza, mantenendo un'accuratezza paragonabile.

I benchmark sottolineano l'efficacia di OpenVINO come strumento per il deployment di modelli di deep learning. Convertendo i modelli nel formato OpenVINO, gli sviluppatori possono ottenere significativi miglioramenti delle prestazioni, semplificando il deployment di questi modelli in applicazioni reali.

Per informazioni più dettagliate e istruzioni sull'utilizzo di OpenVINO, consulta la documentazione ufficiale di OpenVINO.

Link to this sectionFAQ#

Link to this sectionCome esporto i modelli YOLO26 nel formato OpenVINO?#

L'esportazione dei modelli YOLO26 nel formato OpenVINO può migliorare significativamente la velocità della CPU e abilitare le accelerazioni GPU e NPU sull'hardware Intel. Per esportare, puoi utilizzare Python o la CLI come mostrato di seguito:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

Per ulteriori informazioni, consulta la documentazione sui formati di esportazione.

Link to this sectionQuali sono i vantaggi dell'utilizzo di OpenVINO con i modelli YOLO26?#

L'utilizzo del toolkit OpenVINO di Intel con i modelli YOLO26 offre diversi vantaggi:

1. Prestazioni: ottieni fino a 3x di velocizzazione sull'inferenza CPU e sfrutta le GPU e le NPU Intel per l'accelerazione.
2. Model Optimizer: converti, ottimizza ed esegui modelli dai framework più diffusi come PyTorch, TensorFlow e ONNX.
3. Facilità d'uso: è disponibile un'ampia raccolta di notebook tutorial per aiutare gli utenti a iniziare, inclusi quelli per YOLO26.
4. Esecuzione eterogenea: esegui il deployment dei modelli su vari hardware Intel con un'unica API.

Per confronti dettagliati sulle prestazioni, visita la nostra sezione benchmark.

Link to this sectionCome posso eseguire l'inferenza utilizzando un modello YOLO26 esportato in OpenVINO?#

Dopo aver esportato un modello YOLO26n nel formato OpenVINO, puoi eseguire l'inferenza utilizzando Python o la CLI:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

Consulta la nostra documentazione sulla modalità di predizione per ulteriori dettagli.

Link to this sectionPerché dovrei scegliere Ultralytics YOLO26 rispetto ad altri modelli per l'esportazione in OpenVINO?#

Ultralytics YOLO26 è ottimizzato per il rilevamento di oggetti in tempo reale con elevata precisione e velocità. In particolare, se combinato con OpenVINO, YOLO26 offre:

• Fino a 3x di velocizzazione sulle CPU Intel
• Deployment senza interruzioni su GPU e NPU Intel
• Precisione costante e paragonabile tra vari formati di esportazione

Per un'analisi approfondita delle prestazioni, controlla i nostri benchmark YOLO26 dettagliati su diversi hardware.

Link to this sectionPosso testare i modelli YOLO26 su diversi formati come PyTorch, ONNX e OpenVINO?#

Sì, puoi testare i modelli YOLO26 in vari formati, inclusi PyTorch, TorchScript, ONNX e OpenVINO. Utilizza il seguente snippet di codice per eseguire i benchmark sul dataset che hai scelto:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

Per risultati dettagliati dei benchmark, consulta la nostra sezione benchmark e la documentazione sui formati di esportazione.