Intel OpenVINO Dışa Aktarımı

In this guide, we cover exporting YOLO26 models to the OpenVINO format, which can provide up to 3x CPU speedup, as well as accelerating YOLO inference on Intel GPU and NPU hardware.

Open Visual Inference & Neural Network Optimization (Açık Görsel Çıkarım ve Sinir Ağı Optimizasyonu) araç setinin kısaltması olan OpenVINO, yapay zeka çıkarım modellerini optimize etmek ve dağıtmak için kapsamlı bir araç setidir. İsmi Visual (Görsel) içermesine rağmen, OpenVINO dil, ses, zaman serileri vb. dahil olmak üzere çeşitli ek görevleri de destekler.

Kullanım Örnekleri

Bir YOLO26n modelini OpenVINO formatına aktar ve dışa aktarılan model ile çıkarım çalıştır.

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Dışa Aktarma Argümanları

Dışa aktarma süreci hakkında daha fazla detay için dışa aktarma hakkındaki Ultralytics dokümantasyon sayfasını ziyaret et.

OpenVINO'nun Faydaları

1. Performans: OpenVINO, Intel CPU'ların, entegre ve harici GPU'ların ve FPGA'lerin gücünü kullanarak yüksek performanslı çıkarım sağlar.
2. Heterojen Çalıştırma Desteği: OpenVINO, bir kez yazıp herhangi bir desteklenen Intel donanımında (CPU, GPU, FPGA, VPU vb.) dağıtmak için bir API sağlar.
3. Model Optimizer: OpenVINO provides a Model Optimizer that imports, converts, and optimizes models from popular deep learning frameworks such as PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle, and Caffe.
4. Kullanım Kolaylığı: Araç seti, araç setinin farklı yönlerini öğreten 80'den fazla eğitim not defteri ( YOLO26 optimizasyonu dahil) ile birlikte gelir.

OpenVINO Dışa Aktarma Yapısı

Bir modeli OpenVINO formatına aktardığında, aşağıdakileri içeren bir dizin oluşur:

1. XML dosyası: Ağ topolojisini tanımlar.
2. BIN dosyası: Ağırlıklar ve önyargılar ikili verisini içerir.
3. Eşleme dosyası: Orijinal model çıktı tensörlerinin OpenVINO tensör adlarına eşlemesini tutar.

Bu dosyaları OpenVINO Inference Engine ile çıkarım çalıştırmak için kullanabilirsin.

Dağıtımda OpenVINO Dışa Aktarımı Kullanımı

Modelin OpenVINO formatına başarıyla aktarıldıktan sonra, çıkarım çalıştırmak için iki ana seçeneğin vardır:

1. Üst düzey bir API sağlayan ve OpenVINO Runtime'ı kapsayan ultralytics paketini kullan.

2. Çıkarım davranışı üzerinde daha gelişmiş veya özelleştirilmiş kontrol için yerel openvino paketini kullan.

Ultralytics ile Çıkarım

Ultralytics paketi, predict metodunu kullanarak dışa aktarılan OpenVINO modeliyle kolayca çıkarım yapmanı sağlar. Ayrıca device argümanını kullanarak hedef cihazı (örneğin intel:gpu, intel:npu, intel:cpu) belirleyebilirsin.

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

Bu yaklaşım, çıkarım hattı üzerinde tam kontrole ihtiyaç duymadığın hızlı prototipleme veya dağıtım için idealdir.

OpenVINO Runtime ile Çıkarım

OpenVINO Runtime, tüm desteklenen Intel donanımlarında çıkarım için birleşik bir API sağlar. Ayrıca Intel donanımı genelinde yük dengeleme ve eşzamansız yürütme gibi gelişmiş yetenekler sunar. Çıkarım çalıştırma hakkında daha fazla bilgi için YOLO26 not defterlerine başvur.

Unutma, modeli Runtime ile doğru şekilde kurmak ve kullanmak için XML ve BIN dosyalarının yanı sıra giriş boyutu, normalleştirme için ölçek faktörü vb. uygulama özelindeki ayarlar da gerekecektir.

Dağıtım uygulamanızda genellikle şu adımları izlersin:

1. core = Core() oluşturarak OpenVINO'yu başlat.
2. core.read_model() metodunu kullanarak modeli yükle.
3. core.compile_model() fonksiyonunu kullanarak modeli derle.
4. Girdiyi (görsel, metin, ses vb.) hazırla.
5. compiled_model(input_data) kullanarak çıkarımı çalıştır.

Daha detaylı adımlar ve kod parçacıkları için OpenVINO dokümantasyonuna veya API eğitimine başvur.

OpenVINO YOLO26 Kıyaslamaları

Ultralytics ekibi, OpenVINO ile uyumlu farklı Intel cihazlarında hız ve doğruluğu değerlendirerek, çeşitli model formatları ve hassasiyet düzeylerinde YOLO26'yı kıyasladı.

Intel® Core™ Ultra™

Intel® Core™ Ultra™ serisi, oyunculardan ve içerik oluşturuculardan yapay zekadan yararlanan profesyonellere kadar modern kullanıcıların gelişen taleplerini karşılamak için tasarlanmış, yüksek performanslı bilgi işlemede yeni bir ölçüt oluşturur. Bu yeni nesil seri geleneksel bir CPU serisinden daha fazlasıdır; güçlü CPU çekirdeklerini, entegre yüksek performanslı GPU yeteneklerini ve özel bir Sinir İşleme Birimini (NPU) tek bir çip üzerinde birleştirerek çeşitli ve yoğun bilgi işlem iş yükleri için birleşik bir çözüm sunar.

Intel® Core Ultra™ mimarisinin merkezinde, geleneksel işleme görevleri, GPU hızlandırmalı iş yükleri ve yapay zeka odaklı işlemler genelinde olağanüstü performans sağlayan hibrit bir tasarım yer alır. NPU'nun dahil edilmesi, cihaz üzerinde yapay zeka çıkarımını iyileştirerek çok çeşitli uygulamalarda daha hızlı, daha verimli makine öğrenimi ve veri işleme sağlar.

Core Ultra™ ailesi, enerji tasarruflu tasarımlardan, dizüstü bilgisayarlar ve ciddi bilgi işlem gücü gerektiren kompakt form faktörleri için ideal olan "H" göstergesiyle işaretlenmiş yüksek güçlü varyantlara kadar farklı performans ihtiyaçlarına göre uyarlanmış çeşitli modeller içerir. Seri genelinde kullanıcılar, CPU, GPU ve NPU entegrasyonunun sinerjisinden yararlanarak dikkate değer verimlilik, yanıt verme hızı ve çoklu görev yetenekleri elde eder.

Intel'in devam eden inovasyonunun bir parçası olarak, Core Ultra™ serisi geleceğe hazır bilgi işlem için yeni bir standart belirler. Mevcut birden fazla modeli ve ufuktaki diğerleriyle bu seri, Intel'in yeni nesil akıllı, yapay zeka ile geliştirilmiş cihazlar için en son çözümleri sunma taahhüdünün altını çizer.

Aşağıdaki kıyaslamalar FP32, FP16 ve INT8 hassasiyetinde Intel® Core™ Ultra™ X7 358H, Intel® Core™ Ultra™ 7 258V ve Intel® Core™ Ultra™ 7 155H üzerinde çalıştırılmıştır.

Intel® Core™ Ultra™ X7 358H

Kıyaslamalar

Entegre Intel® Arc™ GPUIntel® Panther Lake CPUIntegrated Intel® AI Boost NPU

Detaylı Kıyaslama Sonuçları

Model	Format	Hassasiyet	Durum	Boyut (MB)	metrics/mAP50-95(B)	Çıkarım süresi (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	25.18
YOLO26n	OpenVINO	FP32	✅	9.6	0.4763	2.67
YOLO26n	OpenVINO	FP16	✅	5.1	0.4763	2.64
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	2.73
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	50.09
YOLO26s	OpenVINO	FP32	✅	36.7	0.5615	3.57
YOLO26s	OpenVINO	FP16	✅	18.6	0.5615	3.55
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	3.09
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	135.1
YOLO26m	OpenVINO	FP32	✅	78.3	0.6168	5.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	5.85
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	4.14
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	169.75
YOLO26l	OpenVINO	FP32	✅	95.3	0.6206	8.14
YOLO26l	OpenVINO	FP16	✅	48.1	0.6206	8.18
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	4.67
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	407.56
YOLO26x	OpenVINO	FP32	✅	213.2	0.6569	13.11
YOLO26x	OpenVINO	FP16	✅	107.1	0.6569	13.15
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	9.24

Intel® Core™ Ultra™ 7 258V

Kıyaslamalar

Entegre Intel® Arc™ GPUIntel® Lunar Lake CPUIntegrated Intel® AI Boost NPU

Detaylı Kıyaslama Sonuçları

Model	Format	Hassasiyet	Durum	Boyut (MB)	metrics/mAP50-95(B)	Çıkarım süresi (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	31.43
YOLO26n	OpenVINO	FP32	✅	9.6	0.4762	3.57
YOLO26n	OpenVINO	FP16	✅	5.1	0.4762	3.53
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	3.65
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	60.4
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	5.02
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	5.01
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	4.31
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	173.31
YOLO26m	OpenVINO	FP32	✅	78.3	0.6191	9.48
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	9.6
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	6.03
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6173	224.52
YOLO26l	OpenVINO	FP32	✅	95.3	0.3725	11.88
YOLO26l	OpenVINO	FP16	✅	48.1	0.6201	12.0
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	8.47
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	595.72
YOLO26x	OpenVINO	FP32	✅	213.2	0.6567	20.26
YOLO26x	OpenVINO	FP16	✅	107.1	0.6454	20.25
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	14.77

Intel® Core™ Ultra™ 7 155H

Kıyaslamalar

Entegre Intel® Arc™ GPUIntel® Meteor Lake CPU

Detaylı Kıyaslama Sonuçları

Model	Format	Hassasiyet	Durum	Boyut (MB)	metrics/mAP50-95(B)	Çıkarım süresi (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	38.77
YOLO26n	OpenVINO	FP32	✅	9.6	0.4774	9.87
YOLO26n	OpenVINO	FP16	✅	5.1	0.4774	9.84
YOLO26n	OpenVINO	INT8	✅	3.2	0.4705	5.86
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	69.54
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	17.29
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	17.06
YOLO26s	OpenVINO	INT8	✅	10.0	0.5452	10.33
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	192.22
YOLO26m	OpenVINO	FP32	✅	78.3	0.6187	34.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6187	34.75
YOLO26m	OpenVINO	INT8	✅	20.5	0.6073	15.99
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	245.62
YOLO26l	OpenVINO	FP32	✅	95.3	0.6202	43.7
YOLO26l	OpenVINO	FP16	✅	48.1	0.6202	44.65
YOLO26l	OpenVINO	INT8	✅	25.2	0.6048	20.31
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	513.06
YOLO26x	OpenVINO	FP32	✅	213.2	0.6544	80.19
YOLO26x	OpenVINO	FP16	✅	107.1	0.6544	79.83
YOLO26x	OpenVINO	INT8	✅	54.8	0.6393	35.16

Sonuçlarımızı Yeniden Oluştur

Yukarıdaki Ultralytics kıyaslamalarını tüm dışa aktarma formatlarında yeniden oluşturmak için şu kodu çalıştır:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

Sonuç

Kıyaslama sonuçları, YOLO26 modelini OpenVINO formatına aktarmanın faydalarını açıkça göstermektedir. Farklı modeller ve donanım platformları genelinde OpenVINO formatı, çıkarım hızı açısından diğer formatlardan tutarlı bir şekilde daha iyi performans gösterirken, karşılaştırılabilir bir doğruluğu korumaktadır.

Kıyaslamalar, derin öğrenme modellerini dağıtmak için bir araç olarak OpenVINO'nun etkinliğini vurgulamaktadır. Geliştiriciler, modelleri OpenVINO formatına dönüştürerek önemli performans iyileştirmeleri elde edebilir ve bu modellerin gerçek dünya uygulamalarında dağıtılmasını kolaylaştırabilir.

OpenVINO kullanımı hakkında daha ayrıntılı bilgi ve talimatlar için resmi OpenVINO dokümantasyonuna başvur.

SSS

YOLO26 modellerini OpenVINO formatına nasıl aktarırım?

YOLO26 modellerini OpenVINO formatına aktarmak, CPU hızını önemli ölçüde artırabilir ve Intel donanımında GPU ve NPU hızlandırmalarını etkinleştirebilir. Dışa aktarmak için aşağıda gösterildiği gibi Python veya CLI kullanabilirsin:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

Daha fazla bilgi için dışa aktarma formatları dokümantasyonuna başvur.

YOLO26 modelleriyle OpenVINO kullanmanın faydaları nelerdir?

Intel'in OpenVINO araç setini YOLO26 modelleriyle kullanmak çeşitli avantajlar sunar:

1. Performans: CPU çıkarımında 3 kata kadar hız artışı elde et ve hızlandırma için Intel GPU'larından ve NPU'larından yararlan.
2. Model Optimizer: PyTorch, TensorFlow ve ONNX gibi popüler çerçevelerden modelleri dönüştür, optimize et ve yürüt.
3. Kullanım Kolaylığı: YOLO26 dahil olmak üzere kullanıcıların başlamasına yardımcı olacak 80'den fazla eğitim not defteri mevcuttur.
4. Heterojen Yürütme: Birleşik bir API ile modelleri çeşitli Intel donanımlarında dağıt.

Ayrıntılı performans karşılaştırmaları için kıyaslamalar bölümümüzü ziyaret et.

OpenVINO'ya aktarılmış bir YOLO26 modeli kullanarak nasıl çıkarım yapabilirim?

Bir YOLO26n modelini OpenVINO formatına aktardıktan sonra Python veya CLI kullanarak çıkarım çalıştırabilirsin:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

Daha fazla ayrıntı için tahmin modu dokümantasyonumuza başvur.

OpenVINO dışa aktarımı için neden diğer modeller yerine Ultralytics YOLO26'yı seçmeliyim?

Ultralytics YOLO26, yüksek doğruluk ve hız ile gerçek zamanlı nesne algılama için optimize edilmiştir. Özellikle OpenVINO ile birleştirildiğinde YOLO26 şunları sağlar:

• Intel CPU'larında 3 kata kadar hız artışı
• Intel GPU'larında ve NPU'larında sorunsuz dağıtım
• Çeşitli dışa aktarma formatlarında tutarlı ve karşılaştırılabilir doğruluk

Derinlemesine performans analizi için farklı donanımlardaki ayrıntılı YOLO26 kıyaslamalarımıza göz at.

YOLO26 modellerini PyTorch, ONNX ve OpenVINO gibi farklı formatlarda kıyaslayabilir miyim?

Evet, YOLO26 modellerini PyTorch, TorchScript, ONNX ve OpenVINO dahil olmak üzere çeşitli formatlarda kıyaslayabilirsin. Seçtiğin veri kümesinde kıyaslamaları çalıştırmak için aşağıdaki kod parçacığını kullan:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

Ayrıntılı kıyaslama sonuçları için kıyaslamalar bölümümüze ve dışa aktarma formatları dokümantasyonuna başvur.