Intel OpenVINO Dışa Aktarımı#

Bu kılavuzda, CPU hızını 3 kata kadar artırabilen OpenVINO biçimine YOLO26 modellerini aktarmayı ve Intel GPU ile NPU donanımlarında YOLO çıkarımını hızlandırmayı ele alıyoruz.

OpenVINO adı, Açık Görsel Çıkarım ve Sinir Ağı Optimizasyon araç setinin kısaltmasıdır; yapay zekâ çıkarım modellerini optimize etmek ve dağıtmak için kapsamlı bir araç setidir. Adında Görsel geçmesine rağmen OpenVINO; dil, ses, zaman serisi gibi çeşitli ek görevleri de destekler.

Desteklenen Görevler#

OpenVINO dışa aktarımı, yedi Ultralytics görevinin tümünü destekler. Anlamsal segmentasyon ve derinlik tahmini yalnızca bu başlıkları içeren tek aile olan YOLO26 ile kullanılabilir.

Kurulum#

OpenVINO dışa aktarma bağımlılıklarını şu komutla yükle:

pip install "ultralytics[export-openvino]"

Bu bağımlılıklar ultralytics[export] paketine de dâhildir ve dışa aktarma işlemi gerektirdiğinde otomatik olarak yüklenir.

Kullanım Örnekleri#

OpenVINO biçimi Dışa Aktarma, Tahmin ve Doğrulama modlarını destekler. Modelini dışa aktar, ardından çıkarım yapmak veya Intel CPU, tümleşik/ayrık GPU ya da NPU üzerinde doğruluğunu doğrulamak için dışa aktarılan modeli yükle.

from ultralytics import YOLO

# YOLO26 modelini yükle
model = YOLO("yolo26n.pt")

# Modeli OpenVINO biçimine aktar
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

from ultralytics import YOLO

# Dışa aktarılan OpenVINO modelini yükle
model = YOLO("yolo26n_openvino_model/")

# Çıkarımı çalıştır
results = model("https://ultralytics.com/images/bus.jpg")

# Belirli bir cihazda çıkarım yap. Kullanılabilir cihazlar: ["intel:gpu", "intel:npu", "intel:cpu"]
results = model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

from ultralytics import YOLO

# Dışa aktarılan OpenVINO modelini yükle
model = YOLO("yolo26n_openvino_model/")

# COCO8 veri kümesinde doğruluğu doğrula
metrics = model.val(data="coco8.yaml")

Dışa Aktarma Bağımsız Değişkenleri#

Dışa aktarma süreci hakkında daha fazla bilgi için Ultralytics dışa aktarma belgeleri sayfasını ziyaret et.

OpenVINO'nun Avantajları#

1. Performans: OpenVINO, Intel CPU'ların, tümleşik ve ayrık GPU'ların ve FPGA'ların gücünden yararlanarak yüksek performanslı çıkarım sunar.
2. Heterojen Yürütme Desteği: OpenVINO, bir kez yazıp desteklenen tüm Intel donanımlarında (CPU, GPU, FPGA, VPU vb.) dağıtım yapmanı sağlayan bir API sunar.
3. Model Optimize Edici: OpenVINO; PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle ve Caffe gibi popüler derin öğrenme çerçevelerindeki modelleri içe aktaran, dönüştüren ve optimize eden bir Model Optimize Edici sunar.
4. Kullanım Kolaylığı: Araç seti, farklı yönlerini öğreten çok sayıda eğitim not defteri ( YOLO26 optimizasyonu dâhil) ile birlikte gelir.

OpenVINO Dışa Aktarma Yapısı#

Bir modeli OpenVINO biçimine aktardığında aşağıdakileri içeren bir dizin oluşur:

1. XML dosyası: Ağ topolojisini açıklar.
2. BIN dosyası: Ağırlık ve bias verilerini ikili biçimde içerir.
3. Meta veri dosyası: metadata.yaml; sınıf adları, görüntü boyutu ve görev gibi model meta verilerini tutar. Ultralytics, modeli yüklerken bu bilgileri okur.

OpenVINO Runtime ile çıkarım yapmak için bu dosyaları kullanabilirsin.

Dağıtımda OpenVINO Dışa Aktarımını Kullanma#

Modelini OpenVINO biçimine başarıyla aktardıktan sonra çıkarım yapmak için iki temel seçeneğin vardır:

1. Üst düzey bir API sağlayan ve OpenVINO Runtime'ı saran ultralytics paketini kullan.

2. Çıkarım davranışı üzerinde daha gelişmiş veya özelleştirilmiş denetim için yerel openvino paketini kullan.

Ultralytics ile Çıkarım#

ultralytics paketi, predict yöntemi aracılığıyla dışa aktarılan OpenVINO modelini kullanarak kolayca çıkarım yapmanı sağlar. Ayrıca device bağımsız değişkenini kullanarak hedef cihazı (ör. intel:gpu, intel:npu, intel:cpu) belirtebilirsin.

from ultralytics import YOLO

# Dışa aktarılan OpenVINO modelini yükle
ov_model = YOLO("yolo26n_openvino_model/")  # dışa aktarılan OpenVINO modelinin yolu
# Dışa aktarılan modelle çıkarım yap
ov_model.predict(device="intel:gpu")  # çıkarımı çalıştırmak istediğin cihazı belirt

Bu yaklaşım, çıkarım hattı üzerinde tam denetime ihtiyaç duymadığın hızlı prototipleme veya dağıtım çalışmaları için idealdir.

OpenVINO Runtime ile Çıkarım#

OpenVINO Runtime, desteklenen tüm Intel donanımlarında çıkarım için birleşik bir API sunar. Ayrıca Intel donanımları arasında yük dengeleme ve eşzamansız yürütme gibi gelişmiş özellikler de sağlar. Çıkarım yapma hakkında daha fazla bilgi için YOLO26 not defterlerine başvur.

Unutma: modeli Runtime ile doğru şekilde kurup kullanmak için XML ve BIN dosyalarının yanı sıra girdi boyutu, normalleştirme için ölçek faktörü gibi uygulamaya özgü ayarlara da ihtiyacın olacak.

Dağıtım uygulamanda genellikle şu adımları uygularsın:

1. core = Core() oluşturarak OpenVINO'yu başlat.
2. core.read_model() yöntemini kullanarak modeli yükle.
3. core.compile_model() işlevini kullanarak modeli derle.
4. Girdiyi (görüntü, metin, ses vb.) hazırla.
5. compiled_model(input_data) kullanarak çıkarım yap.

Daha ayrıntılı adımlar ve kod parçacıkları için OpenVINO belgelerine veya API eğitimine başvur.

OpenVINO YOLO26 Karşılaştırma Testleri#

Ultralytics ekibi, OpenVINO ile uyumlu farklı Intel cihazlarında hız ve doğruluğu değerlendirmek için YOLO26'yı çeşitli model biçimlerinde ve duyarlık düzeylerinde karşılaştırma testlerine tabi tuttu.

Intel® Core™ Ultra#

Intel® Core™ Ultra™ serisi, oyunculardan içerik üreticilerine ve yapay zekâdan yararlanan profesyonellere kadar modern kullanıcıların değişen taleplerini karşılamak üzere tasarlanmış, yüksek performanslı bilgi işlemde yeni bir ölçütü temsil eder. Bu yeni nesil ürün serisi, geleneksel bir CPU serisinden daha fazlasıdır; farklı ve yoğun bilgi işlem iş yükleri için birleşik bir çözüm sunarak güçlü CPU çekirdeklerini, tümleşik yüksek performanslı GPU özelliklerini ve özel bir Sinir İşleme Birimini (NPU) tek bir yongada bir araya getirir.

Intel® Core Ultra™ mimarisinin temelinde, geleneksel işlem görevlerinde, GPU hızlandırmalı iş yüklerinde ve yapay zekâ destekli işlemlerde olağanüstü performans sağlayan hibrit bir tasarım bulunur. NPU'nun eklenmesi, cihaz üzerinde yapay zekâ çıkarımını geliştirerek çok çeşitli uygulamalarda daha hızlı ve verimli makine öğrenimi ile veri işlemeyi mümkün kılar.

Core Ultra™ ailesinde farklı performans gereksinimlerine göre tasarlanmış çeşitli modeller bulunur. Enerji verimli tasarımlardan, "H" harfiyle belirtilen ve ciddi bilgi işlem gücü gerektiren dizüstü bilgisayarlar ile kompakt biçim faktörleri için ideal olan yüksek güçlü seçeneklere kadar geniş bir yelpaze sunar. Ürün serisinin tamamında kullanıcılar CPU, GPU ve NPU tümleşiminin sinerjisinden yararlanarak etkileyici verimlilik, yanıt hızı ve çoklu görev yetenekleri elde eder.

Intel'in süregelen yenilik çalışmalarının bir parçası olan Core Ultra™ serisi, geleceğe hazır bilgi işlem için yeni bir standart belirliyor. Birden fazla modeli bugün piyasada bulunan ve yenileri yolda olan bu seri, Intel'in akıllı ve yapay zekâyla geliştirilmiş cihazların yeni nesli için en ileri çözümleri sunma taahhüdünü vurguluyor.

Aşağıdaki karşılaştırma testleri Intel® Core™ Ultra™ X7 358H, Intel® Core™ Ultra™ 7 258V ve Intel® Core™ Ultra™ 7 155H üzerinde FP32, FP16 ve INT8 duyarlıklarında çalıştırılmıştır.

Intel® Core™ Ultra™ X7 358H#

Karşılaştırma Testleri

Tümleşik Intel® Arc™ GPUIntel® Panther Lake CPUTümleşik Intel® AI Boost NPU

Ayrıntılı Karşılaştırma Testi Sonuçları

Model	Biçim	Kesinlik	Durum	Boyut (MB)	metrics/mAP50-95(B)	Çıkarım süresi (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	29.28
YOLO26n	OpenVINO	FP32	✅	9.7	0.4762	4.09
YOLO26n	OpenVINO	FP16	✅	5.1	0.4762	4.03
YOLO26n	OpenVINO	INT8	✅	3.2	0.4634	4.24
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	59.32
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	5.08
YOLO26s	OpenVINO	FP16	✅	18.7	0.5616	5.14
YOLO26s	OpenVINO	INT8	✅	10.0	0.5462	4.47
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	143.21
YOLO26m	OpenVINO	FP32	✅	78.4	0.6166	7.1
YOLO26m	OpenVINO	FP16	✅	39.5	0.6166	7.06
YOLO26m	OpenVINO	INT8	✅	20.6	0.6055	5.61
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	181.16
YOLO26l	OpenVINO	FP32	✅	95.3	0.6205	8.45
YOLO26l	OpenVINO	FP16	✅	48.1	0.6205	8.49
YOLO26l	OpenVINO	INT8	✅	25.2	0.5938	6.25
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	379.75
YOLO26x	OpenVINO	FP32	✅	213.3	0.6568	13.03
YOLO26x	OpenVINO	FP16	✅	107.1	0.6568	12.98
YOLO26x	OpenVINO	INT8	✅	54.8	0.6385	8.74

Intel® Core™ Ultra™ 7 258V#

Karşılaştırma Testleri

Tümleşik Intel® Arc™ GPUIntel® Lunar Lake CPUTümleşik Intel® AI Boost NPU

Ayrıntılı Karşılaştırma Testi Sonuçları

Model	Biçim	Kesinlik	Durum	Boyut (MB)	metrics/mAP50-95(B)	Çıkarım süresi (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	27.33
YOLO26n	OpenVINO	FP32	✅	9.6	0.4764	3.33
YOLO26n	OpenVINO	FP16	✅	5.1	0.4764	3.34
YOLO26n	OpenVINO	INT8	✅	3.2	0.4634	3.46
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	60.2
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	4.66
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	4.65
YOLO26s	OpenVINO	INT8	✅	10.0	0.5462	3.99
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	152.87
YOLO26m	OpenVINO	FP32	✅	78.4	0.6168	9.03
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	8.98
YOLO26m	OpenVINO	INT8	✅	20.6	0.6055	5.7
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	201.57
YOLO26l	OpenVINO	FP32	✅	95.3	0.6203	11.32
YOLO26l	OpenVINO	FP16	✅	48.1	0.6203	11.36
YOLO26l	OpenVINO	INT8	✅	25.2	0.5938	7.45
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	431.04
YOLO26x	OpenVINO	FP32	✅	213.2	0.6568	19.08
YOLO26x	OpenVINO	FP16	✅	107.1	0.6568	19.63
YOLO26x	OpenVINO	INT8	✅	54.8	0.6385	13.69

Intel® Core™ Ultra™ 7 155H#

Karşılaştırma Testleri

Tümleşik Intel® Arc™ GPUIntel® Meteor Lake CPU

Ayrıntılı Karşılaştırma Testi Sonuçları

Model	Biçim	Kesinlik	Durum	Boyut (MB)	metrics/mAP50-95(B)	Çıkarım süresi (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	33.19
YOLO26n	OpenVINO	FP32	✅	9.6	0.4758	9.13
YOLO26n	OpenVINO	FP16	✅	5.1	0.4758	9.07
YOLO26n	OpenVINO	INT8	✅	3.2	0.4573	5.79
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	70.92
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	16.37
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	16.65
YOLO26s	OpenVINO	INT8	✅	10.0	0.545	9.27
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	192.45
YOLO26m	OpenVINO	FP32	✅	78.4	0.6167	34.47
YOLO26m	OpenVINO	FP16	✅	39.5	0.6167	35.71
YOLO26m	OpenVINO	INT8	✅	20.6	0.6039	15.46
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	239.19
YOLO26l	OpenVINO	FP32	✅	95.3	0.621	43.24
YOLO26l	OpenVINO	FP16	✅	48.1	0.621	43.4
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	19.72
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	511.89
YOLO26x	OpenVINO	FP32	✅	213.2	0.6552	79.49
YOLO26x	OpenVINO	FP16	✅	107.1	0.6552	79.45
YOLO26x	OpenVINO	INT8	✅	54.8	0.642	34.66

Sonuçlarımızı Yeniden Üretme#

Yukarıdaki Ultralytics karşılaştırma testlerini tüm dışa aktarma biçimlerinde yeniden üretmek için şu kodu çalıştır:

from ultralytics import YOLO

# YOLO26n PyTorch modelini yükle
model = YOLO("yolo26n.pt")

# COCO128 veri kümesinde YOLO26n hızını ve doğruluğunu tüm dışa aktarma formatları için kıyasla
results = model.benchmark(data="coco128.yaml")

Sonuç#

Karşılaştırma sonuçları, YOLO26 modelini OpenVINO biçimine aktarmanın avantajlarını açıkça ortaya koyuyor. Farklı modellerde ve donanım platformlarında OpenVINO biçimi, benzer doğruluğu korurken çıkarım hızı bakımından sürekli olarak diğer biçimlerden daha iyi performans gösteriyor.

Karşılaştırmalar, OpenVINO'nun derin öğrenme modellerini dağıtmak için etkili bir araç olduğunu gösteriyor. Modelleri OpenVINO biçimine dönüştürerek önemli performans artışları elde edebilir ve bu modelleri gerçek dünya uygulamalarında daha kolay dağıtabilirsin.

OpenVINO kullanımı hakkında daha ayrıntılı bilgi ve yönergeler için resmî OpenVINO belgelerine başvur.

Sık Sorulan Sorular#