Intel OpenVINO Dışa Aktarma#

Bu kılavuzda, YOLO26 modellerini Intel GPU ve NPU donanımında YOLO çıkarımını hızlandırmanın yanı sıra 3 kata kadar CPU hız artışı sağlayabilen OpenVINO formatına aktarmayı ele alıyoruz.

Open Visual Inference & Neural Network Optimization toolkit kelimelerinin kısaltması olan OpenVINO, yapay zeka çıkarım modellerini optimize etmek ve dağıtmak için kapsamlı bir araç setidir. Adında Görsel (Visual) kelimesi geçmesine rağmen OpenVINO; dil, ses, zaman serisi ve daha fazlası dahil olmak üzere çeşitli ek görevleri de destekler.

Desteklenen Görevler#

OpenVINO dışa aktarımı, yedi Ultralytics görevini de destekler. Anlamsal segmentasyon ve derinlik tahmini yalnızca, bu başlıklara sahip tek aile olan YOLO26 ile kullanılabilir.

Kullanım Örnekleri#

OpenVINO formatı Export, Predict ve Validate modlarını destekler. Modelini dışarı aktar, ardından dışarı aktarılan modeli yükleyerek Intel CPU, entegre/harici GPU veya NPU üzerinde çıkarım çalıştır ya da doğruluğunu doğrula.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to OpenVINO format
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

from ultralytics import YOLO

# Load the exported OpenVINO model
model = YOLO("yolo26n_openvino_model/")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

# Run inference on a specific device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

from ultralytics import YOLO

# Load the exported OpenVINO model
model = YOLO("yolo26n_openvino_model/")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Dışa Aktarma Argümanları#

Dışa aktarım süreci hakkında daha fazla ayrıntı için Ultralytics documentation page on exporting sayfasını ziyaret edin.

OpenVINO'nun Avantajları#

1. Performans: OpenVINO, Intel CPU'ların, tümleşik ve ayrık GPU'ların ve FPGA'lerin gücünü kullanarak yüksek performanslı çıkarım sunar.
2. Heterojen Yürütme Desteği: OpenVINO, bir kez yazıp tüm desteklenen Intel donanımlarında (CPU, GPU, FPGA, VPU, vb.) dağıtabilmen için bir API sağlar.
3. Model Optimizer: OpenVINO; PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle ve Caffe gibi popüler deep learning framework'lerinden modelleri içe aktaran, dönüştüren ve optimize eden bir Model Optimizer sağlar.
4. Kullanım Kolaylığı: Araç seti, araç setinin farklı yönlerini öğreten çok sayıda eğitim not defteri (YOLO26 optimizasyonu dahil) ile birlikte gelir.

OpenVINO Dışa Aktarma Yapısı#

Bir modeli OpenVINO formatına dışa aktardığında, aşağıdakileri içeren bir dizin oluşur:

1. XML dosyası: Ağ topolojisini açıklar.
2. BIN dosyası: Ağırlıklar ve yanlılık (bias) ikili verilerini içerir.
3. Eşleme dosyası: Orijinal model çıktı tensörlerinin OpenVINO tensör isimleriyle eşlemesini tutar.

Bu dosyaları OpenVINO Çıkarım Motoru ile çıkarım çalıştırmak için kullanabilirsin.

Dağıtımda OpenVINO Dışa Aktarma Kullanımı#

Modelin OpenVINO formatına başarıyla dışa aktarıldıktan sonra, çıkarım çalıştırmak için iki temel seçeneğin vardır:

1. Üst düzey bir API sağlayan ve OpenVINO Runtime'ı sarmalayan ultralytics paketini kullan.

2. Çıkarım davranışı üzerinde daha gelişmiş veya özelleştirilmiş kontrol için yerel openvino paketini kullan.

Ultralytics ile Çıkarım#

Ultralytics paketi, predict yöntemi aracılığıyla dışarı aktarılan OpenVINO modelini kullanarak kolayca çıkarım çalıştırmanı sağlar. device argümanını kullanarak hedef cihazı da belirtebilirsin (örn. intel:gpu, intel:npu, intel:cpu).

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

Bu yaklaşım, çıkarım hattı üzerinde tam kontrole ihtiyaç duymadığın hızlı prototipleme veya dağıtım senaryoları için idealdir.

OpenVINO Runtime ile Çıkarım#

OpenVINO Runtime, desteklenen tüm Intel donanımlarında çıkarım için birleşik bir API sağlar. Ayrıca Intel donanımları arasında yük dengeleme ve eşzamansız yürütme gibi gelişmiş yetenekler sunar. Çıkarım çalıştırma hakkında daha fazla bilgi için YOLO26 not defterlerine bakın.

Unutma, modeli Runtime ile doğru şekilde kurmak ve kullanmak için XML ve BIN dosyalarının yanı sıra giriş boyutu, normalleştirme için ölçeklendirme faktörü vb. gibi uygulamaya özel ayarlar da gerekecektir.

Dağıtım uygulamanızda genellikle şu adımları izlersin:

1. core = Core() oluşturarak OpenVINO'yu başlat.
2. core.read_model() yöntemini kullanarak modeli yükle.
3. core.compile_model() fonksiyonunu kullanarak modeli derle.
4. Girdiyi (görüntü, metin, ses vb.) hazırla.
5. compiled_model(input_data) kullanarak çıkarım çalıştır.

Daha ayrıntılı adımlar ve kod parçacıkları için OpenVINO belgelerine veya API eğitimine göz at.

OpenVINO YOLO26 Kıyaslamaları#

Ultralytics ekibi, OpenVINO ile uyumlu farklı Intel cihazlardaki hızı ve doğruluğu değerlendirerek YOLO26'yı çeşitli model formatları ve hassasiyet genelinde kıyasladı.

Intel® Core™ Ultra#

Intel® Core™ Ultra™ serisi, oyuncular ve içerik üreticilerinden yapay zekadan yararlanan profesyonellere kadar modern kullanıcıların gelişen taleplerini karşılamak üzere tasarlanmış, yüksek performanslı bilgi işlemede yeni bir kıyaslamayı temsil eder. Bu yeni nesil seri, geleneksel bir CPU serisinden fazlasıdır; güçlü CPU çekirdeklerini, tümleşik yüksek performanslı GPU yeteneklerini ve özel bir Sinir İşleme Birimini (NPU) tek bir çip üzerinde birleştirerek çeşitli ve yoğun iş yükleri için birleşik bir çözüm sunar.

Intel® Core Ultra™ mimarisinin kalbinde, geleneksel işleme görevleri, GPU hızlandırmalı iş yükleri ve yapay zeka destekli operasyonlarda olağanüstü performans sağlayan hibrit bir tasarım yatar. NPU'nun dahil edilmesi, cihaz üzerinde yapay zeka çıkarımını iyileştirerek, geniş bir uygulama yelpazesinde daha hızlı ve verimli makine öğrenimi ve veri işleme imkanı sağlar.

Core Ultra™ ailesi, enerji verimli tasarımlardan, ciddi bilgi işlem gücü gerektiren dizüstü bilgisayarlar ve kompakt form faktörleri için ideal olan "H" harfiyle işaretlenmiş yüksek güç seçeneklerine kadar farklı performans ihtiyaçlarına göre uyarlanmış çeşitli modelleri içerir. Seri genelinde kullanıcılar, CPU, GPU ve NPU entegrasyonunun sinerjisinden yararlanarak dikkat çekici verimlilik, yanıt süresi ve çoklu görev yeteneklerine sahip olurlar.

Intel'in süregelen inovasyonunun bir parçası olarak Core Ultra™ serisi, geleceğe hazır bilgi işlem için yeni bir standart belirler. Mevcut çok sayıda model ve ufukta görünen daha fazlasıyla bu seri, Intel'in akıllı ve yapay zeka destekli cihazların yeni nesli için en gelişmiş çözümleri sunma taahhüdünü vurgular.

Aşağıdaki kıyaslamalar Intel® Core™ Ultra™ X7 358H, Intel® Core™ Ultra™ 7 258V ve Intel® Core™ Ultra™ 7 155H üzerinde FP32, FP16 ve INT8 hassasiyetlerinde çalıştırılmıştır.

Intel® Core™ Ultra™ X7 358H#

Kıyaslamalar

Tümleşik Intel® Arc™ GPUIntel® Panther Lake CPUEntegre Intel® AI Boost NPU

Detaylı Kıyaslama Sonuçları

Model	Format	Precision	Durum	Boyut (MB)	metrics/mAP50-95(B)	Çıkarım süresi (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	29.28
YOLO26n	OpenVINO	FP32	✅	9.7	0.4762	4.09
YOLO26n	OpenVINO	FP16	✅	5.1	0.4762	4.03
YOLO26n	OpenVINO	INT8	✅	3.2	0.4634	4.24
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	59.32
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	5.08
YOLO26s	OpenVINO	FP16	✅	18.7	0.5616	5.14
YOLO26s	OpenVINO	INT8	✅	10.0	0.5462	4.47
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	143.21
YOLO26m	OpenVINO	FP32	✅	78.4	0.6166	7.1
YOLO26m	OpenVINO	FP16	✅	39.5	0.6166	7.06
YOLO26m	OpenVINO	INT8	✅	20.6	0.6055	5.61
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	181.16
YOLO26l	OpenVINO	FP32	✅	95.3	0.6205	8.45
YOLO26l	OpenVINO	FP16	✅	48.1	0.6205	8.49
YOLO26l	OpenVINO	INT8	✅	25.2	0.5938	6.25
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	379.75
YOLO26x	OpenVINO	FP32	✅	213.3	0.6568	13.03
YOLO26x	OpenVINO	FP16	✅	107.1	0.6568	12.98
YOLO26x	OpenVINO	INT8	✅	54.8	0.6385	8.74

Intel® Core™ Ultra™ 7 258V#

Kıyaslamalar

Tümleşik Intel® Arc™ GPUIntel® Lunar Lake CPUEntegre Intel® AI Boost NPU

Detaylı Kıyaslama Sonuçları

Model	Format	Precision	Durum	Boyut (MB)	metrics/mAP50-95(B)	Çıkarım süresi (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	27.33
YOLO26n	OpenVINO	FP32	✅	9.6	0.4764	3.33
YOLO26n	OpenVINO	FP16	✅	5.1	0.4764	3.34
YOLO26n	OpenVINO	INT8	✅	3.2	0.4634	3.46
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	60.2
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	4.66
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	4.65
YOLO26s	OpenVINO	INT8	✅	10.0	0.5462	3.99
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	152.87
YOLO26m	OpenVINO	FP32	✅	78.4	0.6168	9.03
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	8.98
YOLO26m	OpenVINO	INT8	✅	20.6	0.6055	5.7
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	201.57
YOLO26l	OpenVINO	FP32	✅	95.3	0.6203	11.32
YOLO26l	OpenVINO	FP16	✅	48.1	0.6203	11.36
YOLO26l	OpenVINO	INT8	✅	25.2	0.5938	7.45
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	431.04
YOLO26x	OpenVINO	FP32	✅	213.2	0.6568	19.08
YOLO26x	OpenVINO	FP16	✅	107.1	0.6568	19.63
YOLO26x	OpenVINO	INT8	✅	54.8	0.6385	13.69

Intel® Core™ Ultra™ 7 155H#

Kıyaslamalar

Tümleşik Intel® Arc™ GPUIntel® Meteor Lake CPU

Detaylı Kıyaslama Sonuçları

Model	Format	Precision	Durum	Boyut (MB)	metrics/mAP50-95(B)	Çıkarım süresi (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	33.19
YOLO26n	OpenVINO	FP32	✅	9.6	0.4758	9.13
YOLO26n	OpenVINO	FP16	✅	5.1	0.4758	9.07
YOLO26n	OpenVINO	INT8	✅	3.2	0.4573	5.79
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	70.92
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	16.37
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	16.65
YOLO26s	OpenVINO	INT8	✅	10.0	0.545	9.27
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	192.45
YOLO26m	OpenVINO	FP32	✅	78.4	0.6167	34.47
YOLO26m	OpenVINO	FP16	✅	39.5	0.6167	35.71
YOLO26m	OpenVINO	INT8	✅	20.6	0.6039	15.46
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	239.19
YOLO26l	OpenVINO	FP32	✅	95.3	0.621	43.24
YOLO26l	OpenVINO	FP16	✅	48.1	0.621	43.4
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	19.72
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	511.89
YOLO26x	OpenVINO	FP32	✅	213.2	0.6552	79.49
YOLO26x	OpenVINO	FP16	✅	107.1	0.6552	79.45
YOLO26x	OpenVINO	INT8	✅	54.8	0.642	34.66

Sonuçlarımızı Yeniden Oluştur#

Yukarıdaki Ultralytics kıyaslamalarını tüm dışarı aktarma formatlarında yeniden üretmek için şu kodu çalıştır:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

Sonuç#

Kıyaslama sonuçları, YOLO26 modelini OpenVINO formatına aktarmanın faydalarını açıkça göstermektedir. Farklı modeller ve donanım platformlarında, OpenVINO formatı, benzer doğruluğu korurken çıkarım hızı açısından diğer formatlardan sürekli olarak daha iyi performans gösterir.

Kıyaslamalar, OpenVINO'nun derin öğrenme modellerini dağıtmak için bir araç olarak etkinliğinin altını çizmektedir. Geliştiriciler, modelleri OpenVINO formatına dönüştürerek önemli performans iyileştirmeleri elde edebilir ve bu modelleri gerçek dünya uygulamalarında dağıtmayı kolaylaştırabilirler.

OpenVINO'yu kullanmaya ilişkin daha ayrıntılı bilgi ve talimatlar için resmi OpenVINO belgelerine göz at.

SSS#