Intel OpenVINO Dışa Aktarma#

Bu kılavuzda, OpenVINO biçimine YOLO26 modellerinin nasıl dışa aktarılacağını ele alıyoruz. Bu işlem, CPU hızını 3 kata kadar artırabilir ve Intel GPU ile NPU donanımlarında YOLO çıkarımını hızlandırabilir.

OpenVINO, Open Visual Inference & Neural Network Optimization Toolkit ifadesinin kısaltmasıdır ve yapay zekâ çıkarım modellerini optimize edip dağıtmak için kapsamlı bir araç setidir. Adında Visual ifadesi geçmesine rağmen OpenVINO; dil, ses, zaman serileri ve diğer çeşitli görevleri de destekler.

Desteklenen Görevler#

OpenVINO dışa aktarma, yedi Ultralytics görevinin tamamını destekler. Anlamsal segmentasyon ve derinlik tahmini yalnızca bu başlıkları içeren tek aile olan YOLO26 ile kullanılabilir.

Kurulum#

OpenVINO dışa aktarma bağımlılıklarını şununla yükle:

pip install "ultralytics[export-openvino]"

Bu bağımlılıklar ayrıca ultralytics[export] içinde yer alır ve bir dışa aktarma işlemi tarafından gerektiğinde otomatik olarak yüklenir.

Kullanım Örnekleri#

OpenVINO biçimi Export, Predict ve Validate modlarını destekler. Modelini dışa aktar, ardından çıkarım yapmak veya doğruluğunu Intel CPU, tümleşik/harici GPU ya da NPU üzerinde doğrulamak için dışa aktarılan modeli yükle.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to OpenVINO format
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

from ultralytics import YOLO

# Load the exported OpenVINO model
model = YOLO("yolo26n_openvino_model/")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

# Run inference on a specific device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

from ultralytics import YOLO

# Load the exported OpenVINO model
model = YOLO("yolo26n_openvino_model/")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Dışa Aktarma Bağımsız Değişkenleri#

Dışa aktarma süreci hakkında daha fazla ayrıntı için Ultralytics'in dışa aktarma dokümantasyonu sayfasını ziyaret et.

OpenVINO'nun Avantajları#

1. Performans: OpenVINO, Intel CPU'larının, tümleşik ve harici GPU'ların ve FPGA'ların gücünden yararlanarak yüksek performanslı çıkarım sunar.
2. Heterojen Yürütme Desteği: OpenVINO, bir kez yazıp desteklenen herhangi bir Intel donanımında (CPU, GPU, FPGA, VPU vb.) dağıtım yapmanı sağlayan bir API sunar.
3. Model Optimizer: OpenVINO; PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle ve Caffe gibi popüler deep learning çerçevelerindeki modelleri içe aktaran, dönüştüren ve optimize eden bir Model Optimizer sunar.
4. Kullanım Kolaylığı: Araç seti, araç setinin farklı yönlerini öğreten geniş bir öğretici not defteri koleksiyonuyla ( YOLO26 optimizasyonu dahil) birlikte gelir.

OpenVINO Dışa Aktarma Yapısı#

Bir modeli OpenVINO biçimine dışa aktardığında, aşağıdakileri içeren bir dizin oluşturulur:

1. XML dosyası: Ağ topolojisini açıklar.
2. BIN dosyası: Ağırlıkların ve bias'ların ikili verilerini içerir.
3. Eşleme dosyası: Özgün model çıktı tensörlerinin OpenVINO tensör adlarıyla eşlemesini içerir.

OpenVINO Inference Engine ile çıkarım yapmak için bu dosyaları kullanabilirsin.

Dağıtımda OpenVINO Dışa Aktarmayı Kullanma#

Modelin OpenVINO biçimine başarıyla aktarıldıktan sonra çıkarım yapmak için iki temel seçeneğin vardır:

1. Üst düzey bir API sunan ve OpenVINO Runtime'ı sarmalayan ultralytics paketini kullan.

2. Çıkarım davranışı üzerinde daha gelişmiş veya özelleştirilmiş denetim için yerel openvino paketini kullan.

Ultralytics ile Çıkarım#

ultralytics paketi, dışa aktarılan OpenVINO modelini predict yöntemiyle kolayca kullanarak çıkarım yapmanı sağlar. Ayrıca device bağımsız değişkenini kullanarak hedef cihazı (ör. intel:gpu, intel:npu, intel:cpu) belirtebilirsin.

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

Bu yaklaşım, çıkarım işlem hattı üzerinde tam denetime ihtiyaç duymadığın hızlı prototipleme veya dağıtım senaryoları için idealdir.

OpenVINO Runtime ile Çıkarım#

OpenVINO Runtime, desteklenen tüm Intel donanımlarında çıkarım için birleşik bir API sunar. Ayrıca Intel donanımları arasında yük dengeleme ve eşzamansız yürütme gibi gelişmiş özellikler sağlar. Çıkarım yapma hakkında daha fazla bilgi için YOLO26 not defterlerine başvur.

Modeli Runtime ile doğru şekilde kurup kullanmak için XML ve BIN dosyalarının yanı sıra giriş boyutu, normalleştirme ölçek faktörü gibi uygulamaya özgü ayarlara da ihtiyacın olacağını unutma.

Dağıtım uygulamanda genellikle şu adımları izlersin:

1. core = Core() oluşturarak OpenVINO'yu başlat.
2. Modeli core.read_model() yöntemiyle yükle.
3. Modeli core.compile_model() işlevini kullanarak derle.
4. Girdiyi (görüntü, metin, ses vb.) hazırla.
5. compiled_model(input_data) kullanarak çıkarım yap.

Daha ayrıntılı adımlar ve kod parçacıkları için OpenVINO belgelerine veya API öğreticisine başvur.

OpenVINO YOLO26 Karşılaştırmaları#

Ultralytics ekibi, çeşitli model biçimleri ve hassasiyetler genelinde YOLO26'yı karşılaştırdı; OpenVINO ile uyumlu farklı Intel cihazlarında hız ve doğruluğu değerlendirdi.

Intel® Core™ Ultra#

Intel® Core™ Ultra™ serisi; oyunculardan içerik üreticilerine, yapay zekâdan yararlanan profesyonellere kadar modern kullanıcıların değişen ihtiyaçlarını karşılamak üzere tasarlanmış, yüksek performanslı bilgi işlemde yeni bir ölçütü temsil eder. Bu yeni nesil ürün ailesi geleneksel bir CPU serisinden fazlasıdır; güçlü CPU çekirdeklerini, tümleşik yüksek performanslı GPU özelliklerini ve özel bir Nöral İşlem Birimini (NPU) tek bir çipte birleştirerek çeşitli ve yoğun bilgi işlem iş yükleri için birleşik bir çözüm sunar.

Intel® Core Ultra™ mimarisinin merkezinde, geleneksel işleme görevleri, GPU hızlandırmalı iş yükleri ve yapay zekâ destekli işlemler genelinde olağanüstü performans sağlayan hibrit bir tasarım bulunur. NPU'nun eklenmesi, cihaz üzerinde yapay zekâ çıkarımını geliştirerek çok çeşitli uygulamalarda daha hızlı ve verimli makine öğrenimi ile veri işleme olanağı sunar.

Core Ultra™ ailesi, farklı performans ihtiyaçlarına göre uyarlanmış çeşitli modeller içerir. Enerji verimli tasarımlardan, "H" tanımıyla belirtilen yüksek güçlü varyantlara kadar seçenekler sunar; bu varyantlar ciddi bilgi işlem gücü gerektiren dizüstü bilgisayarlar ve kompakt form faktörleri için idealdir. Ürün ailesi genelinde kullanıcılar, CPU, GPU ve NPU entegrasyonunun sinerjisinden yararlanarak dikkat çekici verimlilik, yanıt verebilirlik ve çoklu görev özellikleri elde eder.

Intel'in devam eden inovasyonunun bir parçası olarak Core Ultra™ serisi, geleceğe hazır bilgi işlem için yeni bir standart belirler. Kullanıma sunulmuş ve yolda olan birden fazla modelle bu seri, Intel'in yeni nesil akıllı ve yapay zekâ ile güçlendirilmiş cihazlar için en gelişmiş çözümleri sunma taahhüdünü vurgular.

Aşağıdaki karşılaştırmalar Intel® Core™ Ultra™ X7 358H, Intel® Core™ Ultra™ 7 258V ve Intel® Core™ Ultra™ 7 155H üzerinde FP32, FP16 ve INT8 hassasiyetlerinde çalıştırılmıştır.

Intel® Core™ Ultra™ X7 358H#

Karşılaştırmalı Testler

Tümleşik Intel® Arc™ GPUIntel® Panther Lake CPUTümleşik Intel® AI Boost NPU

Ayrıntılı Karşılaştırma Sonuçları

Model	Biçim	Precision	Durum	Boyut (MB)	metrics/mAP50-95(B)	Çıkarım süresi (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	29.28
YOLO26n	OpenVINO	FP32	✅	9.7	0.4762	4.09
YOLO26n	OpenVINO	FP16	✅	5.1	0.4762	4.03
YOLO26n	OpenVINO	INT8	✅	3.2	0.4634	4.24
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	59.32
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	5.08
YOLO26s	OpenVINO	FP16	✅	18.7	0.5616	5.14
YOLO26s	OpenVINO	INT8	✅	10.0	0.5462	4.47
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	143.21
YOLO26m	OpenVINO	FP32	✅	78.4	0.6166	7.1
YOLO26m	OpenVINO	FP16	✅	39.5	0.6166	7.06
YOLO26m	OpenVINO	INT8	✅	20.6	0.6055	5.61
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	181.16
YOLO26l	OpenVINO	FP32	✅	95.3	0.6205	8.45
YOLO26l	OpenVINO	FP16	✅	48.1	0.6205	8.49
YOLO26l	OpenVINO	INT8	✅	25.2	0.5938	6.25
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	379.75
YOLO26x	OpenVINO	FP32	✅	213.3	0.6568	13.03
YOLO26x	OpenVINO	FP16	✅	107.1	0.6568	12.98
YOLO26x	OpenVINO	INT8	✅	54.8	0.6385	8.74

Intel® Core™ Ultra™ 7 258V#

Karşılaştırmalı Testler

Tümleşik Intel® Arc™ GPUIntel® Lunar Lake CPUTümleşik Intel® AI Boost NPU

Ayrıntılı Karşılaştırma Sonuçları

Model	Biçim	Precision	Durum	Boyut (MB)	metrics/mAP50-95(B)	Çıkarım süresi (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	27.33
YOLO26n	OpenVINO	FP32	✅	9.6	0.4764	3.33
YOLO26n	OpenVINO	FP16	✅	5.1	0.4764	3.34
YOLO26n	OpenVINO	INT8	✅	3.2	0.4634	3.46
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	60.2
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	4.66
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	4.65
YOLO26s	OpenVINO	INT8	✅	10.0	0.5462	3.99
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	152.87
YOLO26m	OpenVINO	FP32	✅	78.4	0.6168	9.03
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	8.98
YOLO26m	OpenVINO	INT8	✅	20.6	0.6055	5.7
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	201.57
YOLO26l	OpenVINO	FP32	✅	95.3	0.6203	11.32
YOLO26l	OpenVINO	FP16	✅	48.1	0.6203	11.36
YOLO26l	OpenVINO	INT8	✅	25.2	0.5938	7.45
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	431.04
YOLO26x	OpenVINO	FP32	✅	213.2	0.6568	19.08
YOLO26x	OpenVINO	FP16	✅	107.1	0.6568	19.63
YOLO26x	OpenVINO	INT8	✅	54.8	0.6385	13.69

Intel® Core™ Ultra™ 7 155H#

Karşılaştırmalı Testler

Tümleşik Intel® Arc™ GPUIntel® Meteor Lake CPU

Ayrıntılı Karşılaştırma Sonuçları

Model	Biçim	Precision	Durum	Boyut (MB)	metrics/mAP50-95(B)	Çıkarım süresi (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	33.19
YOLO26n	OpenVINO	FP32	✅	9.6	0.4758	9.13
YOLO26n	OpenVINO	FP16	✅	5.1	0.4758	9.07
YOLO26n	OpenVINO	INT8	✅	3.2	0.4573	5.79
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	70.92
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	16.37
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	16.65
YOLO26s	OpenVINO	INT8	✅	10.0	0.545	9.27
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	192.45
YOLO26m	OpenVINO	FP32	✅	78.4	0.6167	34.47
YOLO26m	OpenVINO	FP16	✅	39.5	0.6167	35.71
YOLO26m	OpenVINO	INT8	✅	20.6	0.6039	15.46
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	239.19
YOLO26l	OpenVINO	FP32	✅	95.3	0.621	43.24
YOLO26l	OpenVINO	FP16	✅	48.1	0.621	43.4
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	19.72
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	511.89
YOLO26x	OpenVINO	FP32	✅	213.2	0.6552	79.49
YOLO26x	OpenVINO	FP16	✅	107.1	0.6552	79.45
YOLO26x	OpenVINO	INT8	✅	54.8	0.642	34.66

Sonuçlarımızı Yeniden Üretme#

Yukarıdaki Ultralytics karşılaştırmalarını tüm dışa aktarma biçimlerinde yeniden oluşturmak için bu kodu çalıştır:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

Sonuç#

Karşılaştırma sonuçları, YOLO26 modelini OpenVINO biçimine aktarmanın avantajlarını açıkça gösterir. Farklı modeller ve donanım platformları genelinde OpenVINO biçimi, benzer doğruluğu korurken çıkarım hızı açısından diğer biçimlerden sürekli olarak daha iyi performans gösterir.

Karşılaştırmalar, OpenVINO'nun deep learning modellerini dağıtmak için bir araç olarak ne kadar etkili olduğunu ortaya koyar. Modelleri OpenVINO biçimine dönüştüren geliştiriciler, önemli performans artışları elde ederek bu modelleri gerçek dünya uygulamalarında dağıtmayı kolaylaştırabilir.

OpenVINO'yu kullanma hakkında daha ayrıntılı bilgi ve talimatlar için resmî OpenVINO belgelerine başvur.

SSS#