Intel OpenVINO İhracat

Bu kılavuzda, YOLOv8 modellerini şu adrese aktarmayı ele alıyoruz OpenVINO formatında, 3 kata kadar CPU hızlandırmanın yanı sıra YOLO çıkarımını da hızlandırır. Intel GPU ve NPU donanımı.

OpenVINOOpen Visual Inference & Neural Network Optimization toolkit'in kısaltması olan bu araç, yapay zeka çıkarım modellerini optimize etmek ve dağıtmak için kapsamlı bir araç setidir. İsmi Görsel içermesine rağmen, OpenVINO ayrıca dil, ses, zaman serisi vb. dahil olmak üzere çeşitli ek görevleri de destekler.

İzle: OpenVINO ile Çıkarım için bir Ultralytics YOLOv8 Modeli Nasıl Dışa Aktarılır ve Optimize Edilir?

Kullanım Örnekleri

Bir YOLOv8n modelini OpenVINO biçiminde dışa aktarın ve dışa aktarılan modelle çıkarım çalıştırın.

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolov8n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Argümanlar

Faydaları OpenVINO

1. Performans: OpenVINO , Intel CPU'ların, entegre ve ayrık GPU'ların ve FPGA'ların gücünü kullanarak yüksek performanslı çıkarım sağlar.
2. Heterojen Yürütme Desteği: OpenVINO , bir kez yazmak ve desteklenen herhangi bir Intel donanımına (CPU, GPU, FPGA, VPU, vb.) dağıtmak için bir API sağlar.
3. Model Optimize Edici: OpenVINO , PyTorch gibi popüler derin öğrenme çerçevelerinden modelleri içe aktaran, dönüştüren ve optimize eden bir Model Optimize Edici sağlar, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle ve Caffe.
4. Kullanım Kolaylığı: Araç seti, araç setinin farklı yönlerini öğreten 80'den fazla öğretici not defteri ( YOLOv8 optimizasyonu dahil) ile birlikte gelir.

OpenVINO İhracat Yapısı

Bir modeli OpenVINO biçiminde dışa aktardığınızda, aşağıdakileri içeren bir dizinle sonuçlanır:

1. XML dosyası: Ağ topolojisini açıklar.
2. BIN dosyası: weights and biases ikili verilerini içerir.
3. Eşleme dosyası: Orijinal model çıktı tensörlerinin OpenVINO tensor adlarıyla eşlenmesini tutar.

Bu dosyaları OpenVINO Inference Engine ile çıkarım yapmak için kullanabilirsiniz.

Dağıtımda OpenVINO Dışa Aktarmayı Kullanma

OpenVINO dosyalarına sahip olduğunuzda, modeli çalıştırmak için OpenVINO Çalışma Zamanını kullanabilirsiniz. Runtime, desteklenen tüm Intel donanımlarında çıkarım yapmak için birleşik bir API sağlar. Ayrıca Intel donanımı arasında yük dengeleme ve eşzamansız yürütme gibi gelişmiş özellikler de sağlar. Çıkarımın çalıştırılması hakkında daha fazla bilgi için OpenVINO Runtime Kılavuzu ile Çıkarım'a bakın.

Modeli Çalışma Zamanı ile doğru şekilde kurmak ve kullanmak için XML ve BIN dosyalarının yanı sıra girdi boyutu, normalleştirme için ölçek faktörü vb. gibi uygulamaya özel ayarlara ihtiyacınız olacağını unutmayın.

Dağıtım uygulamanızda genellikle aşağıdaki adımları uygularsınız:

1. OpenVINO adresini oluşturarak başlatın core = Core().
2. Kullanarak modeli yükleyin core.read_model() yöntem.
3. kullanarak modeli derleyin core.compile_model() fonksiyon.
4. Girişi hazırlayın (görüntü, metin, ses, vb.).
5. Kullanarak çıkarım çalıştırın compiled_model(input_data).

Daha ayrıntılı adımlar ve kod parçacıkları için OpenVINO belgelerine veya API öğreticisine bakın.

OpenVINO YOLOv8 Ölçütler

YOLOv8 Aşağıdaki kıyaslamalar Ultralytics ekibi tarafından hız ve doğruluğu ölçen 4 farklı model formatında çalıştırılmıştır: PyTorch, TorchScript, ONNX ve OpenVINO. Benchmarklar Intel Flex ve Arc GPU'larında ve Intel Xeon CPU'larında FP32'de çalıştırılmıştır. hassas (ile half=False argümanı).

Intel Flex GPU

Intel® Data Center GPU Flex Serisi, akıllı görsel bulut için tasarlanmış çok yönlü ve sağlam bir çözümdür. Bu GPU medya akışı, bulut oyunları, yapay zeka görsel çıkarımı ve sanal masaüstü Altyapısı iş yükleri dahil olmak üzere çok çeşitli iş yüklerini destekler. Yüksek performanslı, mimariler arası uygulamalar için standartlara dayalı bir yazılım yığını sağlayan açık mimarisi ve AV1 kodlama için yerleşik desteği ile öne çıkıyor. Flex Serisi GPU yoğunluk ve kalite için optimize edilmiştir ve yüksek güvenilirlik, kullanılabilirlik ve ölçeklenebilirlik sunar.

Aşağıdaki kıyaslamalar Intel® Data Center GPU Flex 170 üzerinde FP32 hassasiyetinde çalıştırılmıştır.

Bu tablo, dört farklı formatta (PyTorch, TorchScript, ONNX, OpenVINO) beş farklı model (YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) için kıyaslama sonuçlarını temsil eder ve bize her kombinasyon için durum, boyut, mAP50-95(B) metriği ve çıkarım süresini verir.

Intel Ark GPU

Intel® Arc™, Intel'un özel GPU pazarına girişini temsil etmektedir. AMD ve NVIDIA gibi önde gelen GPU üreticileriyle rekabet etmek üzere tasarlanan Arc™ serisi, hem dizüstü hem de masaüstü bilgisayar pazarlarına hitap etmektedir. Seri, dizüstü bilgisayarlar gibi kompakt cihazlar için mobil versiyonlar ve masaüstü bilgisayarlar için daha büyük, daha güçlü versiyonlar içeriyor.

Arc™ serisi üç kategoriye ayrılmıştır: Arc™ 3, Arc™ 5 ve Arc™ 7, her bir numara performans seviyesini gösterir. Her kategori çeşitli modeller içerir ve GPU model adındaki 'M' mobil, entegre bir varyantı ifade eder.

İlk incelemelerde Arc™ serisi, özellikle de entegre A770M GPU, etkileyici grafik performansı nedeniyle övüldü. Arc™ serisinin bulunabilirliği bölgelere göre değişmektedir ve yakında başka modellerin de piyasaya sürülmesi beklenmektedir. Intel® Arc™ GPU'lar oyundan içerik oluşturmaya kadar bir dizi bilgisayar ihtiyacı için yüksek performanslı çözümler sunar.

Aşağıdaki kıyaslamalar Intel® Arc 770 GPU üzerinde FP32 hassasiyetinde çalıştırılmıştır.

Intel Xeon CPU

Intel® Xeon® CPU , karmaşık ve zorlu iş yükleri için tasarlanmış yüksek performanslı, sunucu sınıfı bir işlemcidir. Üst düzey bulut bilişim ve sanallaştırmadan yapay zeka ve makine öğrenimi uygulamalarına kadar, Xeon® CPU'lar günümüzün veri merkezleri için gereken gücü, güvenilirliği ve esnekliği sağlar.

Özellikle, Xeon® CPU'lar yüksek işlem yoğunluğu ve ölçeklenebilirlik sunarak hem küçük işletmeler hem de büyük kuruluşlar için idealdir. Kuruluşlar, Intel® Xeon® CPU'ları tercih ederek en zorlu bilgi işlem görevlerini güvenle yerine getirebilir ve maliyet etkinliği ile operasyonel verimliliği korurken inovasyonu teşvik edebilirler.

Aşağıdaki kıyaslamalar 4. Nesil Intel® Xeon® Scalable CPU üzerinde FP32 hassasiyetinde çalıştırılmıştır.

Intel Çekirdek CPU

Intel® Core® serisi, Intel tarafından üretilen bir dizi yüksek performanslı işlemcidir. Seride Core i3 (giriş seviyesi), Core i5 (orta seviye), Core i7 (üst seviye) ve Core i9 (aşırı performans) bulunmaktadır. Her seri, günlük görevlerden zorlu profesyonel iş yüklerine kadar farklı bilgisayar ihtiyaçlarına ve bütçelerine hitap etmektedir. Her yeni nesilde performans, enerji verimliliği ve özelliklerde iyileştirmeler yapılır.

Aşağıdaki kıyaslamalar 13. Nesil Intel® Core® i7-13700H CPU üzerinde FP32 hassasiyetinde çalıştırılmıştır.

Intel Ultra 7 155H Meteor Gölü CPU

Intel® Ultra™ 7 155H, oyunculardan içerik oluşturuculara kadar en talepkar kullanıcılara hitap etmek üzere tasarlanmış, yüksek performanslı bilgi işlemde yeni bir ölçütü temsil etmektedir. Ultra™ 7 155H sadece bir CPU değildir; güçlü bir GPU ve gelişmiş bir NPU'yu (Sinir İşleme Birimi) tek bir yongada birleştirerek çeşitli bilgi işlem ihtiyaçları için kapsamlı bir çözüm sunar.

Bu hibrit mimari, Ultra™ 7 155H'nin hem geleneksel CPU görevlerinde hem de GPU hızlandırılmış iş yüklerinde mükemmel olmasını sağlarken, NPU yapay zeka odaklı süreçleri geliştirerek daha hızlı ve daha verimli makine öğrenimi işlemlerine olanak tanır. Bu da Ultra™ 7 155H'yi yüksek performanslı grafikler, karmaşık hesaplamalar ve yapay zeka çıkarımı gerektiren uygulamalar için çok yönlü bir seçim haline getiriyor.

Ultra™ 7 serisi, her biri farklı performans seviyeleri sunan birden fazla model içeriyor ve 'H' tanımı dizüstü bilgisayarlar ve kompakt cihazlar için uygun yüksek güçlü bir varyantı gösteriyor. İlk kıyaslamalar, Ultra™ 7 155H'nin özellikle CPU, GPU ve NPU'nun birleşik gücünün olağanüstü verimlilik ve hız sağladığı çoklu görev ortamlarındaki olağanüstü performansını vurgulamıştır.

Intel'un en son teknolojiye olan bağlılığının bir parçası olarak, Ultra™ 7 155H gelecekteki bilgi işlem ihtiyaçlarını karşılamak üzere tasarlanmıştır ve daha fazla modelin piyasaya sürülmesi beklenmektedir. Ultra™ 7 155H'nin bulunabilirliği bölgelere göre değişmektedir ve üç güçlü işlem birimini tek bir çipe entegre ederek bilgi işlem performansında yeni standartlar belirlemesi nedeniyle övgü almaya devam etmektedir.

Aşağıdaki kıyaslamalar Intel® Ultra™ 7 155H üzerinde FP32 ve INT8 hassasiyetinde çalıştırılmıştır.

Ölçütler

Entegre Intel® Arc™ GPUIntel® Meteor Gölü CPUEntegre Intel® AI Boost NPU

Model	Biçim	Hassasiyet	Durum	Boyut (MB)	metrik/mAP50-95(B)	Çıkarım süresi (ms/im)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	35.95
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6117	8.32
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5791	9.88
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.72
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7136	13.37
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7086	9.96
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	202.05
YOLOv8m	OpenVINO	FP32	✅	99.1	0.7331	28.07
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7259	21.11
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	393.37
YOLOv8l	OpenVINO	FP32	✅	167.0	0.0	52.73
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7861	28.11
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	610.71
YOLOv8x	OpenVINO	FP32	✅	260.6	0.748	73.51
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8085	51.71

Model	Biçim	Hassasiyet	Durum	Boyut (MB)	metrik/mAP50-95(B)	Çıkarım süresi (ms/im)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	34.69
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6092	39.06
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5968	18.37
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.9
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7136	82.6
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7083	29.51
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	202.43
YOLOv8m	OpenVINO	FP32	✅	99.1	0.728	181.27
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7285	51.25
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	385.87
YOLOv8l	OpenVINO	FP32	✅	167.0	0.7551	347.75
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7675	91.66
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	603.63
YOLOv8x	OpenVINO	FP32	✅	260.6	0.7479	516.39
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8119	142.42

Model	Biçim	Hassasiyet	Durum	Boyut (MB)	metrik/mAP50-95(B)	Çıkarım süresi (ms/im)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	36.98
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6103	16.68
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5941	14.6
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.76
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7144	32.89
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7062	26.13
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	201.44
YOLOv8m	OpenVINO	FP32	✅	99.1	0.7284	54.4
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7268	30.76
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	385.46
YOLOv8l	OpenVINO	FP32	✅	167.0	0.7539	80.1
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7508	52.25
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	609.4
YOLOv8x	OpenVINO	FP32	✅	260.6	0.7637	104.79
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8077	64.96

Sonuçlarımızı Yeniden Üretin

Yukarıdaki Ultralytics kıyaslamalarını tüm dışa aktarma biçimlerinde yeniden oluşturmak için bu kodu çalıştırın:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
results = model.benchmarks(data="coco8.yaml")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

Sonuç

Kıyaslama sonuçları, YOLOv8 modelini OpenVINO formatına aktarmanın faydalarını açıkça göstermektedir. Farklı modeller ve donanım platformları arasında OpenVINO formatı, karşılaştırılabilir doğruluğu korurken çıkarım hızı açısından diğer formatlardan sürekli olarak daha iyi performans göstermektedir.

Intel® Data Center GPU Flex Serisi için OpenVINO formatı, orijinal PyTorch formatından neredeyse 10 kat daha hızlı çıkarım hızları sunabilmiştir. Xeon CPU'da OpenVINO formatı PyTorch formatından iki kat daha hızlıydı. Modellerin doğruluğu farklı formatlar arasında neredeyse aynı kalmıştır.

Kıyaslamalar, derin öğrenme modellerini dağıtmak için bir araç olarak OpenVINO 'un etkinliğinin altını çiziyor. Geliştiriciler, modelleri OpenVINO formatına dönüştürerek önemli performans iyileştirmeleri elde edebilir ve bu modellerin gerçek dünya uygulamalarında kullanılmasını kolaylaştırabilir.

OpenVINO adresini kullanma hakkında daha ayrıntılı bilgi ve talimatlar için resmi OpenVINO belgelerine bakın.

SSS

YOLOv8 modellerini OpenVINO formatına nasıl aktarabilirim?

YOLOv8 modellerini OpenVINO formatına aktarmak CPU hızını önemli ölçüde artırabilir ve Intel donanımında GPU ve NPU hızlandırmalarını etkinleştirebilir. Dışa aktarmak için aşağıda gösterildiği gibi Python veya CLI adreslerini kullanabilirsiniz:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolov8n_openvino_model/'

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

Daha fazla bilgi için dışa aktarma biçimleri belgelerine bakın.

OpenVINO adresini YOLOv8 modelleri ile kullanmanın faydaları nelerdir?

Intel'un OpenVINO araç setini YOLOv8 modelleriyle kullanmak çeşitli avantajlar sunar:

1. Performans: CPU çıkarımında 3 kata kadar hızlanma elde edin ve hızlandırma için Intel GPU'larından ve NPU'larından yararlanın.
2. Model Optimize Edici: PyTorch , TensorFlow ve ONNX gibi popüler çerçevelerden modelleri dönüştürün, optimize edin ve çalıştırın.
3. Kullanım Kolaylığı: YOLOv8 için olanlar da dahil olmak üzere, kullanıcıların başlamasına yardımcı olmak için 80'den fazla öğretici not defteri mevcuttur.
4. Heterojen Yürütme: Modelleri birleşik bir API ile çeşitli Intel donanımlarında dağıtın.

Ayrıntılı performans karşılaştırmaları için kıyaslamalar bölümümüzü ziyaret edin.

OpenVINO adresine aktarılmış bir YOLOv8 modelini kullanarak nasıl çıkarım yapabilirim?

Bir YOLOv8 modelini OpenVINO formatına aktardıktan sonra, Python veya CLI kullanarak çıkarım yapabilirsiniz:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Daha fazla ayrıntı için tahmin modu belgelerimize bakın.

Neden OpenVINO ihracatı için diğer modeller yerine Ultralytics YOLOv8 adresini seçmeliyim?

Ultralytics YOLOv8 yüksek doğruluk ve hız ile gerçek zamanlı nesne tespiti için optimize edilmiştir. Özellikle, OpenVINO ile birleştirildiğinde, YOLOv8 şunları sağlar:

• Intel CPU'larda 3 kata kadar hızlanma
• Intel GPU'lar ve NPU'larda sorunsuz dağıtım
• Çeşitli dışa aktarma formatlarında tutarlı ve karşılaştırılabilir doğruluk

Derinlemesine performans analizi için farklı donanımlar üzerinde detaylı YOLOv8 kıyaslamalarımıza göz atın.

YOLOv8 modellerini PyTorch, ONNX ve OpenVINO gibi farklı formatlarda karşılaştırabilir miyim?

Evet, PyTorch, TorchScript, ONNX ve OpenVINO dahil olmak üzere çeşitli formatlarda YOLOv8 modellerini kıyaslayabilirsiniz. Seçtiğiniz veri kümesi üzerinde kıyaslama yapmak için aşağıdaki kod parçacığını kullanın:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmarks(data="coco8.yaml")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

Ayrıntılı kıyaslama sonuçları için kıyaslamalar bölümümüze ve dışa aktarma biçimleri belgelerimize bakın.

📅1 yıl önce oluşturuldu ✏️ 2 ay önce güncellendi

Yorumlar