─░├žeri─če ge├ž

Intel OpenVINO D─▒┼ča Aktarma

OpenVINO Ekosistem

Bu k─▒lavuzda, YOLOv8 modellerini ┼ču adrese aktarmay─▒ ele al─▒yoruz OpenVINO bi├žimi, 3 kata kadar CPU h─▒zland─▒rmas─▒ sa─člayabilir ve Intel GPU ve NPU donan─▒m─▒nda YOLO ├ž─▒kar─▒m─▒n─▒ h─▒zland─▒rabilir.

OpenVINOOpen Visual Inference & Neural Network Optimization toolkit'in k─▒saltmas─▒ olan bu ara├ž, yapay zeka ├ž─▒kar─▒m modellerini optimize etmek ve da─č─▒tmak i├žin kapsaml─▒ bir ara├ž setidir. ─░smi G├Ârsel i├žermesine ra─čmen, OpenVINO ayr─▒ca dil, ses, zaman serisi vb. dahil olmak ├╝zere ├že┼čitli ek g├Ârevleri de destekler.



─░zle: OpenVINO ile ├ç─▒kar─▒m i├žin bir Ultralytics YOLOv8 Modeli Nas─▒l D─▒┼ča Aktar─▒l─▒r ve Optimize Edilir?

Kullan─▒m ├ľrnekleri

Bir YOLOv8n modelini OpenVINO bi├žiminde d─▒┼ča aktar─▒n ve d─▒┼ča aktar─▒lan modelle ├ž─▒kar─▒m ├žal─▒┼čt─▒r─▒n.

├ľrnek

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolov8n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")
# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Arg├╝manlar

Anahtar De─čer A├ž─▒klama
format 'openvino' d─▒┼ča aktar─▒lacak format
imgsz 640 skaler veya (h, w) listesi olarak g├Âr├╝nt├╝ boyutu, yani (640, 480)
half False FP16 niceleme

Faydalar─▒ OpenVINO

  1. Performans: OpenVINO , Intel CPU'lar─▒n, entegre ve ayr─▒k GPU'lar─▒n ve FPGA'lar─▒n g├╝c├╝n├╝ kullanarak y├╝ksek performansl─▒ ├ž─▒kar─▒m sa─člar.
  2. Heterojen Y├╝r├╝tme Deste─či: OpenVINO bir kez yazmak ve desteklenen herhangi bir Intel donan─▒m─▒na (CPU, GPU, FPGA, VPU, vb.) da─č─▒tmak i├žin bir API sa─člar.
  3. Model Optimize Edici: OpenVINO , PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle ve Caffe gibi pop├╝ler derin ├Â─črenme ├žer├ževelerinden modelleri i├že aktaran, d├Ân├╝┼čt├╝ren ve optimize eden bir Model Optimize Edici sa─člar.
  4. Kullan─▒m Kolayl─▒─č─▒: Ara├ž seti, ara├ž setinin farkl─▒ y├Ânlerini ├Â─čreten 80'den fazla ├Â─čretici not defteri ( YOLOv8 optimizasyonu dahil) ile birlikte gelir.

OpenVINO ─░hracat Yap─▒s─▒

Bir modeli OpenVINO bi├žiminde d─▒┼ča aktard─▒─č─▒n─▒zda, a┼ča─č─▒dakileri i├žeren bir dizinle sonu├žlan─▒r:

  1. XML dosyas─▒: A─č topolojisini a├ž─▒klar.
  2. BIN dosyas─▒: weights and biases ikili verilerini i├žerir.
  3. E┼čleme dosyas─▒: Orijinal model ├ž─▒kt─▒ tens├Ârlerinin OpenVINO tensor adlar─▒yla e┼členmesini tutar.

Bu dosyalar─▒ OpenVINO Inference Engine ile ├ž─▒kar─▒m yapmak i├žin kullanabilirsiniz.

Da─č─▒t─▒mda OpenVINO D─▒┼ča Aktarmay─▒ Kullanma

OpenVINO dosyalar─▒na sahip oldu─čunuzda, modeli ├žal─▒┼čt─▒rmak i├žin OpenVINO ├çal─▒┼čma Zaman─▒n─▒ kullanabilirsiniz. ├çal─▒┼čma Zaman─▒, desteklenen t├╝m Intel donan─▒mlar─▒nda ├ž─▒kar─▒m yapmak i├žin birle┼čik bir API sa─člar. Ayr─▒ca Intel donan─▒mlar─▒ aras─▒nda y├╝k dengeleme ve e┼čzamans─▒z y├╝r├╝tme gibi geli┼čmi┼č ├Âzellikler de sa─člar. ├ç─▒kar─▒m─▒n ├žal─▒┼čt─▒r─▒lmas─▒ hakk─▒nda daha fazla bilgi i├žin OpenVINO ├çal─▒┼čma Zaman─▒ K─▒lavuzu ile ├ç─▒kar─▒m'a bak─▒n.

Modeli ├çal─▒┼čma Zaman─▒ ile do─čru ┼čekilde kurmak ve kullanmak i├žin XML ve BIN dosyalar─▒n─▒n yan─▒ s─▒ra girdi boyutu, normalle┼čtirme i├žin ├Âl├žek fakt├Âr├╝ vb. gibi uygulamaya ├Âzel ayarlara ihtiyac─▒n─▒z olaca─č─▒n─▒ unutmay─▒n.

Da─č─▒t─▒m uygulaman─▒zda genellikle a┼ča─č─▒daki ad─▒mlar─▒ uygulars─▒n─▒z:

  1. OpenVINO adresini olu┼čturarak ba┼člat─▒n core = Core().
  2. Kullanarak modeli y├╝kleyin core.read_model() y├Ântem.
  3. kullanarak modeli derleyin core.compile_model() fonksiyon.
  4. Giri┼či haz─▒rlay─▒n (g├Âr├╝nt├╝, metin, ses, vb.).
  5. Kullanarak ├ž─▒kar─▒m ├žal─▒┼čt─▒r─▒n compiled_model(input_data).

Daha ayr─▒nt─▒l─▒ ad─▒mlar ve kod par├žac─▒klar─▒ i├žin OpenVINO belgelerine veya API ├Â─čreticisine bak─▒n.

OpenVINO YOLOv8 ├ľl├ž├╝tler

YOLOv8 A┼ča─č─▒daki k─▒yaslamalar Ultralytics ekibi taraf─▒ndan h─▒z ve do─črulu─ču ├Âl├žen 4 farkl─▒ model format─▒nda ├žal─▒┼čt─▒r─▒lm─▒┼čt─▒r: PyTorch, TorchScript, ONNX ve OpenVINO. Benchmarklar Intel Flex ve Arc GPU'larda ve Intel Xeon CPU'larda FP32 hassasiyetinde ├žal─▒┼čt─▒r─▒lm─▒┼čt─▒r (a┼ča─č─▒daki half=False arg├╝man─▒).

Not

A┼ča─č─▒daki k─▒yaslama sonu├žlar─▒ referans ama├žl─▒d─▒r ve bir sistemin tam donan─▒m ve yaz─▒l─▒m yap─▒land─▒rmas─▒n─▒n yan─▒ s─▒ra k─▒yaslamalar─▒n ├žal─▒┼čt─▒r─▒ld─▒─č─▒ s─▒rada sistemin mevcut i┼č y├╝k├╝ne ba─čl─▒ olarak de─či┼čiklik g├Âsterebilir.

T├╝m k─▒yaslamalar ┼ču ┼čekilde ├žal─▒┼čt─▒r─▒l─▒r openvino Python paket s├╝r├╝m├╝ 2023.0.1.

Intel Flex GPU

Intel┬« Data Center GPU Flex Serisi, ak─▒ll─▒ g├Ârsel bulut i├žin tasarlanm─▒┼č ├žok y├Ânl├╝ ve sa─člam bir ├ž├Âz├╝md├╝r. Bu GPU, medya ak─▒┼č─▒, bulut oyunlar─▒, yapay zeka g├Ârsel ├ž─▒kar─▒m─▒ ve sanal masa├╝st├╝ Altyap─▒s─▒ i┼č y├╝kleri dahil olmak ├╝zere ├žok ├že┼čitli i┼č y├╝klerini destekler. Y├╝ksek performansl─▒, ├žapraz mimarili uygulamalar i├žin standartlara dayal─▒ bir yaz─▒l─▒m y─▒─č─▒n─▒ sa─člayan a├ž─▒k mimarisi ve AV1 kodlama i├žin yerle┼čik deste─či ile ├Âne ├ž─▒k─▒yor. Flex Serisi GPU, yo─čunluk ve kalite i├žin optimize edilmi┼čtir ve y├╝ksek g├╝venilirlik, kullan─▒labilirlik ve ├Âl├žeklenebilirlik sunar.

A┼ča─č─▒daki k─▒yaslamalar Intel┬« Data Center GPU Flex 170 ├╝zerinde FP32 hassasiyetinde ├žal─▒┼čt─▒r─▒lm─▒┼čt─▒r.

Flex GPU k─▒yaslamalar─▒
Model Bi├žim Durum Boyut (MB) mAP50-95(B) ├ç─▒kar─▒m s├╝resi (ms/im)
YOLOv8n PyTorch Ôťů 6.2 0.3709 21.79
YOLOv8n TorchScript Ôťů 12.4 0.3704 23.24
YOLOv8n ONNX Ôťů 12.2 0.3704 37.22
YOLOv8n OpenVINO Ôťů 12.3 0.3703 3.29
YOLOv8s PyTorch Ôťů 21.5 0.4471 31.89
YOLOv8s TorchScript Ôťů 42.9 0.4472 32.71
YOLOv8s ONNX Ôťů 42.8 0.4472 43.42
YOLOv8s OpenVINO Ôťů 42.9 0.4470 3.92
YOLOv8m PyTorch Ôťů 49.7 0.5013 50.75
YOLOv8m TorchScript Ôťů 99.2 0.4999 47.90
YOLOv8m ONNX Ôťů 99.0 0.4999 63.16
YOLOv8m OpenVINO Ôťů 49.8 0.4997 7.11
YOLOv8l PyTorch Ôťů 83.7 0.5293 77.45
YOLOv8l TorchScript Ôťů 167.2 0.5268 85.71
YOLOv8l ONNX Ôťů 166.8 0.5268 88.94
YOLOv8l OpenVINO Ôťů 167.0 0.5264 9.37
YOLOv8x PyTorch Ôťů 130.5 0.5404 100.09
YOLOv8x TorchScript Ôťů 260.7 0.5371 114.64
YOLOv8x ONNX Ôťů 260.4 0.5371 110.32
YOLOv8x OpenVINO Ôťů 260.6 0.5367 15.02

Bu tablo, d├Ârt farkl─▒ formatta (PyTorch, TorchScript, ONNX, OpenVINO) be┼č farkl─▒ model (YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) i├žin k─▒yaslama sonu├žlar─▒n─▒ temsil eder ve bize her kombinasyon i├žin durum, boyut, mAP50-95(B) metri─či ve ├ž─▒kar─▒m s├╝resini verir.

Intel Arc GPU

Intel┬« ArcÔäó, Intel'in ├Âzel GPU pazar─▒na giri┼čini temsil etmektedir. AMD ve Nvidia gibi ├Ânde gelen GPU ├╝reticileriyle rekabet etmek ├╝zere tasarlanan ArcÔäó serisi, hem diz├╝st├╝ hem de masa├╝st├╝ bilgisayar pazarlar─▒na hitap ediyor. Seri, diz├╝st├╝ bilgisayarlar gibi kompakt cihazlar i├žin mobil versiyonlar ve masa├╝st├╝ bilgisayarlar i├žin daha b├╝y├╝k, daha g├╝├žl├╝ versiyonlar i├žeriyor.

ArcÔäó serisi ├╝├ž kategoriye ayr─▒lm─▒┼čt─▒r: ArcÔäó 3, ArcÔäó 5 ve ArcÔäó 7, her bir numara performans seviyesini g├Âstermektedir. Her kategori birka├ž model i├žerir ve GPU model ad─▒ndaki 'M' mobil, entegre bir varyant─▒ ifade eder.

─░lk incelemeler ArcÔäó serisini, ├Âzellikle de entegre A770M GPU'yu etkileyici grafik performans─▒ nedeniyle ├Âvd├╝. ArcÔäó serisinin bulunabilirli─či b├Âlgelere g├Âre de─či┼čmektedir ve yak─▒nda ba┼čka modellerin de piyasaya s├╝r├╝lmesi beklenmektedir. Intel┬« ArcÔäó GPU'lar oyundan i├žerik olu┼čturmaya kadar bir dizi bilgisayar ihtiyac─▒ i├žin y├╝ksek performansl─▒ ├ž├Âz├╝mler sunar.

A┼ča─č─▒daki k─▒yaslamalar Intel┬« Arc 770 GPU ├╝zerinde FP32 hassasiyetinde ├žal─▒┼čt─▒r─▒lm─▒┼čt─▒r.

Arc GPU k─▒yaslamalar─▒
Model Bi├žim Durum Boyut (MB) metrik/mAP50-95(B) ├ç─▒kar─▒m s├╝resi (ms/im)
YOLOv8n PyTorch Ôťů 6.2 0.3709 88.79
YOLOv8n TorchScript Ôťů 12.4 0.3704 102.66
YOLOv8n ONNX Ôťů 12.2 0.3704 57.98
YOLOv8n OpenVINO Ôťů 12.3 0.3703 8.52
YOLOv8s PyTorch Ôťů 21.5 0.4471 189.83
YOLOv8s TorchScript Ôťů 42.9 0.4472 227.58
YOLOv8s ONNX Ôťů 42.7 0.4472 142.03
YOLOv8s OpenVINO Ôťů 42.9 0.4469 9.19
YOLOv8m PyTorch Ôťů 49.7 0.5013 411.64
YOLOv8m TorchScript Ôťů 99.2 0.4999 517.12
YOLOv8m ONNX Ôťů 98.9 0.4999 298.68
YOLOv8m OpenVINO Ôťů 99.1 0.4996 12.55
YOLOv8l PyTorch Ôťů 83.7 0.5293 725.73
YOLOv8l TorchScript Ôťů 167.1 0.5268 892.83
YOLOv8l ONNX Ôťů 166.8 0.5268 576.11
YOLOv8l OpenVINO Ôťů 167.0 0.5262 17.62
YOLOv8x PyTorch Ôťů 130.5 0.5404 988.92
YOLOv8x TorchScript Ôťů 260.7 0.5371 1186.42
YOLOv8x ONNX Ôťů 260.4 0.5371 768.90
YOLOv8x OpenVINO Ôťů 260.6 0.5367 19

Intel Xeon CPU

Intel┬« Xeon┬« CPU, karma┼č─▒k ve zorlu i┼č y├╝kleri i├žin tasarlanm─▒┼č y├╝ksek performansl─▒, sunucu s─▒n─▒f─▒ bir i┼člemcidir. ├ťst d├╝zey bulut bili┼čim ve sanalla┼čt─▒rmadan yapay zeka ve makine ├Â─črenimi uygulamalar─▒na kadar, Xeon┬« CPU'lar g├╝n├╝m├╝z├╝n veri merkezleri i├žin gereken g├╝c├╝, g├╝venilirli─či ve esnekli─či sa─člar.

├ľzellikle, Xeon┬« CPU'lar y├╝ksek i┼člem yo─čunlu─ču ve ├Âl├žeklenebilirlik sunarak hem k├╝├ž├╝k i┼čletmeler hem de b├╝y├╝k kurulu┼člar i├žin idealdir. Kurulu┼člar, Intel┬« Xeon┬« CPU'lar─▒ tercih ederek en zorlu bilgi i┼člem g├Ârevlerini g├╝venle yerine getirebilir ve maliyet etkinli─či ile operasyonel verimlili─či korurken inovasyonu te┼čvik edebilirler.

A┼ča─č─▒daki k─▒yaslamalar FP32 hassasiyetinde 4. Nesil Intel┬« Xeon┬« ├ľl├žeklenebilir CPU ├╝zerinde ├žal─▒┼čt─▒r─▒lm─▒┼čt─▒r.

Xeon CPU kar┼č─▒la┼čt─▒rmalar─▒
Model Bi├žim Durum Boyut (MB) metrik/mAP50-95(B) ├ç─▒kar─▒m s├╝resi (ms/im)
YOLOv8n PyTorch Ôťů 6.2 0.3709 24.36
YOLOv8n TorchScript Ôťů 12.4 0.3704 23.93
YOLOv8n ONNX Ôťů 12.2 0.3704 39.86
YOLOv8n OpenVINO Ôťů 12.3 0.3704 11.34
YOLOv8s PyTorch Ôťů 21.5 0.4471 33.77
YOLOv8s TorchScript Ôťů 42.9 0.4472 34.84
YOLOv8s ONNX Ôťů 42.8 0.4472 43.23
YOLOv8s OpenVINO Ôťů 42.9 0.4471 13.86
YOLOv8m PyTorch Ôťů 49.7 0.5013 53.91
YOLOv8m TorchScript Ôťů 99.2 0.4999 53.51
YOLOv8m ONNX Ôťů 99.0 0.4999 64.16
YOLOv8m OpenVINO Ôťů 99.1 0.4996 28.79
YOLOv8l PyTorch Ôťů 83.7 0.5293 75.78
YOLOv8l TorchScript Ôťů 167.2 0.5268 79.13
YOLOv8l ONNX Ôťů 166.8 0.5268 88.45
YOLOv8l OpenVINO Ôťů 167.0 0.5263 56.23
YOLOv8x PyTorch Ôťů 130.5 0.5404 96.60
YOLOv8x TorchScript Ôťů 260.7 0.5371 114.28
YOLOv8x ONNX Ôťů 260.4 0.5371 111.02
YOLOv8x OpenVINO Ôťů 260.6 0.5371 83.28

Intel ├çekirdek ─░┼člemci

Intel┬« Core┬« serisi, Intel'in y├╝ksek performansl─▒ i┼člemcilerinden olu┼čan bir seridir. Seride Core i3 (giri┼č seviyesi), Core i5 (orta seviye), Core i7 (├╝st seviye) ve Core i9 (a┼č─▒r─▒ performans) bulunmaktad─▒r. Her seri, g├╝nl├╝k i┼člerden zorlu profesyonel i┼č y├╝klerine kadar farkl─▒ bilgisayar ihtiya├žlar─▒na ve b├╝t├želerine hitap ediyor. Her yeni nesilde performans, enerji verimlili─či ve ├Âzelliklerde iyile┼čtirmeler yap─▒l─▒r.

A┼ča─č─▒daki k─▒yaslamalar 13. Nesil Intel┬« Core┬« i7-13700H CPU ├╝zerinde FP32 hassasiyetinde ├žal─▒┼čt─▒r─▒lm─▒┼čt─▒r.

Çekirdek CPU kıyaslamaları
Model Bi├žim Durum Boyut (MB) metrik/mAP50-95(B) ├ç─▒kar─▒m s├╝resi (ms/im)
YOLOv8n PyTorch Ôťů 6.2 0.4478 104.61
YOLOv8n TorchScript Ôťů 12.4 0.4525 112.39
YOLOv8n ONNX Ôťů 12.2 0.4525 28.02
YOLOv8n OpenVINO Ôťů 12.3 0.4504 23.53
YOLOv8s PyTorch Ôťů 21.5 0.5885 194.83
YOLOv8s TorchScript Ôťů 43.0 0.5962 202.01
YOLOv8s ONNX Ôťů 42.8 0.5962 65.74
YOLOv8s OpenVINO Ôťů 42.9 0.5966 38.66
YOLOv8m PyTorch Ôťů 49.7 0.6101 355.23
YOLOv8m TorchScript Ôťů 99.2 0.6120 424.78
YOLOv8m ONNX Ôťů 99.0 0.6120 173.39
YOLOv8m OpenVINO Ôťů 99.1 0.6091 69.80
YOLOv8l PyTorch Ôťů 83.7 0.6591 593.00
YOLOv8l TorchScript Ôťů 167.2 0.6580 697.54
YOLOv8l ONNX Ôťů 166.8 0.6580 342.15
YOLOv8l OpenVINO Ôťů 167.0 0.0708 117.69
YOLOv8x PyTorch Ôťů 130.5 0.6651 804.65
YOLOv8x TorchScript Ôťů 260.8 0.6650 921.46
YOLOv8x ONNX Ôťů 260.4 0.6650 526.66
YOLOv8x OpenVINO Ôťů 260.6 0.6619 158.73

Sonu├žlar─▒m─▒z─▒ Yeniden ├ťretin

Yukar─▒daki Ultralytics k─▒yaslamalar─▒n─▒ t├╝m d─▒┼ča aktarma bi├žimlerinde yeniden olu┼čturmak i├žin bu kodu ├žal─▒┼čt─▒r─▒n:

├ľrnek

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmarks(data="coco8.yaml")
# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

K─▒yaslama sonu├žlar─▒n─▒n, bir sistemin tam donan─▒m ve yaz─▒l─▒m yap─▒land─▒rmas─▒n─▒n yan─▒ s─▒ra k─▒yaslamalar─▒n ├žal─▒┼čt─▒r─▒ld─▒─č─▒ s─▒rada sistemin mevcut i┼č y├╝k├╝ne ba─čl─▒ olarak de─či┼čebilece─čini unutmay─▒n. En g├╝venilir sonu├žlar i├žin ├žok say─▒da g├Âr├╝nt├╝ i├žeren bir veri k├╝mesi kullan─▒n, ├Ârn. data='coco128.yaml' (128 val images), ordata='coco.yaml'` (5000 val g├Âr├╝nt├╝).

Sonu├ž

K─▒yaslama sonu├žlar─▒, YOLOv8 modelini OpenVINO format─▒na aktarman─▒n faydalar─▒n─▒ a├ž─▒k├ža g├Âstermektedir. Farkl─▒ modeller ve donan─▒m platformlar─▒ aras─▒nda OpenVINO format─▒, kar┼č─▒la┼čt─▒r─▒labilir do─črulu─ču korurken ├ž─▒kar─▒m h─▒z─▒ a├ž─▒s─▒ndan di─čer formatlardan s├╝rekli olarak daha iyi performans g├Âstermektedir.

Intel┬« Data Center GPU Flex Serisi i├žin OpenVINO format─▒, orijinal PyTorch format─▒ndan neredeyse 10 kat daha h─▒zl─▒ ├ž─▒kar─▒m h─▒zlar─▒ sunabilmi┼čtir. Xeon CPU'da OpenVINO format─▒ PyTorch format─▒ndan iki kat daha h─▒zl─▒yd─▒. Modellerin do─črulu─ču farkl─▒ formatlar aras─▒nda neredeyse ayn─▒ kald─▒.

K─▒yaslamalar, derin ├Â─črenme modellerini da─č─▒tmak i├žin bir ara├ž olarak OpenVINO 'un etkinli─činin alt─▒n─▒ ├žiziyor. Geli┼čtiriciler, modelleri OpenVINO format─▒na d├Ân├╝┼čt├╝rerek ├Ânemli performans iyile┼čtirmeleri elde edebilir ve bu modellerin ger├žek d├╝nya uygulamalar─▒nda kullan─▒lmas─▒n─▒ kolayla┼čt─▒rabilir.

OpenVINO adresini kullanma hakk─▒nda daha ayr─▒nt─▒l─▒ bilgi ve talimatlar i├žin resmi OpenVINO belgelerine bak─▒n.



Created 2023-11-12, Updated 2024-06-10
Authors: glenn-jocher (12), andrei-kochin (1), abirami-vina (1), RizwanMunawar (1), Burhan-Q (1)

Yorumlar