YOLO için OpenVINO Çıkarım Optimizasyonu
Giriş#
Derin öğrenme modellerini, özellikle Ultralytics YOLO modelleri gibi nesne tespiti modellerini dağıtırken, çıkarımı genellikle ya gecikme (tek isteğe hızlı yanıt verme) ya da verim (aynı anda çok sayıda isteği işleme) için optimize edersin. Bu kılavuz, tüketici sınıfı uygulamalardan büyük ölçekli dağıtımlara kadar her iki amaç için de Intel'in OpenVINO araç setini nasıl kullanacağını açıklar.
Gecikme için Optimizasyon#
Gecikme optimizasyonu, tek bir girdiye karşılık tek bir modelden anında yanıt alınmasını gerektiren ve tüketici uygulamalarında sıkça görülen senaryolar için hayati önem taşır. Amaç, girdi ile çıkarım sonucu arasındaki gecikmeyi en aza indirmektir. Ancak özellikle eşzamanlı çıkarımlar çalıştırırken veya birden fazla modeli yönetirken düşük gecikme elde etmek için dikkatli değerlendirme gerekir.
Gecikme Optimizasyonu için Temel Stratejiler#
- Cihaz Başına Tek Çıkarım: Düşük gecikme elde etmenin en kolay yolu, her cihazda aynı anda yalnızca tek bir çıkarım yapılmasını sağlamaktır. Eşzamanlılığı artırmak çoğunlukla gecikmeyi artırır.
- Alt Cihazlardan Yararlanma: Çok soketli CPU'lar veya çok döşemeli GPU'lar gibi cihazlar, dahili alt cihazlarını kullanarak gecikmeyi çok az artırırken birden fazla isteği yürütebilir.
- OpenVINO Performans İpuçları: Model derleme sırasında
ov::LATENCYözelliğiniov::performance_modeözelliği için kullanmak, performans ayarlarını kolaylaştırır ve cihazdan bağımsız, geleceğe dönük bir yaklaşım sunar.
İlk Çıkarım Gecikmesini Yönetme#
- Model Önbelleğe Alma: Model yükleme ve derleme sürelerinin gecikmeyi etkilemesini önlemek için mümkün olduğunda model önbelleğe almayı kullan. Önbelleğe almanın mümkün olmadığı senaryolarda CPU'lar genellikle modelleri en hızlı yükleyen seçenektir.
- Model Eşleme ve Okuma: Yükleme sürelerini azaltmak için OpenVINO, model okumayı eşlemeyle değiştirdi. Ancak model çıkarılabilir bir sürücüde veya ağ sürücüsündeyse, okumaya geri dönmek için
ov::enable_mmap(false)kullanmayı düşün. - AUTO Cihaz Seçimi: Bu mod çıkarıma CPU üzerinde başlar ve hazır olduğunda bir hızlandırıcıya geçerek ilk çıkarımın gecikmesini azaltır.
İş Hacmi için Optimizasyon#
Verim optimizasyonu, çok sayıda çıkarım isteğinin aynı anda karşılandığı senaryolarda kaynak kullanımını en üst düzeye çıkarırken tekil isteklerin performansından önemli ölçüde ödün vermemek için kritik öneme sahiptir.
İş Hacmi Optimizasyonu Yaklaşımları#
-
OpenVINO Performans İpuçları: Performans ipuçlarını kullanarak cihazlar arasında iş hacmini artırmaya yönelik üst düzey ve geleceğe dönük bir yöntem.
import openvino as ov import openvino.properties.hint as hints core = ov.Core() model = core.read_model("yolo26n_openvino_model/yolo26n.xml") config = {hints.performance_mode: hints.PerformanceMode.THROUGHPUT} compiled_model = core.compile_model(model, "GPU", config) -
Açık Toplu İşleme ve Akışlar: Gelişmiş performans ayarı için açık toplu işlemeyi ve akış kullanımını içeren, daha ayrıntılı bir yaklaşım.
İş Hacmi Odaklı Uygulamalar Tasarlama#
İş hacmini en üst düzeye çıkarmak için uygulamalar şunları yapmalıdır:
- Cihazın kapasitesinden tam olarak yararlanarak girdileri paralel işlemek.
- Veri akışını, paralel yürütülmek üzere zamanlanan eşzamanlı çıkarım isteklerine bölmek.
- Verimliliği korumak ve cihazın kaynaklarının boşta kalmasını önlemek için geri çağırmalarla Async API'yi kullan.
Çoklu Cihaz Yürütmesi#
OpenVINO'nun çoklu cihaz modu, uygulama düzeyinde cihaz yönetimi gerektirmeden çıkarım isteklerini cihazlar arasında otomatik olarak dengeleyerek iş hacmini ölçeklendirmeyi kolaylaştırır.
Gerçek Dünya Performans Kazanımları#
Ultralytics YOLO modellerinde OpenVINO optimizasyonlarını uygulamak önemli performans artışları sağlayabilir. Karşılaştırma sonuçlarında gösterildiği üzere, INT8 OpenVINO modelleri Intel Core Ultra CPU'larda PyTorch'tan 2,9 ila 6,0 kat daha hızlı çalıştı; aynı işlemcilerin tümleşik GPU'ları ise FP32 modelleri CPU'daki PyTorch'tan 3,6 ila 29,1 kat daha hızlı çalıştırdı. Intel Core Ultra Series 3 blog yazısı, bu işlemcilerin en yenilerini ele alıyor.
Örneğin, Intel Core Ultra X7 358H'nin CPU'sunda INT8 YOLO26n modeli görüntü başına 9,99 ms'de çalışırken PyTorch 29,28 ms sürdü; COCO128'de mAP50-95 değeri 0,4720 iken PyTorch'un değeri 0,4765 oldu; yani doğruluk az miktarda düştü.
Uygulamaya Geçirme#
Ultralytics YOLO modelini dışa aktarmak ve OpenVINO için optimize etmek üzere dışa aktarma işlevini kullan:
from ultralytics import YOLO
# Bir model yükle
model = YOLO("yolo26n.pt")
# Modeli OpenVINO biçimine aktar
model.export(format="openvino", quantize=16) # FP16 hassasiyetiyle dışa aktarDışa aktarma işleminden sonra optimize edilmiş modelle çıkarım çalıştırabilirsin:
# OpenVINO modelini yükle
ov_model = YOLO("yolo26n_openvino_model/")
# Çıkarımı çalıştır (Ultralytics, OpenVINO modellerini LATENCY performans ipucuyla derler)
results = ov_model("https://ultralytics.com/images/bus.jpg", verbose=True)Sonuç#
Ultralytics YOLO modellerini gecikme veya verim için OpenVINO ile optimize etmek, uygulamanın performansını önemli ölçüde artırabilir. Gecikme ya da verim için optimizasyon seçimi, uygulamanın özel gereksinimlerine ve dağıtım ortamının özelliklerine bağlıdır.
Gerçek zamanlı yanıtları optimize ediyor ya da büyük ölçekli işlemede verimi en üst düzeye çıkarıyor olsan da uygulamanın gereksinimlerini temel al, uygun performans ipucunu seç ve hedef donanımda karşılaştırmalı test yap.
Sık Sorulan Sorular#
Ultralytics YOLO modellerini düşük gecikme için optimize etmek birkaç temel strateji içerir:
- Cihaz Başına Tek Çıkarım: Gecikmeleri en aza indirmek için her cihazda aynı anda yalnızca tek bir çıkarım yapılmasını sağla.
- Alt Cihazlardan Yararlanma: Çok soketli CPU'lar veya gecikmeyi en az artırarak birden fazla isteği işleyebilen çok karolu GPU'lar gibi cihazları kullan.
- OpenVINO Performans İpuçları: Kolay ve cihazdan bağımsız ayar için model derleme sırasında OpenVINO'nun
ov::LATENCYözelliğini kullan.
Gecikmeyi optimize etmeye yönelik pratik ipuçları için kılavuzumuzun Gecikme Optimizasyonu bölümüne göz at.
OpenVINO, performanstan ödün vermeden cihaz kaynaklarının kullanımını en üst düzeye çıkararak Ultralytics YOLO modellerinin iş hacmini artırır. Başlıca avantajları şunlardır:
- Performans İpuçları: Cihazlar arasında basit, üst düzey performans ayarı.
- Açık Toplu İşleme ve Akışlar: Gelişmiş performans için ince ayar.
- Çoklu Cihaz Yürütmesi: Otomatik çıkarım yükü dengeleme sayesinde uygulama düzeyindeki yönetimi kolaylaştırır.
Örnek yapılandırma:
import openvino as ov import openvino.properties.hint as hints core = ov.Core() model = core.read_model("yolo26n_openvino_model/yolo26n.xml") config = {hints.performance_mode: hints.PerformanceMode.THROUGHPUT} compiled_model = core.compile_model(model, "GPU", config)Ayrıntılı kılavuzumuzdaki İş Hacmi Optimizasyonu bölümünden iş hacmi optimizasyonu hakkında daha fazla bilgi edin.
İlk çıkarım gecikmesini azaltmak için şu uygulamaları göz önünde bulundur:
- Model Önbelleğe Alma: Yükleme ve derleme sürelerini azaltmak için model önbelleğe almayı kullan.
- Model Eşleme ve Okuma: Varsayılan olarak eşlemeyi (
ov::enable_mmap(true)) kullan; ancak model çıkarılabilir bir sürücüde veya ağ sürücüsündeyse okumaya (ov::enable_mmap(false)) geç. - AUTO Cihaz Seçimi: CPU çıkarımıyla başlamak ve hazır olduğunda bir hızlandırıcıya geçmek için AUTO modunu kullan.
İlk çıkarım gecikmesini yönetmeye yönelik ayrıntılı stratejiler için İlk Çıkarım Gecikmesini Yönetme bölümüne başvur.
Gecikme ve iş hacmi optimizasyonlarını dengelemek için uygulamanın gereksinimlerini anlaman gerekir:
- Gecikme Optimizasyonu: Anında yanıt gerektiren gerçek zamanlı uygulamalar (ör. tüketici sınıfı uygulamalar) için idealdir.
- İş Hacmi Optimizasyonu: Kaynak kullanımını en üst düzeye çıkaran, çok sayıda eşzamanlı çıkarımın yapıldığı senaryolar (ör. büyük ölçekli dağıtımlar) için en uygunudur.
OpenVINO'nun üst düzey performans ipuçlarını ve çoklu cihaz modlarını kullanmak doğru dengeyi kurmana yardımcı olabilir. Özel gereksinimlerine göre uygun OpenVINO performans ipuçlarını seç.
Evet, Ultralytics YOLO modelleri başka birçok çalışma ortamına aktarılabilir. Seçenekler şunlardır:
- TensorRT: NVIDIA GPU optimizasyonu için TensorRT entegrasyon kılavuzunu izle.
- CoreML: Apple cihazları için CoreML dışa aktarma talimatlarımıza başvur.
- LiteRT.js: Web ve Node.js uygulamaları için LiteRT entegrasyon kılavuzuna ve LiteRT.js web çalışma zamanına göz at.
Ultralytics Entegrasyonları sayfasında diğer entegrasyonları keşfet.
Yorumlar2
Bir soru sor, sonuçlarını paylaş veya başka birine yardım et.
Kvsoni
Is it possible to use the in built classes and functions of ultralytics to do pre-processing and post-processing and using openVINO for the inference part?
Paula DerrengerUltralytics(düzenlendi)@Kvsoni hi there!
Yes, that's possible, and the simplest way is to let Ultralytics do it all: export the model to OpenVINO and load the exported folder with
YOLO. Ultralytics then handles the pre-processing (resizing, normalization), runs inference with OpenVINO, and does the post-processing (decoding the output into boxes):from ultralytics import YOLO model = YOLO("yolo26n.pt") model.export(format="openvino") # creates 'yolo26n_openvino_model/' ov_model = YOLO("yolo26n_openvino_model/") results = ov_model("path/to/image.jpg") results[0].show()If you want to run the OpenVINO runtime yourself, note that
YOLOmodel objects do not exposepreprocess()orpostprocess(); those steps live in the predictor classes (e.g.ultralytics.models.yolo.detect.DetectionPredictor).For more detailed guidance on optimizing your model with OpenVINO, including strategies for latency and throughput, please refer to our guide: Optimizing OpenVINO Inference for Ultralytics YOLO Models.
Feel free to reach out if you have any more questions or need further assistance! 😊