Ultralytics YOLO Modelleri için DEEPX Dışa Aktarımı#

Özel NPU donanımı üzerinde bilgisayarlı görü modelleri çalıştırmak, uyumlu ve optimize edilmiş bir model formatı gerektirir. Ultralytics YOLO modellerini DEEPX formatına dışarı aktarmak, DEEPX NPU hızlandırıcılarında verimli, INT8 kuantizasyonlu çıkarım yapılmasını sağlar. Bu kılavuz, YOLO modellerini DEEPX formatına dönüştürme ve bunları DEEPX destekli donanımda çalıştırma adımlarında size rehberlik eder.

DEEPX nedir?#

DEEPX, uç noktada (edge) düşük güç tüketimiyle derin öğrenme çıkarımı için tasarlanmış Nöral İşleme Birimleri (NPU'lar) konusunda uzmanlaşmış bir yapay zeka yarı iletken şirketidir. DEEPX NPU'lar, minimum güç tüketimiyle yüksek iş hacmi sunarak zorlu gömülü ve endüstriyel yapay zeka uygulamaları için tasarlanmıştır. Donanımları; robotik, akıllı kameralar ve endüstriyel otomasyon sistemleri gibi bulut bağlantısının güvenilmez veya istenmeyen olduğu dağıtım senaryoları için son derece uygundur.

DEEPX Dışa Aktarma Formatı#

DEEPX dışa aktarımı, DEEPX NPU donanımında yürütülmek üzere optimize edilmiş derlenmiş bir .dxnn model ikilisi (binary) üretir. Derleme işlem hattı; INT8 kuantizasyonu ve donanıma özel optimizasyonu gerçekleştirmek için dx_com araç setini kullanır ve dağıtıma hazır, bağımsız bir model dizini oluşturur.

DEEPX Modellerinin Temel Özellikleri#

DEEPX modelleri, uç dağıtım için çeşitli avantajlar sunar:

• INT8 Kuantizasyonu: Modeller, dışa aktarım sırasında INT8 hassasiyetine kuantize edilir; bu da model boyutunu önemli ölçüde küçültür ve NPU iş hacmini maksimize eder. Model kuantizasyonu hakkında daha fazla bilgi edinin.
• NPU Optimizasyonlu: .dxnn formatı, hızlı ve verimli çıkarım için özel hızlandırma birimlerinden yararlanarak DEEPX NPU donanımı için özellikle derlenmiştir.
• Düşük Güç Tüketimi: Çıkarımı NPU'ya yükleyerek, DEEPX modelleri eşdeğer bir CPU veya GPU çıkarımından çok daha az güç tüketir.
• Kalibrasyon Tabanlı Doğruluk: Dışa aktarma işlemi, nicelleştirme sırasında doğruluk kaybını en aza indirmek için gerçek veri seti görüntüleri ile EMA tabanlı kalibrasyon kullanır.
• Kendine Yeten Çıktı: Dışa aktarılan model dizini; derlenmiş ikili dosyayı, kalibrasyon yapılandırmasını ve kolay dağıtım için gerekli meta verileri bir araya getirir.

Desteklenen Görevler#

DEEPX dışa aktarımı yedi Ultralytics görevini de destekler. Anlamsal bölümleme ve derinlik tahmini yalnızca, bu kafaları barındıran tek aile olan YOLO26 ile kullanılabilir.

DEEPX'e Dışa Aktar: YOLO Modelini Dönüştürme#

Bir Ultralytics YOLO modelini DEEPX formatına dışa aktar ve dışa aktarılan model ile çıkarım çalıştır.

Kurulum#

Gerekli paketleri kurmak için şunu çalıştır:

# Install the required package for YOLO
pip install ultralytics

dx_com derleyici paketi, ilk dışa aktarımda DEEPX SDK deposundan otomatik olarak yüklenecektir. Kurulum süreciyle ilgili ayrıntılı talimatlar ve en iyi uygulamalar için Ultralytics Kurulum kılavuzumuzu inceleyin. YOLO için gerekli paketleri kurarken herhangi bir zorlukla karşılaşırsanız, çözümler ve ipuçları için Yaygın Sorunlar kılavuzumuza başvurun.

Kullanım#

DEEPX formatı; Export, Predict ve Validate modlarını destekler. Çıkarım ve doğrulama işlemleri DEEPX NPU donanımı üzerinde çalışır. Modelini dışa aktar, ardından çıkarım çalıştırmak veya doğruluğunu denetlemek için dışa aktarılan modeli yükle.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to DEEPX format (quantize=8 is enforced automatically)
model.export(format="deepx")  # creates 'yolo26n_deepx_model/'

from ultralytics import YOLO

# Load the exported DEEPX model
model = YOLO("yolo26n_deepx_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported DEEPX model
model = YOLO("yolo26n_deepx_model")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Dışa Aktarma Argümanları#

Dışa aktarım süreci hakkında daha fazla ayrıntı için Ultralytics documentation page on exporting sayfasını ziyaret edin.

Çıktı Yapısı#

Başarılı bir dışa aktarmadan sonra, şu düzenle bir model dizini oluşturulur:

yolo26n_deepx_model/
├── yolo26n.dxnn     # Compiled DEEPX model binary (NPU executable)
├── config.json      # Calibration and preprocessing configuration
└── metadata.yaml    # Model metadata (classes, image size, task, etc.)

.dxnn dosyası, dx_engine çalışma zamanının (runtime) doğrudan NPU üzerinde yüklediği derlenmiş model ikilisidir. metadata.yaml ise Ultralytics çıkarım işlem hattı tarafından kullanılan sınıf adlarını, görüntü boyutunu ve diğer bilgileri içerir.

Dışa Aktarılan YOLO DEEPX Modellerini Dağıtma#

Ultralytics YOLO modelini DEEPX formatına başarıyla dışa aktardıktan sonra, bir sonraki adım bu modelleri DEEPX NPU donanımı üzerinde dağıtmaktır.

Çalışma Zamanı Kurulumu#

Çıkarım için DEEPX NPU sürücüsü, libdxrt çalışma zamanı ve dx_engine Python paketi gereklidir.

# Install the NPU driver and libdxrt runtime
sudo apt update
wget https://github.com/DEEPX-AI/dx_rt_npu_linux_driver/raw/main/release/2.4.1/dxrt-driver-dkms_2.4.1-2_all.deb
sudo apt install ./dxrt-driver-dkms_2.4.1-2_all.deb
wget https://github.com/DEEPX-AI/dx_rt/raw/main/release/3.3.2/libdxrt_3.3.2_all.deb
sudo apt install ./libdxrt_3.3.2_all.deb

# Create dx-engine wheel
cd /usr/share/libdxrt/python_package && sudo ./make_whl.sh

# Install the bundled dx_engine Python wheel
pip install dx_engine-*.whl

Çalışma zamanının doğru şekilde kurulu olduğunu dxrt-cli --version ile doğrula. Aşağıdakine benzer bir çıktı görmelisin:

DXRT v3.3.2
Minimum Driver Versions
Device Driver: v2.4.0
PCIe Driver: v2.2.0
Firmware: v2.5.2
Minimum Compiler Versions
Compiler: v1.18.1
.dxnn File Format: v6

Çalışma zamanı kurulduktan sonra, çıkarım ve doğrulamayı yukarıdaki Kullanım bölümünde gösterildiği gibi doğrudan DEEPX cihazınızda çalıştırın — dışa aktarılan _deepx_model, doğrudan YOLO(...) ile yüklenir.

dxtron ile Görselleştirme#

dxtron, derlenmiş .dxnn modelini incelemek için DEEPX'in grafik görselleştiricisidir.

DEEPX SDK'sinden .deb paketini indirip dpkg ile kurarak x86-64 Linux üzerine dxtron kur:

wget https://sdk.deepx.ai/release/dxtron/v2.0.1/dxtron_2.0.1_amd64.deb
sudo dpkg -i dxtron_2.0.1_amd64.deb

Ardından dışa aktardığın modeli aç:

dxtron yolo26n_deepx_model/yolo26n.dxnn

Kıyaslamalar#

Ultralytics ekibi, PyTorch ve DEEPX arasındaki hız ve doğruluğu karşılaştırarak YOLO26 modellerini kıyasladı.

Performans

Raspberry Pi 5 + DX-M1 M.2 ModülüDaha fazla cihaz yakında gelecek!

Model	Format	Durum	Boyut (MB)	metrics/mAP50-95(B)	Çıkarım süresi (ms/im)
YOLO26n	PyTorch	✅	5.3	0.4760	315.2
YOLO26n	DEEPX	✅	6.6	0.4660	34.6
YOLO26n-seg	PyTorch	✅	6.5	0.4080	485.4
YOLO26n-seg	DEEPX	✅	7.9	0.3920	53.8
YOLO26n-pose	PyTorch	✅	7.6	0.4230	506.3
YOLO26n-pose	DEEPX	✅	8.8	0.4590	37.6
YOLO26n-obb	PyTorch	✅	5.7	0.817	1094.4
YOLO26n-obb	DEEPX	✅	7.3	0.783	56.4

Model	Format	Durum	Boyut (MB)	acc (top1)	acc (top5)	Çıkarım süresi (ms/im)
YOLO26n-cls	PyTorch	✅	5.6	0.431	0.716	23.8
YOLO26n-cls	DEEPX	✅	5.9	0.333	0.686	2.7

Not

Yukarıdaki kıyaslamalar için doğrulama; tespit için coco128, segmentasyon için coco128-seg, poz tahmini için coco8-pose, sınıflandırma için imagenet100 ve OBB modelleri için dota128 kullanılarak yapıldı. Çıkarım süresi, ön/son işleme aşamalarını içermez.

sudo nano /boot/firmware/config.txt

dtparam=pciex1
dtparam=pciex1_gen=3

sudo reboot

sudo lspci -vvv | grep -iA 33 accelerators | grep -E "LnkCap|LnkSta"

Önerilen İş Akışı#

1. Ultralytics Eğitim Modunu kullanarak modelini Eğit
2. model.export(format="deepx") kullanarak DEEPX formatına Dışa Aktar
3. Minimum niceleme kaybını doğrulamak için yolo val ile doğruluğu Doğrula
4. Niteliksel doğrulama için yolo predict kullanarak Tahmin Et
5. dx_engine çalışma zamanını kullanarak dışarı aktarılan _deepx_model/ dizinini DEEPX NPU donanımına dağıt

Gerçek Dünya Uygulamaları#

DEEPX NPU donanımında dağıtılan YOLO modelleri, çok çeşitli edge AI uygulamaları için son derece uygundur:

• Akıllı Gözetim: Düşük güç tüketimi ve bulut bağımlılığı olmadan güvenlik ve izleme sistemleri için gerçek zamanlı nesne tespiti.
• Endüstriyel Otomasyon: Fabrika ortamlarında cihaz üzerinde kalite kontrol, kusur tespiti ve süreç izleme.
• Robotik: Otonom robotlar ve dronlarda görüntü tabanlı navigasyon, engel algılama ve nesne tanıma.
• Akıllı Tarım: Tarımda bilgisayarlı görü kullanarak ekin sağlığı izleme, zararlı tespiti ve verim tahmini.
• Perakende Analitiği: Gerçek zamanlı uç çıkarımı ile müşteri akış analizi, raf izleme ve envanter takibi.

Özet#

Bu kılavuzda, Ultralytics YOLO modellerini DEEPX formatına nasıl dışarı aktaracağını ve bunları DEEPX NPU donanımında nasıl dağıtacağını öğrendin. Dışarı aktarma boru hattı, donanım optimizasyonlu bir .dxnn ikili dosyası üretmek için INT8 kalibrasyonunu ve dx_com derleyicisini kullanırken, dx_engine çalışma zamanı cihaz üzerindeki çıkarımı yönetir.

Ultralytics YOLO ile DEEPX'in NPU teknolojisinin kombinasyonu, gömülü ve uç cihazlarda gelişmiş bilgisayarlı görü iş yüklerini çalıştırmak için etkili bir çözüm sunar; gerçek zamanlı uygulamalar için düşük güç tüketimiyle yüksek iş hacmi sağlar.

Kullanım hakkında daha fazla ayrıntı için DEEPX resmi web sitesini ziyaret edin.

Ayrıca, diğer Ultralytics YOLO entegrasyonları hakkında daha fazla bilgi edinmek isterseniz, entegrasyon kılavuzu sayfamızı ziyaret edin. Orada çok sayıda yararlı kaynak ve içgörü bulacaksınız.

SSS#