Ultralytics YOLO Modelleri için DEEPX Dışa Aktarma#

Bilgisayarlı görü modellerini özel NPU donanımında dağıtmak, uyumlu ve optimize edilmiş bir model formatı gerektirir. Ultralytics YOLO modellerini DEEPX formatına aktarmak, DEEPX NPU hızlandırıcılarında verimli, INT8 nicelemeli çıkarım yapılmasını sağlar. Bu kılavuz, YOLO modellerini DEEPX formatına dönüştürme ve DEEPX destekli donanımlarda dağıtma sürecinde sana yol gösterir.

DEEPX nedir?#

DEEPX, uçta güç verimli derin öğrenme çıkarımı için tasarlanmış Sinir İşleme Birimleri (NPUs) konusunda uzmanlaşmış bir yapay zekâ yarı iletken şirketidir. DEEPX NPU'ları, zorlu gömülü ve endüstriyel yapay zekâ uygulamaları için tasarlanmıştır; düşük güç tüketimiyle yüksek işlem hacmi sunar. Donanımları robotik, akıllı kameralar ve endüstriyel otomasyon sistemleri gibi bulut bağlantısının güvenilir olmadığı veya tercih edilmediği dağıtım senaryoları için son derece uygundur.

DEEPX Dışa Aktarma Formatı#

DEEPX dışa aktarma işlemi, DEEPX NPU donanımında çalıştırılmak üzere optimize edilmiş, derlenmiş bir .dxnn model ikilisi üretir. Derleme işlem hattı, INT8 niceleme ve donanıma özgü optimizasyon gerçekleştirmek için dx_com araç setini kullanır ve dağıtıma hazır, kendi kendine yeten bir model dizini oluşturur.

DEEPX Modellerinin Temel Özellikleri#

DEEPX modelleri uçta dağıtım için çeşitli avantajlar sunar:

• INT8 Niceleme: Modeller dışa aktarma sırasında INT8 hassasiyetine nice­lenir; bu, model boyutunu önemli ölçüde azaltır ve NPU işlem hacmini en üst düzeye çıkarır. Model niceleme hakkında daha fazla bilgi edin.
• NPU için Optimize Edilmiş: .dxnn formatı, DEEPX NPU donanımı için özel olarak derlenir ve hızlı, verimli çıkarım için özel hızlandırma birimlerinden yararlanır.
• Düşük Güç Tüketimi: Çıkarım NPU'ya aktarıldığından DEEPX modelleri, eşdeğer CPU veya GPU çıkarımına kıyasla çok daha az güç tüketir.
• Kalibrasyon Tabanlı Doğruluk: Dışa aktarma işlemi, niceleme sırasında doğruluk kaybını en aza indirmek için gerçek veri kümesi görüntüleriyle EMA tabanlı kalibrasyon kullanır.
• Kendi Kendine Yetebilen Çıktı: Dışa aktarılan model dizini, derlenmiş ikili dosyayı, kalibrasyon yapılandırmasını ve kolay dağıtım için meta verileri içerir.

Desteklenen Görevler#

DEEPX dışa aktarma, yedi Ultralytics görevinin tamamını destekler. Semantik segmentasyon ve derinlik tahmini yalnızca bu başlıkları içeren tek aile olan YOLO26 ile kullanılabilir.

DEEPX'e Dışa Aktarma: YOLO Modelini Dönüştürme#

Bir Ultralytics YOLO modelini DEEPX formatına aktar ve dışa aktarılan modelle çıkarım gerçekleştir.

Kurulum#

Gerekli paketleri yüklemek için şunu çalıştır:

# Install the required package for YOLO
pip install ultralytics

dx_com derleyicisi, ilk dışarı aktarımda DEEPX SDK deposundan otomatik olarak yüklenir. Mevcut dışarı aktarım iş akışı, x86-64 Linux üzerinde glibc 2.31 veya daha yeni sürümlerle Python 3.8–3.12 için tekerlekler (wheels) sağlayan DX-COM 2.3.0 sürümünü kullanır.

Derleyicinin PyPI sürümleri geri çekilmiştir (yanked). Dışarı aktarım bağımlılıklarını önceden yüklemek için SDK tekerlek (wheel) sayfasını --find-links ile sağlayın; bu, hem pip hem de uv pip ile çalışır:

pip install "ultralytics[export-deepx]" --find-links https://sdk.deepx.ai/release/dxcom/v2.3.0/index.html

Düzenlenebilir bir depo yüklemesi için "ultralytics[export-deepx]" ifadesini -e ".[export-base,export-deepx]" ile değiştirin. CI tarafından kullanılan Python 3.12 ortamını ve doğrulama dışarı aktarımını çoğaltmak için depo kök dizininden mevcut ortam oluşturucusunu çalıştırın:

ULTRALYTICS_ISOLATED_VENVS="$PWD/.venvs" python .github/scripts/create-export-env.py --env isolated-deepx

Ortam oluşturucu, uv ve kurulu bir Ultralytics kontrolü gerektirir. Derleyiciyi SDK kaynağından kurar ve test edilen bağımlılık kısıtlamalarını otomatik olarak uygular.

Kullanım#

DEEPX formatı Dışa Aktarma, Tahmin ve Doğrulama modlarını destekler. Çıkarım ve doğrulama DEEPX NPU donanımında çalışır. Modelini dışa aktar, ardından çıkarım yapmak veya doğruluğunu doğrulamak için dışa aktarılan modeli yükle.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to DEEPX format (quantize=8 is enforced automatically)
model.export(format="deepx")  # creates 'yolo26n_deepx_model/'

from ultralytics import YOLO

# Load the exported DEEPX model
model = YOLO("yolo26n_deepx_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported DEEPX model
model = YOLO("yolo26n_deepx_model")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Dışa Aktarma Bağımsız Değişkenleri#

Dışa aktarma süreci hakkında daha fazla ayrıntı için Ultralytics'in dışa aktarma dokümantasyonu sayfasını ziyaret et.

Çıktı Yapısı#

Başarılı bir dışa aktarma işleminden sonra aşağıdaki düzene sahip bir model dizini oluşturulur:

yolo26n_deepx_model/
├── yolo26n.dxnn     # Compiled DEEPX model binary (NPU executable)
├── config.json      # Calibration and preprocessing configuration
└── metadata.yaml    # Model metadata (classes, image size, task, etc.)

.dxnn dosyası, dx_engine çalışma zamanının doğrudan NPU'ya yüklediği derlenmiş model ikilisidir. metadata.yaml, Ultralytics çıkarım işlem hattı tarafından kullanılan sınıf adlarını, görüntü boyutunu ve diğer bilgileri içerir.

Dışa Aktarılan YOLO DEEPX Modellerini Dağıtma#

Ultralytics YOLO modelini DEEPX formatına başarıyla aktardıktan sonra sıradaki adım, bu modelleri DEEPX NPU donanımına dağıtmaktır.

Çalışma Zamanı Yükleme#

Çıkarım için DEEPX NPU sürücüsü, libdxrt çalışma zamanı ve dx_engine Python paketi gerekir.

# Install the NPU driver and libdxrt runtime
sudo apt update
wget https://github.com/DEEPX-AI/dx_rt_npu_linux_driver/raw/main/release/2.4.1/dxrt-driver-dkms_2.4.1-2_all.deb
sudo apt install ./dxrt-driver-dkms_2.4.1-2_all.deb
wget https://github.com/DEEPX-AI/dx_rt/raw/main/release/3.3.2/libdxrt_3.3.2_all.deb
sudo apt install ./libdxrt_3.3.2_all.deb

# Create dx-engine wheel
cd /usr/share/libdxrt/python_package && sudo ./make_whl.sh

# Install the bundled dx_engine Python wheel
pip install dx_engine-*.whl

dxrt-cli --version ile çalışma zamanının doğru şekilde yüklendiğini doğrula. Şuna benzer bir çıktı görmelisin:

DXRT v3.3.2
Minimum Driver Versions
Device Driver: v2.4.0
PCIe Driver: v2.2.0
Firmware: v2.5.2
Minimum Compiler Versions
Compiler: v1.18.1
.dxnn File Format: v6

Çalışma zamanı yüklendikten sonra, yukarıdaki Kullanım bölümünde gösterildiği gibi DEEPX cihazında çıkarım ve doğrulamayı çalıştır — dışa aktarılan _deepx_model, YOLO(...) ile doğrudan yüklenir.

dxtron ile Görselleştirme#

dxtron, derlenmiş .dxnn modelini incelemek için DEEPX'in grafik görselleştiricisidir.

DEEPX SDK'dan .deb paketini indirip dpkg aracılığıyla yükleyerek dxtron paketini x86-64 Linux'a yükle:

wget https://sdk.deepx.ai/release/dxtron/v2.0.1/dxtron_2.0.1_amd64.deb
sudo dpkg -i dxtron_2.0.1_amd64.deb

Ardından dışa aktardığın modeli aç:

dxtron yolo26n_deepx_model/yolo26n.dxnn

Karşılaştırmalı Testler#

Ultralytics ekibi, PyTorch ve DEEPX arasındaki hız ve doğruluk farklarını karşılaştırarak YOLO26 modelleri üzerinde kıyaslama yaptı.

Performans

Raspberry Pi 5 + DX-M1 M.2 ModülüYakında daha fazla cihaz desteklenecek!

Model	Biçim	Durum	Boyut (MB)	metrics/mAP50-95(B)	Çıkarım süresi (ms/im)
YOLO26n	PyTorch	✅	5.3	0.4760	315.2
YOLO26n	DEEPX	✅	6.6	0.4660	34.6
YOLO26n-seg	PyTorch	✅	6.5	0.4080	485.4
YOLO26n-seg	DEEPX	✅	7.9	0.3920	53.8
YOLO26n-pose	PyTorch	✅	7.6	0.4230	506.3
YOLO26n-pose	DEEPX	✅	8.8	0.4590	37.6
YOLO26n-obb	PyTorch	✅	5.7	0.817	1094.4
YOLO26n-obb	DEEPX	✅	7.3	0.783	56.4

Model	Biçim	Durum	Boyut (MB)	acc (top1)	acc (top5)	Çıkarım süresi (ms/im)
YOLO26n-cls	PyTorch	✅	5.6	0.431	0.716	23.8
YOLO26n-cls	DEEPX	✅	5.9	0.333	0.686	2.7

Not

Yukarıdaki kıyaslamalar için doğrulama; nesne tespiti için COCO128, segmentasyon için COCO128-seg, poz tahmini için COCO8-pose, sınıflandırma için ImageNet100 ve OBB modelleri için DOTA128 kullanılarak yapıldı. Çıkarım süresi, ön/son işlemeyi içermez.

sudo nano /boot/firmware/config.txt

dtparam=pciex1
dtparam=pciex1_gen=3

sudo reboot

sudo lspci -vvv | grep -iA 33 accelerators | grep -E "LnkCap|LnkSta"

Önerilen İş Akışı#

1. Modelini Ultralytics Eğitim Modu ile Eğit
2. model.export(format="deepx") kullanarak DEEPX formatına Dışa Aktar
3. Niceleme kaybının en aza indirildiğini doğrulamak için yolo val ile doğruluğu Doğrula
4. Nitel doğrulama için yolo predict kullanarak Tahmin Et
5. Dışa aktarılan _deepx_model/ dizinini dx_engine çalışma zamanını kullanarak DEEPX NPU donanımına Dağıt

Gerçek Dünya Uygulamaları#

DEEPX NPU donanımında dağıtılan YOLO modelleri, çok çeşitli uç yapay zekâ uygulamaları için son derece uygundur:

• Akıllı Gözetim: Düşük güç tüketimi ve bulut bağımlılığı olmadan güvenlik ve izleme sistemleri için gerçek zamanlı nesne algılama.
• Endüstriyel Otomasyon: Fabrika ortamlarında cihaz üzerinde kalite kontrolü, kusur algılama ve süreç izleme.
• Robotik: Otonom robotlarda ve dronlarda görüş tabanlı navigasyon, engellerden kaçınma ve nesne tanıma.
• Akıllı Tarım: Tarımda bilgisayarlı görü kullanarak ürün sağlığı izleme, haşere algılama ve verim tahmini.
• Perakende Analitiği: Gerçek zamanlı uç çıkarımla müşteri akışı analizi, raf izleme ve envanter takibi.

Özet#

Bu kılavuzda Ultralytics YOLO modellerini DEEPX formatına nasıl aktaracağını ve DEEPX NPU donanımına nasıl dağıtacağını öğrendin. Dışa aktarma işlem hattı, donanım için optimize edilmiş bir .dxnn ikilisi üretmek üzere INT8 kalibrasyonu ve dx_com derleyicisini kullanırken dx_engine çalışma zamanı cihazdaki çıkarımı yönetir.

Ultralytics YOLO ile DEEPX'in NPU teknolojisinin birleşimi, gelişmiş bilgisayarlı görü iş yüklerini gömülü ve uç cihazlarda çalıştırmak için etkili bir çözüm sunar; gerçek zamanlı uygulamalar için düşük güç tüketimiyle yüksek işlem hacmi sağlar.

Kullanım hakkında daha fazla bilgi için DEEPX resmî web sitesini ziyaret et.

Ayrıca diğer Ultralytics YOLO entegrasyonları hakkında daha fazla bilgi edinmek istersen entegrasyon kılavuzu sayfamızı ziyaret et. Orada birçok yararlı kaynak ve içgörü bulabilirsin.

SSS#