Ultralytics YOLO Modelleri için DEEPX Dışa Aktarımı

Uzmanlaşmış NPU donanımında bilgisayarlı görü modellerini dağıtmak için uyumlu ve optimize edilmiş bir model biçimi gerekir. Ultralytics YOLO modellerini DEEPX biçimine aktarmak, DEEPX NPU hızlandırıcılarında verimli, INT8 nicelemeli çıkarım yapılmasını sağlar. Bu kılavuzda YOLO modellerini DEEPX biçimine dönüştürme ve DEEPX tabanlı donanımlarda dağıtma adımları anlatılır.

DEEPX nedir?#

DEEPX, uçta güç açısından verimli derin öğrenme çıkarımı için tasarlanmış Sinir İşlem Birimleri (NPUs) konusunda uzmanlaşmış bir yapay zekâ yarı iletken şirketi ve Ultralytics iş ortağıdır. DEEPX NPU'ları, güç tüketimini en aza indirirken yüksek iş hacmi sağlayarak zorlu gömülü ve endüstriyel yapay zekâ uygulamalarını destekleyecek şekilde tasarlanmıştır. Bu donanım; robotik, akıllı kameralar ve endüstriyel otomasyon sistemleri gibi bulut bağlantısının güvenilir olmadığı veya istenmediği dağıtım senaryoları için uygundur.

DEEPX Dışa Aktarma Biçimi#

DEEPX dışa aktarımı, DEEPX NPU donanımında çalışmak üzere optimize edilmiş, derlenmiş bir .dxnn model ikili dosyası oluşturur. Derleme hattı, INT8 nicelemesi ve donanıma özgü optimizasyonlar için dx_com araç takımını kullanarak dağıtıma hazır, kendi kendine yeterli bir model dizini oluşturur.

DEEPX Modellerinin Temel Özellikleri#

DEEPX modelleri uç dağıtımı için çeşitli avantajlar sunar:

• INT8 Nicelemesi: Dışa aktarma sırasında modeller INT8 hassasiyetine niceleme uygulanarak model boyutu önemli ölçüde küçültülür ve NPU aktarım hızı en üst düzeye çıkarılır. Model nicelemesi hakkında daha fazla bilgi edin.
• NPU için optimize edildi: .dxnn biçimi, özel hızlandırma birimlerinden yararlanarak hızlı ve verimli çıkarım yapmak üzere özellikle DEEPX NPU donanımı için derlenir.
• Düşük güç tüketimi: DEEPX modelleri, çıkarımı NPU'ya aktararak eşdeğer CPU veya GPU çıkarımına göre çok daha az güç tüketir.
• Kalibrasyona Dayalı Doğruluk: Dışa aktarma, niceleme sırasında doğruluk kaybını en aza indirmek için gerçek veri kümesi görüntüleriyle EMA tabanlı kalibrasyon kullanır.
• Kendi İçinde Tam Çıktı: Dışa aktarılan model dizini, kolay dağıtım için derlenmiş ikili dosyayı, kalibrasyon yapılandırmasını ve meta verileri bir araya getirir.

Desteklenen Görevler#

DEEPX dışa aktarma, Ultralytics'in yedi görevinin tümünü destekler. Anlamsal segmentasyon ve derinlik tahmini yalnızca bu başlıkları içeren tek aile olan YOLO26 ile kullanılabilir.

DEEPX'e Dışa Aktarma: YOLO Modelini Dönüştürme#

Bir Ultralytics YOLO modelini DEEPX biçimine aktar ve dışa aktarılan modelle çıkarım yap.

Kurulum#

Gerekli paketleri yüklemek için şunu çalıştır:

# Install the required package for YOLO
pip install ultralytics

dx_com derleyicisi, ilk dışa aktarma sırasında PyPI üzerinden otomatik olarak yüklenir. DX-COM 2.5.0, glibc 2.31 veya daha yeni sürümünü kullanan x86-64 Linux sistemlerinde Python 3.8–3.14 için wheel paketleri sağlar ve en az 16 GB RAM gerektirir. Dışa aktarma bağımlılıklarını önceden yüklemek için:

pip install "ultralytics[export-deepx]"

Düzenlenebilir bir depo kurulumu için "ultralytics[export-deepx]" yerine -e ".[export-base,export-deepx]" kullan. Python 3.14 ortamını ve CI'da kullanılan temel dışa aktarma testini yeniden oluşturmak için, depoda kök dizindeyken mevcut ortam oluşturucuyu çalıştır:

ULTRALYTICS_ISOLATED_VENVS="$PWD/.venvs" python .github/scripts/create-export-env.py --env isolated-deepx

Ortam oluşturucu, uv ve kurulu bir Ultralytics çalışma ağacı gerektirir. Test edilmiş bağımlılık kısıtlamalarını otomatik olarak uygular.

Kullanım#

DEEPX biçimi Dışa Aktar, Tahmin ve Doğrula modlarını destekler. Çıkarım ve doğrulama DEEPX NPU donanımında çalışır. Modelini dışa aktar, ardından çıkarım yapmak veya doğruluğunu doğrulamak için dışa aktarılan modeli yükle.

from ultralytics import YOLO

# YOLO26 modelini yükle
model = YOLO("yolo26n.pt")

# # Modeli DEEPX biçimine aktar (quantize=8 otomatik olarak zorunlu kılınır)
model.export(format="deepx")  # creates 'yolo26n_deepx_model/'

from ultralytics import YOLO

# # Dışa aktarılan DEEPX modelini yükle
model = YOLO("yolo26n_deepx_model")

# Çıkarımı çalıştır
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# # Dışa aktarılan DEEPX modelini yükle
model = YOLO("yolo26n_deepx_model")

# COCO8 veri kümesinde doğruluğu doğrula
metrics = model.val(data="coco8.yaml")

Dışa Aktarma Bağımsız Değişkenleri#

Dışa aktarma süreci hakkında daha fazla bilgi için Ultralytics dışa aktarma belgeleri sayfasını ziyaret et.

Çıktı Yapısı#

Dışa aktarma başarıyla tamamlandıktan sonra aşağıdaki düzende bir model dizini oluşturulur:

yolo26n_deepx_model/
├── yolo26n.dxnn     # Compiled DEEPX model binary (NPU executable)
├── config.json      # Calibration and preprocessing configuration
└── metadata.yaml    # Model metadata (classes, image size, task, etc.)

.dxnn dosyası, dx_engine çalışma zamanının NPU'da doğrudan yüklediği derlenmiş model ikili dosyasıdır. metadata.yaml, sınıf adlarını, görüntü boyutunu ve Ultralytics çıkarım hattının kullandığı diğer bilgileri içerir.

Dışa Aktarılan YOLO DEEPX Modellerini Dağıtma#

Ultralytics YOLO modelini DEEPX biçimine başarıyla aktardıktan sonraki adım, bu modelleri DEEPX NPU donanımına dağıtmaktır.

Çalışma Zamanı Kurulumu#

Çıkarım için DEEPX NPU sürücüsü (v2.7.0 veya daha yeni), DX-RT çalışma zamanı (v3.5.0 veya daha yeni), NPU ürün yazılımı v2.7.6 veya daha yeni ve dx_engine Python paketi gerekir. Bunlar, DX-COM 2.5.0 ile derlenen modelleri çalıştırmak için gereken sürümlerdir.

NPU sürücüsünü ve libdxrt-bin çalışma zamanı paketini aşağıdaki seçeneklerden biriyle yükle.

Seçenek A: GitHub Sürüm Paketlerinden Yükleme#

Sürücüyü ve çalışma zamanı .deb paketlerini DEEPX-AI GitHub depolarından indirip yükle. Çalışma zamanı paketi, her CPU mimarisi için ayrı olarak sağlanır (amd64 veya arm64):

# Install the NPU driver and DX-RT runtime
sudo apt update
wget https://github.com/DEEPX-AI/dx_rt_npu_linux_driver/raw/main/release/2.7.0/dxrt-driver-dkms_2.7.0-2_all.deb
sudo apt install ./dxrt-driver-dkms_2.7.0-2_all.deb
wget https://github.com/DEEPX-AI/dx_rt/raw/main/release/3.5.0/libdxrt-bin_3.5.0_$(dpkg --print-architecture).deb
sudo apt install ./libdxrt-bin_3.5.0_$(dpkg --print-architecture).deb

Seçenek B: DEEPX apt Deposundan Yükleme#

DEEPX apt deposunu bir kez kaydet, ardından sürücüyü ve çalışma zamanını apt ile yükleyip yükselt:

# Add the DEEPX apt repository
wget -O - https://apt.releases.deepx.ai/gpg | sudo gpg --dearmor -o /usr/share/keyrings/deepx-archive-keyring.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/deepx-archive-keyring.gpg] https://apt.releases.deepx.ai $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}") main" | sudo tee /etc/apt/sources.list.d/deepx.list

# Install the NPU driver and DX-RT runtime
sudo apt update
sudo apt install dxrt-driver-dkms libdxrt-bin

Yeni çekirdek modülünün dxcli çalıştırılmadan önce yüklenmesi için sürücüyü yükledikten sonra ana makineyi yeniden başlat.

Python Paketi ve Ürün Yazılımı#

libdxrt-bin, dx_engine wheel paketlerini /usr/share/libdxrt-bin/python/ içinde Python 3.8–3.14 için bir araya getirir ancak bunları yüklemez. Ultralytics ve NumPy'nin yüklü olduğu ortamda, Python sürümünle eşleşen wheel paketini yükle:

python -m pip install --upgrade --no-index --find-links /usr/share/libdxrt-bin/python dx_engine

DX-RT 3.5.0 için NPU ürün yazılımı v2.7.6 veya daha yeni bir sürüm gerekir. dxcli -s ile ürün yazılımı sürümünü ve cihaz kimliğini kontrol et; daha eskiyse modülüne uygun ürün yazılımı imajıyla güncelle. DX-M1 ve DX-M1M M.2 modülleri farklı ürün yazılımı imajları kullanır; bu nedenle yalnızca modülüne uygun olanı indir. dxcli -s, cihaz bilgilerinde modülü M1 veya M1M olarak gösterir:

# Download the firmware image matching your module (DX-M1 shown)
wget -O dx-m1-2.7.6.bin https://github.com/DEEPX-AI/dx_fw/raw/main/m1/2.7.6/mdot2/fw.bin
# wget -O dx-m1m-2.7.6.bin https://github.com/DEEPX-AI/dx_fw/raw/main/m1m/2.7.6/mdot2/fw.bin # DX-M1M

# Update the selected device; replace DEVICE_ID with its ID from dxcli -s
sudo systemctl stop dxrt.service
dxcli -d DEVICE_ID -u dx-m1-2.7.6.bin # for DX-M1M use dx-m1m-2.7.6.bin instead

Ürün yazılımını yükledikten sonra, ürün yazılımı sürümünü kontrol etmeden önce ana makineyi tamamen kapatıp yeniden aç. Gücü fiziksel olarak kesmek mümkün değilse ana makineyi DEEPX sorun giderme kılavuzunda açıklandığı şekilde yeniden başlat.

Kurulumu dxcli -s ile doğrula; bu araç her cihazın çalışma zamanı, sürücü ve ürün yazılımı sürümlerini bildirir. import dx_engine, dx_engine wheel paketiyle yüklü libdxrt çalışma zamanı sürümleri farklıysa RuntimeError hatası verir; bu nedenle çalışma zamanını yükselttikten sonra /usr/share/libdxrt-bin/python/ konumundaki wheel paketini yeniden yükle.

Çalışma zamanı yüklendikten sonra, yukarıdaki Kullanım bölümünde gösterildiği gibi DEEPX cihazında çıkarım ve doğrulamayı çalıştır; dışa aktarılan _deepx_model, YOLO(...) ile doğrudan yüklenir.

Derlenmiş Modeli İnceleme#

DX-COM 2.5.0, DX-TRON grafik görselleştiricisinin yerine derlenmiş model yapısını ve CPU/NPU iş yükü dağılımını gösteren etkileşimli bir HTML Derleme Özeti Raporu sunar. Gerekirse, dışa aktarma işleminin yazdığı ara ONNX modelini x86-64 dışa aktarma ana makinesindeki dxcom CLI ile yeniden derleyerek raporu oluştur:

dxcom -m yolo26n.onnx -c yolo26n_deepx_model/config.json -o yolo26n_deepx_report --export_html

Raporu görüntülemek için yolo26n_deepx_report/yolo26n_summary.html dosyasını bir tarayıcıda aç.

Kıyaslamalar#

Ultralytics ekibi, PyTorch ve DEEPX arasındaki hız ve doğruluğu karşılaştırarak YOLO26 modellerini kıyasladı.

Performans

Raspberry Pi 5 + DX-M1 M.2 ModülüYakında daha fazla cihaz!

Model	Biçim	Durum	Boyut (MB)	metrics/mAP50-95(B)	Çıkarım süresi (ms/im)
YOLO26n	PyTorch	✅	5.3	0.4760	315.2
YOLO26n	DEEPX	✅	6.6	0.4660	34.6
YOLO26n-seg	PyTorch	✅	6.5	0.4080	485.4
YOLO26n-seg	DEEPX	✅	7.9	0.3920	53.8
YOLO26n-pose	PyTorch	✅	7.6	0.4230	506.3
YOLO26n-pose	DEEPX	✅	8.8	0.4590	37.6
YOLO26n-obb	PyTorch	✅	5.7	0.817	1094.4
YOLO26n-obb	DEEPX	✅	7.3	0.783	56.4

Model	Biçim	Durum	Boyut (MB)	acc (top1)	acc (top5)	Çıkarım süresi (ms/im)
YOLO26n-cls	PyTorch	✅	5.6	0.431	0.716	23.8
YOLO26n-cls	DEEPX	✅	5.9	0.333	0.686	2.7

Not

Yukarıdaki kıyaslamaların doğrulaması; algılama için COCO128, segmentasyon için COCO128-seg, sınıflandırma için ImageNet100, poz tahmini için COCO8-pose ve OBB modelleri için DOTA128 kullanılarak yapıldı. Çıkarım süresine ön/son işleme dahil değildir.

sudo nano /boot/firmware/config.txt

dtparam=pciex1
dtparam=pciex1_gen=3

sudo reboot

sudo lspci -vvv | grep -iA 33 accelerators | grep -E "LnkCap|LnkSta"

Önerilen İş Akışı#

1. Ultralytics Train Mode ile modelini eğit
2. model.export(format="deepx") kullanarak DEEPX biçimine aktar
3. Nicemleme kaybının en aza indirildiğini doğrulamak için yolo val ile doğruluğu doğrula
4. Nitel doğrulama için yolo predict kullanarak tahmin yap
5. Dışa aktarılan _deepx_model/ dizinini, dx_engine çalışma zamanını kullanarak DEEPX NPU donanımına dağıt

Gerçek Dünya Uygulamaları#

DEEPX NPU donanımına dağıtılan YOLO modelleri, çok çeşitli uç yapay zekâ uygulamaları için uygundur:

• Akıllı Gözetim: Güvenlik ve izleme sistemleri için düşük güç tüketimiyle ve buluta bağlı olmadan gerçek zamanlı nesne tespiti.
• Endüstriyel Otomasyon: Fabrika ortamlarında cihaz üzerinde kalite kontrolü, kusur tespiti ve süreç izleme.
• Robotik: Otonom robotlarda ve dronlarda görüntü tabanlı navigasyon, engellerden kaçınma ve nesne tanıma.
• Akıllı Tarım: Tarımda bilgisayarlı görü kullanarak ürün sağlığını izleme, zararlı tespiti ve verim tahmini.
• Perakende Analitiği: Gerçek zamanlı uç çıkarımıyla müşteri akışı analizi, raf izleme ve envanter takibi.

Özet#

Bu kılavuzda, Ultralytics YOLO modellerini DEEPX biçimine nasıl aktaracağını ve DEEPX NPU donanımına nasıl dağıtacağını öğrendin. Dışa aktarma hattı, donanım için optimize edilmiş bir .dxnn ikili dosyası oluşturmak üzere INT8 kalibrasyonu ve dx_com derleyicisini kullanırken, dx_engine çalışma zamanı cihazda çıkarımı gerçekleştirir.

Ultralytics YOLO ile DEEPX NPU'ları birlikte, gerçek zamanlı uygulamalarda yüksek iş hacmi ve düşük güç tüketimiyle gömülü ve uç aygıtlarda bilgisayarlı görü iş yüklerini çalıştırır.

Kullanım hakkında daha fazla bilgi için DEEPX'in resmî web sitesini ziyaret et.

Sık Sorulan Sorular#