Başla

Ultralytics YOLO Modelleri için ST Edge AI Dışa Aktarımı

Ultralytics YOLO modellerini format="stedgeai" ile, STM32 mikrodenetleyiciler için sinir ağlarını derleyen ve Neural-ART hızlandırıcısına sahip STM32N6'yı da destekleyen STMicroelectronics araç zinciri ST Edge AI Core için uygun bir ONNX modeline aktar. Dışa aktarma, varsayılan olarak kayan noktalı bir model ve quantize=8 ile tamamen niceleme uygulanmış bir INT8 modeli oluşturur. Ultralytics, her iki dosyayı da bilgisayarında yolo predict ve yolo val ile çalıştırır; böylece cihaz için derlemeden önce doğruluğu ölçebilirsin.

Ana makinede doğrulandı

Ultralytics, bu modelleri bilgisayarda ONNX Runtime ile doğrular; STMicroelectronics ise yedi görevin tamamının INT8 dışa aktarımlarını ST Edge AI Core ile STM32N6 için derlemiştir. STM32 kartında doğruluğu, gecikmeyi ve belleği ölçmek ST araçlarıyla yapacağın işlemlerdir; STM32'ye Dağıtım sayfasına bak.

Neden Özel Bir ST Edge AI Biçimi?#

Mikrodenetleyiciler INT8 modellerini çalıştırır ve standart bir ONNX dışa aktarımına uçtan uca iyi niceleme uygulanmaz:

  • Tek bir çıktıda karışık aralıklar. YOLO algılama başlığı, kutu koordinatlarını piksel cinsinden (0 ile 640 civarı) ve sınıf skorlarını (0 ile 1) tek bir tensörde birleştirir. INT8 niceleme bu tensöre tek bir ölçek verir, bu nedenle skorlar çözünürlüklerinin neredeyse tamamını kaybeder. ST Edge AI dışa aktarımı, kutu ve kilit noktası koordinatlarını giriş boyutuna göre [0, 1] değerine normalize eder; bu, Ultralytics'in Edge TPU için kullandığı normalizasyonla aynıdır ve böylece tüm grafik nicelemeye uygun hale gelir.
  • Büyük, yoğun çıktılar. Anlamsal segmentasyon ve derinlik modelleri genellikle grafik içinde giriş çözünürlüğüne yükseltilir. ST Edge AI dışa aktarımı bu yükseltmeden önce durur; böylece anlamsal segmentasyonun çıktı arabelleği 64 kat, derinliğin çıktı arabelleği 16 kat küçülür ve derinlik, INT8 düzeylerinin eşit aralıklarla dağıtıldığı logaritmik alanda tutulur.
  • Grafik içinde son işlem. Gömülü NMS ve YOLO26'nın NMS içermeyen başlığı, başlıktan sonra TopK ve gather işleçleri ekler. Dışa aktarma bunları dışarıda bırakır ve her zaman ham tahminleri döndürür; böylece NMS uygulamanda çalışır.

Bunun yerine standart yerleşimi (piksel koordinatları, tam çözünürlüklü haritalar, isteğe bağlı gömülü NMS) istiyorsan ONNX dışa aktarımını kullan.

Desteklenen Görevler#

Tüm Ultralytics YOLO görevleri ana makinede dışa aktarılır ve çalıştırılır. Çıktı şekilleri imgsz=640 içindir:

GörevÇıktı
Algılama[1, 4 + nc, 8400]: [0, 1] değerine normalize edilmiş kutular, sınıf skorları
Örnek Segmentasyonu[1, 4 + nc + 32, 8400], [0, 1] değerine normalize edilmiş kutular ve [1, 32, 160, 160] maske prototipleriyle
Anlamsal Segmentasyon1/8 çözünürlükte [1, nc, 80, 80] sınıf logitleri; yükselt, ardından piksel başına argmax değerini al
Derinlik Tahmini1/4 çözünürlükte [1, 1, 160, 160] log-derinliği; metrik derinlik için exp(x) uygula, ardından yükselt
Sınıflandırma[1, nc] sınıf olasılıkları
Poz Tahmini[1, 4 + nc + nk, 8400]: [0, 1] değerine normalize edilmiş kutular ve kilit noktaları
Yönelimli Algılama[1, 4 + nc + 1, 8400]: [0, 1] değerine normalize edilmiş kutular, radyan cinsinden açı; kare imgsz gerektirir

RT-DETR ve YOLO-NAS modelleri desteklenmez.

Kullanım#

Dışa aktar
from ultralytics import YOLO

# YOLO26 modelini yükle
model = YOLO("yolo26n.pt")

# Kayan noktalı bir modeli dışa aktar
model.export(format="stedgeai")  # 'yolo26n_stedgeai.onnx' dosyasını oluşturur

# COCO8 üzerinde kalibre edilmiş bir INT8 modelini dışa aktar
model.export(format="stedgeai", quantize=8, data="coco8.yaml")  # 'yolo26n_int8_stedgeai.onnx' dosyasını oluşturur
Ana makinede tahmin et ve doğrula
from ultralytics import YOLO

# Dışa aktarılan ST Edge AI modelini yükle
model = YOLO("yolo26n_int8_stedgeai.onnx")

# Çıkarımı çalıştır
results = model("https://ultralytics.com/images/bus.jpg")

# COCO8 veri kümesinde INT8 doğruluğunu ölç
metrics = model.val(data="coco8.yaml")

Her dışa aktarma bir dosya oluşturur. Ultralytics, ST Edge AI modellerini _stedgeai.onnx uzantısından tanır; ardından koordinatları yeniden piksele ölçekler, anlamsal ve derinlik haritalarını yükseltir ve log-derinliği metrik derinliğe dönüştürür. Dosyayı yeniden adlandırırken bu uzantıyı koru; standart bir .onnx adı, standart ONNX modeli olarak yüklenir ve kutuları [0, 1] cinsinden döndürür.

Dışa Aktarma Bağımsız Değişkenleri#

Bağımsız değişkenTürVarsayılanAçıklama
formatstr'stedgeai'Dışa aktarılan modelin hedef biçimi.
imgszint veya tuple640Model giriş boyutu; kare görüntüler için tam sayı, ya da (height, width) demeti olarak belirtilir. Modelin sabit toplu iş boyutu 1'dir ve şekilleri statiktir. OBB modelleri kare bir imgsz gerektirir.
quantizeint veya strNoneHassasiyet. Belirtilmezse veya 32 ise kayan noktalı model oluşturur; 8 ise INT8 modeli oluşturur.
datastrNoneINT8 kalibrasyonu için kullanılan veri kümesi: bir veri kümesi YAML dosyası ya da sınıflandırma için bir veri kümesi dizini veya yerleşik veri kümesi adı. Belirtilmezse quantize=8, algılama için coco8.yaml gibi görevin varsayılan veri kümesini kullanır.
fractionfloat1.0Kullanılacak kalibrasyon veri kümesi oranı.
opsetintNoneONNX opset'i. Varsayılan olarak PyTorch sürümünün güvenilir biçimde dışa aktardığı en yeni opset kullanılır.
simplifyboolTrueONNX grafiğini onnxslim ile sadeleştirir.
devicestrNoneDışa aktarma için kullanılan cihaz: GPU (device=0) veya CPU (device=cpu).

batch ve dynamic=True reddedilir; nms=True ise bir uyarıyla ham çıktılara geri döner.

INT8 Kuantizasyonu#

quantize=8 ile Ultralytics, modeli ONNX Runtime statik nicelemesiyle; ST Edge AI Core'un önerdiği ve STM32 AI Model Zoo Services tarafından uygulanan şemayı kullanarak nicelemeye tabi tutar:

  • Kayan noktalı model girişleri ve çıkışları içeren QDQ (QuantizeLinear/DequantizeLinear) biçimi.
  • İşaretli, simetrik, kanal başına INT8 ağırlıkları ve işaretli, asimetrik INT8 aktivasyonları.
  • Ultralytics doğrulaması sırasındakiyle tam olarak aynı ön işleme uygulanmış data görüntüleri üzerinde MinMax kalibrasyonu.

Başlığı kayan noktalı bırakan standart ONNX quantize=8 dışa aktarımından farklı olarak her işlece niceleme uygulanır. Bunun yerine ST araçlarıyla niceleme yapmak için kayan noktalı modeli dışa aktar ve STM32 AI Model Zoo Services'e ilet.

Kendi verilerinle kalibrasyon yap

INT8 doğruluğu, kalibrasyon görüntülerinin dağıtım sahnesiyle ne kadar eşleştiğine bağlıdır. data= için en az 300 temsili görüntü içeren bir veri kümesi ver; varsayılan kalibrasyon veri kümeleri yalnızca birkaç herkese açık örnek içerir.

Aşağıdaki tablo, YOLO26n'yi her modelin varsayılan imgsz boyutunda (640; anlamsal segmentasyonda 1024; derinlikte 768), aynı görüntüler üzerinde kalibre edilmiş küçük varsayılan doğrulama veri kümelerinde karşılaştırır. Bu veri kümelerinin her biri 4 ila 8 görüntü içerir; bu nedenle sayıları hangi görevlerin INT8'e duyarlı olduğuna dair bir gösterge olarak değerlendir ve kendi modelini yolo val ile ölç.

GörevÖlçütONNX kayan noktalıST Edge AI kayan noktalıST Edge AI INT8
DetectmAP50-950.6860.6860.639
Segmentkutu / maske mAP50-950.638 / 0.5400.638 / 0.5400.356 / 0.401
AnlamsalmIoU0.6100.6100.609
Derinlikdelta10.8520.8520.840
Pozkutu / poz mAP50-950.697 / 0.4590.697 / 0.4590.650 / 0.267
OBBmAP50-950.8940.8940.806

Kayan noktalı dışa aktarım, her görevde standart ONNX dışa aktarımıyla aynı sonucu verir. Örnek segmentasyonu ve poz, tüm grafiğe INT8 nicelemesi uygulandığında doğruluk bakımından en çok kayıp yaşar; bunun nedeni, maske katsayılarının ve kilit noktalarının kutularla aynı çıktı ölçeğini paylaşmasıdır. Dağıtımdan önce bu iki görevi kendi verilerinle dikkatlice doğrula.

STM32'ye dağıtım#

  1. Modeli, cihazda çalıştıracağın imgsz boyutunda format="stedgeai" ile dışa aktar.

  2. Kayan noktalı ve INT8 modellerini, veri kümen üzerinde yolo val ile doğrula.

  3. Modeli ST Edge AI Core ile derle. Aşağıdaki komutlar ST Edge AI Core komut satırı belgelerini ve Neural-ART başlangıç kılavuzunu izler; bellek profilleri ve giriş seçenekleri için bu kaynaklara bak.

    # Report the model's memory and operator usage for an STM32 target
    stedgeai analyze -m yolo26n_int8_stedgeai.onnx --target stm32
    
    # Generate the C model for an STM32N6 with the Neural-ART accelerator
    stedgeai generate -m yolo26n_int8_stedgeai.onnx --target stm32n6 --st-neural-art
  4. Oluşturulan modeli STM32 uygulamana dağıt. STM32 AI Model Zoo Services, STM32N6 üzerinde Ultralytics YOLO modellerini kullanmak için uygulama kodu ve öğreticiler sağlar.

Çıktılar son işlem gerektirir

Dışa aktarılan modeli Ultralytics dışında okuyan kod (örneğin cihazda çalışan C son işlem kodu), kutu ve kilit noktası x ve w değerlerini giriş genişliğiyle, y ve h değerlerini giriş yüksekliğiyle çarpmalı, NMS çalıştırmalı, argmax işleminden önce anlamsal logitleri yükseltmeli ve derinlik çıktısını yükseltmeden önce exp uygulamalıdır. Eğitim, dışa aktarma ve dağıtım sırasında imgsz değerini aynı tut.

Sık Sorulan Sorular#

  • INT8 modeli yolo26n_int8_stedgeai.onnx olarak oluşturmak için yolo export model=yolo26n.pt format=stedgeai quantize=8 data=coco8.yaml komutunu çalıştır veya kayan noktalı modeli yolo26n_stedgeai.onnx olarak oluşturmak için quantize=8 seçeneğini çıkar. Ardından dosyayı STM32'ye Dağıtım bölümünde gösterildiği gibi ST Edge AI Core ile derle.

  • ST Edge AI dışa aktarımı, kutu ve kilit noktası koordinatlarını giriş boyutuna göre normalize ederek sınıf skorlarıyla aynı [0, 1] aralığına getirir; bu sayede tüm grafiğe INT8 nicelemesi uygulanabilir. Piksel koordinatlarına dönmek için x ve w değerlerini giriş genişliğiyle, y ve h değerlerini giriş yüksekliğiyle çarp. Ultralytics, _stedgeai.onnx modelini yüklediğinde bunu otomatik olarak yapar.

  • Hayır. Dışa aktarma her zaman ham tahminleri döndürür; bu nedenle uygulamanda NMS çalıştır veya STM32 AI Model Zoo Services'teki son işlemeyi kullan.

  • Standart ONNX dışa aktarımı, piksel koordinatlarını ve tam çözünürlüklü anlamsal ve derinlik haritalarını döndürür, NMS'yi gömebilir ve quantize=8 ile yalnızca evrişim ve matris çarpımı katmanlarını nicelemeye tabi tutar. ST Edge AI dışa aktarımı normalize edilmiş koordinatları, düşük çözünürlüklü anlamsal logitleri ve log-derinliği döndürür; sabit toplu iş boyutu 1'dir, NMS'yi hiçbir zaman gömmez ve quantize=8 ile tüm grafiği nicelemeye tabi tutar.

  • Evet. yolo val model=yolo26n_int8_stedgeai.onnx data=coco8.yaml, niceleme uygulanmış modeli bilgisayarında ONNX Runtime ile çalıştırır ve diğer Ultralytics modelleriyle aynı metrikleri raporlar. Cihazdaki doğruluk yine de biraz farklı olabilir; bu nedenle derlemeden sonra ST araçlarıyla doğrula.

Katkıda Bulunanlar

Yorumlar

Bir soru sor, sonuçlarını paylaş veya başka birine yardım et.