Ultralytics YOLO Modelleri için ST Edge AI Dışa Aktarımı
Ultralytics YOLO modellerini format="stedgeai" ile, STM32 mikrodenetleyiciler için sinir ağlarını derleyen ve Neural-ART hızlandırıcısına sahip STM32N6'yı da destekleyen STMicroelectronics araç zinciri ST Edge AI Core için uygun bir ONNX modeline aktar. Dışa aktarma, varsayılan olarak kayan noktalı bir model ve quantize=8 ile tamamen niceleme uygulanmış bir INT8 modeli oluşturur. Ultralytics, her iki dosyayı da bilgisayarında yolo predict ve yolo val ile çalıştırır; böylece cihaz için derlemeden önce doğruluğu ölçebilirsin.
Ultralytics, bu modelleri bilgisayarda ONNX Runtime ile doğrular; STMicroelectronics ise yedi görevin tamamının INT8 dışa aktarımlarını ST Edge AI Core ile STM32N6 için derlemiştir. STM32 kartında doğruluğu, gecikmeyi ve belleği ölçmek ST araçlarıyla yapacağın işlemlerdir; STM32'ye Dağıtım sayfasına bak.
Neden Özel Bir ST Edge AI Biçimi?#
Mikrodenetleyiciler INT8 modellerini çalıştırır ve standart bir ONNX dışa aktarımına uçtan uca iyi niceleme uygulanmaz:
- Tek bir çıktıda karışık aralıklar. YOLO algılama başlığı, kutu koordinatlarını piksel cinsinden (
0ile640civarı) ve sınıf skorlarını (0ile1) tek bir tensörde birleştirir. INT8 niceleme bu tensöre tek bir ölçek verir, bu nedenle skorlar çözünürlüklerinin neredeyse tamamını kaybeder. ST Edge AI dışa aktarımı, kutu ve kilit noktası koordinatlarını giriş boyutuna göre[0, 1]değerine normalize eder; bu, Ultralytics'in Edge TPU için kullandığı normalizasyonla aynıdır ve böylece tüm grafik nicelemeye uygun hale gelir. - Büyük, yoğun çıktılar. Anlamsal segmentasyon ve derinlik modelleri genellikle grafik içinde giriş çözünürlüğüne yükseltilir. ST Edge AI dışa aktarımı bu yükseltmeden önce durur; böylece anlamsal segmentasyonun çıktı arabelleği 64 kat, derinliğin çıktı arabelleği 16 kat küçülür ve derinlik, INT8 düzeylerinin eşit aralıklarla dağıtıldığı logaritmik alanda tutulur.
- Grafik içinde son işlem. Gömülü NMS ve YOLO26'nın NMS içermeyen başlığı, başlıktan sonra TopK ve gather işleçleri ekler. Dışa aktarma bunları dışarıda bırakır ve her zaman ham tahminleri döndürür; böylece NMS uygulamanda çalışır.
Bunun yerine standart yerleşimi (piksel koordinatları, tam çözünürlüklü haritalar, isteğe bağlı gömülü NMS) istiyorsan ONNX dışa aktarımını kullan.
Desteklenen Görevler#
Tüm Ultralytics YOLO görevleri ana makinede dışa aktarılır ve çalıştırılır. Çıktı şekilleri imgsz=640 içindir:
| Görev | Çıktı |
|---|---|
| Algılama | [1, 4 + nc, 8400]: [0, 1] değerine normalize edilmiş kutular, sınıf skorları |
| Örnek Segmentasyonu | [1, 4 + nc + 32, 8400], [0, 1] değerine normalize edilmiş kutular ve [1, 32, 160, 160] maske prototipleriyle |
| Anlamsal Segmentasyon | 1/8 çözünürlükte [1, nc, 80, 80] sınıf logitleri; yükselt, ardından piksel başına argmax değerini al |
| Derinlik Tahmini | 1/4 çözünürlükte [1, 1, 160, 160] log-derinliği; metrik derinlik için exp(x) uygula, ardından yükselt |
| Sınıflandırma | [1, nc] sınıf olasılıkları |
| Poz Tahmini | [1, 4 + nc + nk, 8400]: [0, 1] değerine normalize edilmiş kutular ve kilit noktaları |
| Yönelimli Algılama | [1, 4 + nc + 1, 8400]: [0, 1] değerine normalize edilmiş kutular, radyan cinsinden açı; kare imgsz gerektirir |
RT-DETR ve YOLO-NAS modelleri desteklenmez.
Kullanım#
from ultralytics import YOLO
# YOLO26 modelini yükle
model = YOLO("yolo26n.pt")
# Kayan noktalı bir modeli dışa aktar
model.export(format="stedgeai") # 'yolo26n_stedgeai.onnx' dosyasını oluşturur
# COCO8 üzerinde kalibre edilmiş bir INT8 modelini dışa aktar
model.export(format="stedgeai", quantize=8, data="coco8.yaml") # 'yolo26n_int8_stedgeai.onnx' dosyasını oluştururfrom ultralytics import YOLO
# Dışa aktarılan ST Edge AI modelini yükle
model = YOLO("yolo26n_int8_stedgeai.onnx")
# Çıkarımı çalıştır
results = model("https://ultralytics.com/images/bus.jpg")
# COCO8 veri kümesinde INT8 doğruluğunu ölç
metrics = model.val(data="coco8.yaml")Her dışa aktarma bir dosya oluşturur. Ultralytics, ST Edge AI modellerini _stedgeai.onnx uzantısından tanır; ardından koordinatları yeniden piksele ölçekler, anlamsal ve derinlik haritalarını yükseltir ve log-derinliği metrik derinliğe dönüştürür. Dosyayı yeniden adlandırırken bu uzantıyı koru; standart bir .onnx adı, standart ONNX modeli olarak yüklenir ve kutuları [0, 1] cinsinden döndürür.
Dışa Aktarma Bağımsız Değişkenleri#
| Bağımsız değişken | Tür | Varsayılan | Açıklama |
|---|---|---|---|
format | str | 'stedgeai' | Dışa aktarılan modelin hedef biçimi. |
imgsz | int veya tuple | 640 | Model giriş boyutu; kare görüntüler için tam sayı, ya da (height, width) demeti olarak belirtilir. Modelin sabit toplu iş boyutu 1'dir ve şekilleri statiktir. OBB modelleri kare bir imgsz gerektirir. |
quantize | int veya str | None | Hassasiyet. Belirtilmezse veya 32 ise kayan noktalı model oluşturur; 8 ise INT8 modeli oluşturur. |
data | str | None | INT8 kalibrasyonu için kullanılan veri kümesi: bir veri kümesi YAML dosyası ya da sınıflandırma için bir veri kümesi dizini veya yerleşik veri kümesi adı. Belirtilmezse quantize=8, algılama için coco8.yaml gibi görevin varsayılan veri kümesini kullanır. |
fraction | float | 1.0 | Kullanılacak kalibrasyon veri kümesi oranı. |
opset | int | None | ONNX opset'i. Varsayılan olarak PyTorch sürümünün güvenilir biçimde dışa aktardığı en yeni opset kullanılır. |
simplify | bool | True | ONNX grafiğini onnxslim ile sadeleştirir. |
device | str | None | Dışa aktarma için kullanılan cihaz: GPU (device=0) veya CPU (device=cpu). |
batch ve dynamic=True reddedilir; nms=True ise bir uyarıyla ham çıktılara geri döner.
INT8 Kuantizasyonu#
quantize=8 ile Ultralytics, modeli ONNX Runtime statik nicelemesiyle; ST Edge AI Core'un önerdiği ve STM32 AI Model Zoo Services tarafından uygulanan şemayı kullanarak nicelemeye tabi tutar:
- Kayan noktalı model girişleri ve çıkışları içeren QDQ (QuantizeLinear/DequantizeLinear) biçimi.
- İşaretli, simetrik, kanal başına INT8 ağırlıkları ve işaretli, asimetrik INT8 aktivasyonları.
- Ultralytics doğrulaması sırasındakiyle tam olarak aynı ön işleme uygulanmış
datagörüntüleri üzerinde MinMax kalibrasyonu.
Başlığı kayan noktalı bırakan standart ONNX quantize=8 dışa aktarımından farklı olarak her işlece niceleme uygulanır. Bunun yerine ST araçlarıyla niceleme yapmak için kayan noktalı modeli dışa aktar ve STM32 AI Model Zoo Services'e ilet.
INT8 doğruluğu, kalibrasyon görüntülerinin dağıtım sahnesiyle ne kadar eşleştiğine bağlıdır. data= için en az 300 temsili görüntü içeren bir veri kümesi ver; varsayılan kalibrasyon veri kümeleri yalnızca birkaç herkese açık örnek içerir.
Aşağıdaki tablo, YOLO26n'yi her modelin varsayılan imgsz boyutunda (640; anlamsal segmentasyonda 1024; derinlikte 768), aynı görüntüler üzerinde kalibre edilmiş küçük varsayılan doğrulama veri kümelerinde karşılaştırır. Bu veri kümelerinin her biri 4 ila 8 görüntü içerir; bu nedenle sayıları hangi görevlerin INT8'e duyarlı olduğuna dair bir gösterge olarak değerlendir ve kendi modelini yolo val ile ölç.
| Görev | Ölçüt | ONNX kayan noktalı | ST Edge AI kayan noktalı | ST Edge AI INT8 |
|---|---|---|---|---|
| Detect | mAP50-95 | 0.686 | 0.686 | 0.639 |
| Segment | kutu / maske mAP50-95 | 0.638 / 0.540 | 0.638 / 0.540 | 0.356 / 0.401 |
| Anlamsal | mIoU | 0.610 | 0.610 | 0.609 |
| Derinlik | delta1 | 0.852 | 0.852 | 0.840 |
| Poz | kutu / poz mAP50-95 | 0.697 / 0.459 | 0.697 / 0.459 | 0.650 / 0.267 |
| OBB | mAP50-95 | 0.894 | 0.894 | 0.806 |
Kayan noktalı dışa aktarım, her görevde standart ONNX dışa aktarımıyla aynı sonucu verir. Örnek segmentasyonu ve poz, tüm grafiğe INT8 nicelemesi uygulandığında doğruluk bakımından en çok kayıp yaşar; bunun nedeni, maske katsayılarının ve kilit noktalarının kutularla aynı çıktı ölçeğini paylaşmasıdır. Dağıtımdan önce bu iki görevi kendi verilerinle dikkatlice doğrula.
STM32'ye dağıtım#
-
Modeli, cihazda çalıştıracağın
imgszboyutundaformat="stedgeai"ile dışa aktar. -
Kayan noktalı ve INT8 modellerini, veri kümen üzerinde
yolo valile doğrula. -
Modeli ST Edge AI Core ile derle. Aşağıdaki komutlar ST Edge AI Core komut satırı belgelerini ve Neural-ART başlangıç kılavuzunu izler; bellek profilleri ve giriş seçenekleri için bu kaynaklara bak.
# Report the model's memory and operator usage for an STM32 target stedgeai analyze -m yolo26n_int8_stedgeai.onnx --target stm32 # Generate the C model for an STM32N6 with the Neural-ART accelerator stedgeai generate -m yolo26n_int8_stedgeai.onnx --target stm32n6 --st-neural-art -
Oluşturulan modeli STM32 uygulamana dağıt. STM32 AI Model Zoo Services, STM32N6 üzerinde Ultralytics YOLO modellerini kullanmak için uygulama kodu ve öğreticiler sağlar.
Dışa aktarılan modeli Ultralytics dışında okuyan kod (örneğin cihazda çalışan C son işlem kodu), kutu ve kilit noktası x ve w değerlerini giriş genişliğiyle, y ve h değerlerini giriş yüksekliğiyle çarpmalı, NMS çalıştırmalı, argmax işleminden önce anlamsal logitleri yükseltmeli ve derinlik çıktısını yükseltmeden önce exp uygulamalıdır. Eğitim, dışa aktarma ve dağıtım sırasında imgsz değerini aynı tut.
Sık Sorulan Sorular#
INT8 modeli
yolo26n_int8_stedgeai.onnxolarak oluşturmak içinyolo export model=yolo26n.pt format=stedgeai quantize=8 data=coco8.yamlkomutunu çalıştır veya kayan noktalı modeliyolo26n_stedgeai.onnxolarak oluşturmak içinquantize=8seçeneğini çıkar. Ardından dosyayı STM32'ye Dağıtım bölümünde gösterildiği gibi ST Edge AI Core ile derle.ST Edge AI dışa aktarımı, kutu ve kilit noktası koordinatlarını giriş boyutuna göre normalize ederek sınıf skorlarıyla aynı
[0, 1]aralığına getirir; bu sayede tüm grafiğe INT8 nicelemesi uygulanabilir. Piksel koordinatlarına dönmek içinxvewdeğerlerini giriş genişliğiyle,yvehdeğerlerini giriş yüksekliğiyle çarp. Ultralytics,_stedgeai.onnxmodelini yüklediğinde bunu otomatik olarak yapar.Hayır. Dışa aktarma her zaman ham tahminleri döndürür; bu nedenle uygulamanda NMS çalıştır veya STM32 AI Model Zoo Services'teki son işlemeyi kullan.
Standart ONNX dışa aktarımı, piksel koordinatlarını ve tam çözünürlüklü anlamsal ve derinlik haritalarını döndürür, NMS'yi gömebilir ve
quantize=8ile yalnızca evrişim ve matris çarpımı katmanlarını nicelemeye tabi tutar. ST Edge AI dışa aktarımı normalize edilmiş koordinatları, düşük çözünürlüklü anlamsal logitleri ve log-derinliği döndürür; sabit toplu iş boyutu 1'dir, NMS'yi hiçbir zaman gömmez vequantize=8ile tüm grafiği nicelemeye tabi tutar.Evet.
yolo val model=yolo26n_int8_stedgeai.onnx data=coco8.yaml, niceleme uygulanmış modeli bilgisayarında ONNX Runtime ile çalıştırır ve diğer Ultralytics modelleriyle aynı metrikleri raporlar. Cihazdaki doğruluk yine de biraz farklı olabilir; bu nedenle derlemeden sonra ST araçlarıyla doğrula.
Yorumlar
Bir soru sor, sonuçlarını paylaş veya başka birine yardım et.