Vitis AI ile Ultralytics YOLO için AMD Xilinx dışa aktarımı#

Ultralytics YOLO26 modellerini format="xilinx" ile dışa aktarmak, AMD Versal AI Edge Series Gen 2 uyarlanabilir SoC'lerdeki NPU için modelleri AMD Quark ile niceleyerek AMD'nin Vitis AI derleyicisinin .rai modeli oluşturmasına hazırlar. Aynı dışa aktarma, dağıtımdan önce INT8 doğruluğunu herhangi bir ana makinede doğrular.

AMD Xilinx cihazları, dünyanın dört bir yanındaki birçok endüstriyel kameraya, otomotiv görüş sistemine, robota, drone'a ve tıbbi görüntüleme ürününe güç veriyor. Arm işlemcilerini programlanabilir mantıkla ve daha yeni cihazlarda özel AI Engine'lerle birleştirdikleri için tek bir çip video yakalayabilir, videoyu ön işleyebilir, nesne algılama gerçekleştirebilir ve sonucu düşük, öngörülebilir bir çıkarım gecikmesiyle işleyebilir.

Bu rehberde AMD Xilinx dışa aktarımı, bunu Versal kartında derleme ve çalıştırma, her AMD Xilinx aygıt ailesinin ne olduğu, bunlarda yapay zekânın nasıl çalıştığı ve her hızlandırıcının hangi Ultralytics YOLO operatörlerini desteklediği ele alınır.

AMD Xilinx nedir?#

Xilinx, 1980'lerde sahada programlanabilir kapı dizisi (FPGA) alanını ortaya çıkardı ve uyarlanabilir SoC'ler ve FPGA'ler konusunda lider tedarikçilerden biri oldu. AMD, Xilinx'i Şubat 2022'de satın aldı ve ürün serileri artık AMD markası altında AMD Zynq, AMD Kria, AMD Versal ve AMD Vitis olarak satılıyor.

Temel Terimler ve Kavramlar#

AMD Xilinx dağıtımının kendine özgü bir terminolojisi vardır. Aşağıdaki tabloda bu kılavuzda kullanılan tüm terimler açıklanıyor.

Uç AI için AMD Xilinx Cihaz Aileleri#

Uç AI için AMD Xilinx cihazları üç aileye ayrılır. Zynq ve Kria, programlanabilir mantıkta DPU kullanırken burada ele alınan Versal AI Edge cihazları AI Engine'lerde NPU kullanır.

Zynq UltraScale+ MPSoC#

Her Zynq UltraScale+ çipi; çift çekirdekli (CG) veya dört çekirdekli (EG ve EV) Cortex-A53 çekirdekleri ve gerçek zamanlı Cortex-R5F çekirdeklerine sahip Arm işlem sistemini FPGA mantığıyla birleştirir. EV cihazları, donanım tabanlı H.264/H.265 video kod çözücü ekler. Sinir ağlarını çalıştırmak için tasarımcılar, kamera ve video işleme hatlarının yanına mantık içinde bir DPU yerleştirir. Küçük cihazlarda DPU, tasarımın geri kalanıyla alan için rekabet eder.

Kria Sistem Modülleri#

Kria K26 modülü, Zynq UltraScale+ MPSoC'yi bellek ve güç bileşenleriyle üretime hazır bir modülde bir araya getirir; böylece işlemciyi, belleği ve güç alt sistemini kendin tasarlamak zorunda kalmazsın. Modül, ister başlangıç kiti kartı ister kendi tasarımın olsun, bir taşıyıcı karta takılır. Akıllı kameralar için KV260 Vision AI Starter Kit, robotik içinse KR260 Robotics Starter Kit kitine güç verir. K26, Zynq UltraScale+ temelinde geliştirildiğinden aynı DPU iş akışını kullanır. Kria ürün portföyünde başka modüller de bulunur; bu nedenle iş akışını seçmeden önce modülünün hangi işlemciyi kullandığını kontrol et.

Versal Uyarlanabilir SoC'ler#

Versal, AMD'nin uyarlanabilir SoC ailesidir. AI Edge ve AI Core serileri, Arm çekirdeklerinin ve programlanabilir mantığın yanına donanım tabanlı AI Engine'ler eklerken bazı diğer Versal serilerinde AI Engine bulunmaz. AMD'nin NPU IP'si AI Engine'lerde ve programlanabilir mantıkta birlikte çalışır; Vitis AI ise AI Edge serisinin VE2302 ve VE2802 gibi AIE-ML bileşenlerini hedefler. Versal AI Edge Serisi (VEK280 değerlendirme kiti) ve Versal AI Edge Serisi Gen 2 (VEK385 değerlendirme kiti), AMD'nin uç AI için mevcut hedefleri ve güncel Vitis AI sürümlerinin odak noktalarıdır.

AMD Xilinx Cihazlarında AI Nasıl Çalışır: DPU ve NPU#

Çoğu AMD Xilinx AI dağıtımı aynı düzeni izler. Hızlandırıcı, desteklediği katmanları çalıştırır; Arm CPU ön işleme, son işleme ve hızlandırıcının çalıştıramadığı katmanları yürütür; karttaki bir çalışma zamanı ise bu ikisini koordine eder.

AMD iki nesil hızlandırıcı sundu ve her birinin kendine ait araç zinciri ile derlenmiş model dosyası var. Bu kılavuz, DPU için Vitis AI 3.5'i ve NPU için Vitis AI 6.3'ü temel alıyor; daha sonraki sürümler için AMD'nin güncel belgelerini kontrol et.

Hangi Vitis AI Akışına İhtiyacım Var?#

Kartındaki cihaza göre akışını seç:

AMD Xilinx'e dışa aktarma: YOLO modelini dönüştürme#

Desteklenen Görevler#

AMD Xilinx dışa aktarımı yedi Ultralytics görevinin tümünü destekler. Anlamsal segmentasyon ve derinlik tahmini yalnızca bu başlıkları içeren tek aile olan YOLO26'da kullanılabilir.

Kurulum#

AMD Xilinx dışa aktarımı, AMD Quark'ın desteklediği Python 3.11–3.13 sürümleriyle Linux'ta (x86-64 veya ARM64) çalışır. İlk dışa aktarma sırasında Quark'ın özel operatörleri de derlenir; bunun için g++ gibi bir C++ derleyicisi gerekir.

# Install the required package for YOLO
pip install ultralytics

AMD Quark, ilk dışa aktarma sırasında PyPI üzerinden otomatik olarak yüklenir. Dışa aktarma bağımlılıklarını önceden yüklemek için:

pip install "ultralytics[export-xilinx]"

Düzenlenebilir bir depo kurulumu için "ultralytics[export-xilinx]" yerine -e ".[export-base,export-xilinx]" kullan. CI tarafından kullanılan Python 3.12 ortamını ve hızlı dışa aktarma testini yeniden oluşturmak için mevcut ortam oluşturucuyu depo kök dizininden çalıştır:

ULTRALYTICS_ISOLATED_VENVS="$PWD/.venvs" python .github/scripts/create-export-env.py --env isolated-xilinx

Kullanım#

AMD Xilinx biçimi Dışa Aktar, Tahmin ve Doğrula modlarını destekler. AMD'nin Vitis AI Execution Provider'ı yoksa tahmin ve doğrulama, INT8 doğruluğunu herhangi bir ana makinede ölçmek için niceleştirilmiş modeli CPU'da ONNX Runtime ile çalıştırır. ONNX Runtime, Versal AI Edge Series Gen 2 kartında olduğu gibi VitisAIExecutionProvider sağladığında Ultralytics bunu otomatik olarak seçer.

from ultralytics import YOLO

# YOLO26 modelini yükle
model = YOLO("yolo26n.pt")

# VEK385 için AMD Xilinx biçimine dışa aktar (quantize=8 otomatik olarak zorunlu kılınır)
model.export(format="xilinx")  # creates 'yolo26n_xilinx_model/'

from ultralytics import YOLO

# Dışa aktarılan AMD Xilinx modelini yükle
model = YOLO("yolo26n_xilinx_model")

# Çıkarımı çalıştır
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Dışa aktarılan AMD Xilinx modelini yükle
model = YOLO("yolo26n_xilinx_model")

# COCO8 veri kümesinde INT8 doğruluğunu doğrula
metrics = model.val(data="coco8.yaml")

vitis, vitisai ve versal biçim adları, xilinx için kullanılan diğer adlardır.

Dışa Aktarma Bağımsız Değişkenleri#

YOLO26 NMS içermeyen başlığını dışa aktarmak için nms=False değerini ayarla. AMD, NonMaxSuppression'ı modelin tamamını CPU'ya yönlendirebilecek operatörler arasında listelediği için gömülü NMS (nms=True) desteklenmez.

Dışa aktarma süreci hakkında daha fazla bilgi için Ultralytics dışa aktarma belgeleri sayfasını ziyaret et.

Çıktı Yapısı#

Dışa aktarma başarıyla tamamlandıktan sonra aşağıdaki düzende bir model dizini oluşturulur:

yolo26n_xilinx_model/
├── yolo26n.onnx          # AMD Quark VINT8 model with the Ultralytics metadata
└── vitisai_config.json   # Vitis AI compiler configuration for the target device

Aşağıda açıklandığı şekilde modeli derlemek, aynı dizine yolo26n/ derleyici önbelleğini ekler; bu önbellek yolo26n.rai NPU modelini ve final-vaiml-pass-summary.txt gibi AMD derleme raporlarını içerir.

Dışa aktarma nasıl çalışır?#

Dışa aktarma, Versal AI Edge Series Gen 2 için AMD'nin belgelediği Vitis AI iş akışını izler:

1. ONNX dışa aktarımı, statik batch boyutu 1 olacak şekilde opset 17 kullanır.
2. AMD Quark nicelemesi, VINT8 yapılandırmasını (iki kuvveti ölçeklerine sahip simetrik INT8) ve AMD'nin NPU derlemesi için zorunlu tuttuğu Int32Bias=False, enable_npu_cnn=True, DedicatedQDQPair=True ve QuantizeAllOpTypes=True seçeneklerini kullanır. Kalibrasyonda standart Ultralytics INT8 kalibrasyon yükleyicisi kullanılır; ön işleme, çıkarımdakiyle aynı letterbox, RGB ve 0–1 işlemlerini uygular.
3. Karma hassasiyet: model başlığı kayan nokta biçiminde kalır ve Vitis AI derleyicisi bunu NPU'da BF16 olarak çalıştırır. Başlığın INT8'e niceleştirilmesi doğruluk kaybının büyük bölümüne neden olur; AMD'nin YOLOv8m öğreticisi de aynı nedenle son işleme kuyruğunu INT8 dışında tutar.
4. Derleyici yapılandırması: vitisai_config.json, name içindeki aygıtı ve VAIML hedefini seçer.

Doğruluk#

Tabloda, dışa aktarılan INT8 model ile FP32 ONNX modelinin COCO val2017 (5.000 görüntü) veri kümesindeki 640 boyutunda sonuçları karşılaştırılır; her ikisi de ana makinenin CPU'sunda ONNX Runtime ile çalıştırılmıştır. INT8 modeller, varsayılan coco128.yaml veri kümesiyle kalibre edilmiştir; kendi dağıtım görüntülerinle kalibrasyon yapmak genellikle aradaki farkı azaltır.

Bu ana makine sonuçlarında niceleştirilmiş model, AMD'nin doğruluk metodolojisinin NPU sonuçlarını karşılaştırdığı temel değer olan CPU'da ONNX Runtime ile çalıştırılır. AMD'nin VEK385 üzerindeki yayımlanmış YOLOv8m sonuçları, NPU'da aynı karma hassasiyet yaklaşımını gösterir:

Kaynak: AMD'nin Versal AI Edge Gen 2 için YOLOv8m öğreticisi; öğretici ayrıca dp_size=1 değerinde 100 VART çalıştırması üzerinden ortalama 10.69 ms çıkarım süresi bildiriyor.

Versal AI Edge Gen 2'de derleme ve çalıştırma#

Dışa aktarılan dizin, NPU'da çalışan .rai modelini oluşturan AMD Vitis AI derleyicisiyle kullanıma hazırdır.

1. Ana makineyi ve kartı hazırla. AMD'nin Versal AI Edge Gen 2 için Vitis AI 6.3 Docker görüntüsünü ve AMD AI Engine derleyici lisansını (bkz. AMD lisans sayfası) kullanarak x86-64 Linux ana makinesinde derleme yap. VEK385'i AMD'nin kart kurulum rehberine göre hazırla.

2. Derle. Konteyner içinde, AMD'nin derleme rehberinde kullandığı çağrıyla Vitis AI Execution Provider'ı içeren bir ONNX Runtime oturumu oluştur. Bu işlem, dışa aktarma dizinine yolo26n.rai içeren yolo26n/ önbelleğini yazar:

   import onnxruntime as ort
   
   d = "yolo26n_xilinx_model"
   options = {"config_file": f"{d}/vitisai_config.json", "cache_dir": d, "cache_key": "yolo26n", "target": "VAIML"}
   ort.InferenceSession(f"{d}/yolo26n.onnx", providers=["VitisAIExecutionProvider"], provider_options=[options])

   Modelin ne kadarının NPU'da çalıştığını görmek için yolo26n_xilinx_model/yolo26n/final-vaiml-pass-summary.txt öğesini kontrol et. 640 boyutunda YOLO26n için AMD Vitis AI 6.3 derleyicisi, operatörlerin ve hesaplama miktarının %99,9'unu tek bir bölümde VEK385 NPU'suna yerleştirir.

3. Kartta çalıştır. Dışa aktarma dizinini VEK385'e kopyala. Vitis AI Execution Provider içeren ONNX Runtime, derlenmiş yolo26n.rai öğesini yükleyip NPU'da çalıştırır; YOLO("yolo26n_xilinx_model") bu sağlayıcı kullanılabilir olduğunda otomatik olarak seçer.

Derleme için yalnızca AMD'nin ONNX Runtime'ı gerekir; bu nedenle Ultralytics'i oraya yüklemek yerine dışa aktarmayı herhangi bir Linux makinesinde yapıp dizini konteynere kopyala; aksi hâlde konteynerin sabitlenmiş paketleri değişebilir. Ultralytics, kartta olduğu gibi AMD'nin onnxruntime-vitisai derlemesinin yanına yüklendiğinde, bu derlemeyi standart onnxruntime ile değiştirmek yerine olduğu gibi kullanır.

YOLO Model Uyumluluğu ve Desteklenen Operatörler#

Bir hızlandırıcı yalnızca donanımda uyguladığı operatörleri hızlandırır. Bir model desteklenmeyen bir operatör içerdiğinde derleyici genellikle ağın o bölümünü Arm CPU'ya gönderir ve hızlandırıcı ile CPU arasındaki her gidiş dönüş gecikmeyi artırır. Bazı operatörler bölümlere ayrılamaz: Versal AI Edge Gen 2 NPU'da AMD, NonZero ve NonMaxSuppression gibi tüm modeli CPU'ya yönlendirebilen operatörleri listeler. AMD Xilinx donanımında bir YOLO modelinin ne kadar iyi performans gösterdiğini belirleyen en önemli etken operatör desteğidir.

Tablo, YOLO26 modelindeki her operatörün nerede çalıştığını gösterir. Standart bir YOLO26n ONNX dışa aktarımı 87 SiLU aktivasyonu içerir; her biri Sigmoid ve Mul olarak dışa aktarılır. Ayrıca iki dikkat bloğundan 4 MatMul ve 2 Softmax operatörü içerir: omurganın sonundaki C2PSA bloğu (katman 10) ve P5 çıktısını üreten, dikkat etkin C3k2 bloğu (katman 22).

Kaynaklar: AMD UG1414 desteklenen operatörler, PyTorch operatör desteği ve Versal AI Edge Gen 2 desteklenen, CPU bölümleme ve desteklenmeyen operatör listeleri. Destek ayrıca DPU yapılandırmana ve grafik örüntülerine bağlıdır; bu nedenle derleyicinin bölümleme raporunu mutlaka kontrol et.

YOLO26'yı Hard-Swish ile DPU'ya Hazırla#

DPU, evrişimlerine yalnızca ReLU, ReLU6, LeakyReLU, Hard-Swish ve Hard-Sigmoid operatörlerini birleştirir. Hard-Swish, SiLU'nun donanım dostu bir yaklaşımıdır ve bu nedenle doğal bir alternatiftir. Ultralytics model YAML dosyaları, Conv bloklarının varsayılan aktivasyonunu değiştiren bir activation anahtarını kabul eder (Model YAML Yapılandırma Kılavuzu).

yolo26.yaml dosyasını yolo26-hswish.yaml konumuna kopyala ve parametrelerin altına bir satır ekle:

# Parameters
nc: 80 # number of classes
activation: nn.Hardswish() # default Conv activation, DPU-native
end2end: True # whether to use end-to-end mode

Ardından modeli oluştur, önceden eğitilmiş YOLO26 ağırlıklarını aktar ve veri kümen üzerinde ince ayar yap:

from ultralytics import YOLO

# # Hard-Swish aktivasyonlarıyla YOLO26n oluştur; addaki 'n' nano ölçeğini seçer
model = YOLO("yolo26n-hswish.yaml").load("yolo26n.pt")  # # önceden eğitilmiş ağırlıkları aktar

# # Ağın Hard-Swish'e uyum sağlaması için ince ayar yap
model.train(data="coco8.yaml", epochs=100, imgsz=640)

Aktivasyonların ağırlığı yoktur, bu nedenle önceden eğitilmiş tüm ağırlıklar aktarılır. Dışa aktarılan ONNX grafiği daha sonra 87 HardSwish operatörü içerir ve hiç SiLU içermez. coco8.yaml öğesini kendi veri kümenle değiştir ve dağıtımdan önce Val modu ile SiLU modeline kıyasla doğruluğu karşılaştır.

DPU'da Dikkat Bloklarını Ele Alma#

YOLO26, dikkati en düşük çözünürlükte (640 girişte 20×20 ızgara) iki yerde uygular: 10. katmandaki C2PSA bloğunda ve 22. katmandaki, dikkat etkin C3k2 bloğunda. YOLO11'de bir C2PSA bloğu bulunur. DPU'da bu blokların MatMul ve Softmax operatörleri CPU'da çalışır; bu da modeli dönüşümlü DPU ve CPU alt grafiklerine böler. Üç seçeneğin var:

1. CPU bloklarını kabul et. Derlenen .xmodel dosyası CPU alt grafikleri içerir. Bu nedenle, her operatör için CPU uygulaması mevcutsa DPU ve CPU alt grafiklerini birlikte çalıştıran AMD Graph Runner ile çalıştır. Aksi takdirde eksik operatörleri kendin uygulayıp kaydetmelisin. 20×20 boyutunda dikkat hesaplaması küçüktür, ancak DPU ile CPU arasındaki her ek aktarım gecikmeyi artırır; bu nedenle kartında ölçüm yap.

2. Dikkat içermeyen bir YAML kullan. Hard-Swish YAML dosyanda C2PSA katmanını nn.Identity ile değiştirerek Concat ve Detect tarafından kullanılan katman dizinlerini geçerli tut; ayrıca 22. katmandaki dikkati devre dışı bırak:

   backbone:
       # ... layers 0-9 unchanged
       - [-1, 1, nn.Identity, []] # 10 C2PSA removed; keeps later layer indices valid
   
   head:
       # ... layers 11-21 unchanged
       - [-1, 1, C3k2, [1024, True, 0.5, False]] # 22 (P5/32-large), attention disabled
       - [[16, 19, 22], 1, Detect, [nc]] # Detect(P3, P4, P5)

   Dışa aktarılan ONNX grafiği artık MatMul veya Softmax operatörleri içermez. Dikkat ağırlıkları artık geçerli olmadığından (YOLO26n'deki 666 ağırlığın 624'ü aktarılır), daha uzun süre ince ayar yap ve doğruluğu Val modu ile karşılaştır.

3. AMD'nin kendi DPU örneklerinde kullandığı YOLOv8 gibi dikkat içermeyen bir model kullan.

Versal AI Edge Gen 2'de dikkat operatörleri NPU tarafından desteklenenler arasında listelenir; bu nedenle bu değişiklikler genellikle gerekli olmaz. Yerleşimi derleyici raporunda doğrula; çünkü AMD, yapılandırma veya bellek kısıtlamaları nedeniyle desteklenen operatörlerin yine de CPU'ya aktarılabileceğini belirtir.

Model Uyumluluğuna Genel Bakış#

Diğer AMD Xilinx hedeflerine dağıtım#

Zynq UltraScale+ ve Kria DPU'ları ile birinci nesil Versal AI Edge NPU'su, format="xilinx" öğesinin üretmediği Vitis AI iş akışlarını kullanır. Ultralytics ile eğitim yap, ardından hedefe ait yapıyı AMD araçları ve AMD'nin x86-64 Linux Docker görüntüleriyle oluştur. Aygıtına uygun sekmeyi seç:

Kartı, derlediğin hızlandırıcı yapılandırmasını ve eşleşen Vitis AI çalışma zamanını içeren bir donanım tasarımı ve Linux görüntüsüyle hazırla. Zynq UltraScale+ ve Kria DPU hedefleri için AMD'nin kurulum rehberlerine, Versal AI Edge (VEK280) içinse ilgili rehbere bak; ardından çalışma zamanının gerektirdiği yapıları kopyala:

DPU'da VART arabellekleri sabit noktalı INT8 değerleri tutar: her tensörün şeklini ve fix_point ölçeğini sorgula; son işleme öncesinde girdileri nicele ve çıktıları nicelemeden çıkar. Graph Runner, grafiğin tamamının çıktılarını döndürürken yalnızca DPU kullanan çalıştırıcı, kodunun hesaplamayı tamamlaması gereken ara DPU alt grafiği çıktılarını döndürür. VEK280'deki VART-ML, şekli, veri türü ve bellek düzeni ONNX düzenlerinden farklı olabilen donanım tensör görünümlerini varsayılan olarak kullanır; bu nedenle çalıştırıcının girdi ve çıktı tensör türlerini CPU görünümleri olarak yapılandır veya donanım biçimini kendin dönüştür (AMD'nin VART-ML mimarisine genel bakışına bak).

Gerçek Dünya Uygulamaları#

AMD Xilinx cihazları, görüntü yapay zekâsının gerçek zamanlı, düşük güç tüketimiyle ve sensöre yakın çalışması gereken yerlerde yaygın olarak kullanılır:

• Endüstriyel ve inşaat güvenliği: Ağır ekipmanların çevresindeki insanları ve makineleri tespit et, çalışma alanlarını nesne tespiti ve nesne sayımı ile izle.
• Otomotiv ve karayolu dışı araçlarda görüntü işleme: Nitelikli otomotiv sınıfı parçalarda kamera tabanlı algılamayı çalıştırarak otonom araçları ve sürücü destek sistemlerini destekle.
• Akıllı kameralar ve video analitiği: Güvenlik sistemleri ve video analitiği için video yakalamayı, kodlamayı ve YOLO çıkarımını tek bir çipte birleştir.
• Makine görüşü ve kalite denetimi: Hat içi kusur tespiti için FPGA tabanlı yüksek hızlı görüntü yakalamayı YOLO örnek segmentasyonu veya sınıflandırma ile birleştir.
• Robotik ve dronlar: Belirleyici gecikmeyle poz tahmini, yönelimli nesne tespiti ve navigasyon için Kria KR260 veya Versal modüllerini kullan.

Özet#

format="xilinx" ile dışa aktarma, Ultralytics YOLO modellerini AMD Quark ile Versal AI Edge Series Gen 2 NPU'ları için niceleyerek başlığı BF16'da tutar ve Vitis AI derleyici yapılandırmasını modelin yanına yazar. INT8 doğruluğunu herhangi bir ana makinede doğrula, .rai modelini AMD Vitis AI Docker görüntüsünde derle ve ONNX Runtime ile Vitis AI Execution Provider kullanarak kartta çalıştır.

Eski AMD Xilinx aygıtları başka iş akışları kullanır. Zynq UltraScale+ ve Kria üzerindeki DPU, dondurulmuş Vitis AI 3.5 araç zincirini ve .xmodel dosyalarını kullanır; Hard-Swish gibi DPU yerel etkinleştirme işlevlerini gerektirir ve attention işlemini CPU'da çalıştırır. Birinci nesil Versal AI Edge NPU'su, operatör kapsamı Vitis AI sürümüne ve hassasiyete bağlı olan snapshot iş akışını kullanır.

Diğer dağıtım hedefleri için model dağıtım seçenekleri rehberine, dağıtım için en iyi uygulamalara ve Hailo, Rockchip RKNN ve Axelera gibi hızlandırıcı entegrasyonlarına bak.

Sık Sorulan Sorular#