Vitis AI ile Ultralytics YOLO için AMD Xilinx Dağıtımı#

AMD Xilinx cihazları, dünyanın dört bir yanındaki birçok endüstriyel kameraya, otomotiv görüş sistemine, robota, drone'a ve tıbbi görüntüleme ürününe güç veriyor. Arm işlemcilerini programlanabilir mantıkla ve daha yeni cihazlarda özel AI Engine'lerle birleştirdikleri için tek bir çip video yakalayabilir, videoyu ön işleyebilir, nesne algılama gerçekleştirebilir ve sonucu düşük, öngörülebilir bir çıkarım gecikmesiyle işleyebilir.

Bu kılavuzda her AMD Xilinx cihaz ailesinin ne olduğu, AI'ın bu cihazlarda nasıl çalıştığı, her hızlandırıcının hangi Ultralytics YOLO operatörlerini desteklediği ve YOLO modellerini Zynq UltraScale+, Kria ve Versal donanımlarında dağıtmak için adım adım izlenecek iş akışı ele alınıyor.

AMD Xilinx nedir?#

Xilinx, 1980'lerde sahada programlanabilir kapı dizisi (FPGA) alanını ortaya çıkardı ve uyarlanabilir SoC'ler ve FPGA'ler konusunda lider tedarikçilerden biri oldu. AMD, Xilinx'i Şubat 2022'de satın aldı ve ürün serileri artık AMD markası altında AMD Zynq, AMD Kria, AMD Versal ve AMD Vitis olarak satılıyor.

Temel Terimler ve Kavramlar#

AMD Xilinx dağıtımının kendine özgü bir terminolojisi vardır. Aşağıdaki tabloda bu kılavuzda kullanılan tüm terimler açıklanıyor.

Uç AI için AMD Xilinx Cihaz Aileleri#

Uç AI için AMD Xilinx cihazları üç aileye ayrılır. Zynq ve Kria, programlanabilir mantıkta DPU kullanırken burada ele alınan Versal AI Edge cihazları AI Engine'lerde NPU kullanır.

Zynq UltraScale+ MPSoC#

Her Zynq UltraScale+ çipi; çift çekirdekli (CG) veya dört çekirdekli (EG ve EV) Cortex-A53 çekirdekleri ve gerçek zamanlı Cortex-R5F çekirdeklerine sahip Arm işlem sistemini FPGA mantığıyla birleştirir. EV cihazları, donanım tabanlı H.264/H.265 video kod çözücü ekler. Sinir ağlarını çalıştırmak için tasarımcılar, kamera ve video işleme hatlarının yanına mantık içinde bir DPU yerleştirir. Küçük cihazlarda DPU, tasarımın geri kalanıyla alan için rekabet eder.

Kria Sistem Modülleri#

Kria K26 modülü, Zynq UltraScale+ MPSoC'yi bellek ve güç bileşenleriyle üretime hazır bir modülde bir araya getirir; böylece işlemciyi, belleği ve güç alt sistemini kendin tasarlamak zorunda kalmazsın. Modül, ister başlangıç kiti kartı ister kendi tasarımın olsun, bir taşıyıcı karta takılır. Akıllı kameralar için KV260 Vision AI Starter Kit, robotik içinse KR260 Robotics Starter Kit kitine güç verir. K26, Zynq UltraScale+ temelinde geliştirildiğinden aynı DPU iş akışını kullanır. Kria ürün portföyünde başka modüller de bulunur; bu nedenle iş akışını seçmeden önce modülünün hangi işlemciyi kullandığını kontrol et.

Versal Uyarlanabilir SoC'ler#

Versal, AMD'nin uyarlanabilir SoC ailesidir. AI Edge ve AI Core serileri, Arm çekirdeklerinin ve programlanabilir mantığın yanına donanım tabanlı AI Engine'ler eklerken bazı diğer Versal serilerinde AI Engine bulunmaz. AMD'nin NPU IP'si AI Engine'lerde ve programlanabilir mantıkta birlikte çalışır; Vitis AI ise AI Edge serisinin VE2302 ve VE2802 gibi AIE-ML bileşenlerini hedefler. Versal AI Edge Serisi (VEK280 değerlendirme kiti) ve Versal AI Edge Serisi Gen 2 (VEK385 değerlendirme kiti), AMD'nin uç AI için mevcut hedefleri ve güncel Vitis AI sürümlerinin odak noktalarıdır.

AMD Xilinx Cihazlarında AI Nasıl Çalışır: DPU ve NPU#

Çoğu AMD Xilinx AI dağıtımı aynı düzeni izler. Hızlandırıcı, desteklediği katmanları çalıştırır; Arm CPU ön işleme, son işleme ve hızlandırıcının çalıştıramadığı katmanları yürütür; karttaki bir çalışma zamanı ise bu ikisini koordine eder.

graph LR
    A[Camera / video input]:::start --> B[Arm CPU<br>Linux, preprocessing,<br>post-processing]:::proc
    B <--> C[AI accelerator<br>DPU in programmable logic<br>or NPU on AI Engines + PL]:::out
    B --> D[Application<br>alerts, control, display]:::start

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff

AMD iki nesil hızlandırıcı sundu ve her birinin kendine ait araç zinciri ile derlenmiş model dosyası var. Bu kılavuz, DPU için Vitis AI 3.5'i ve NPU için Vitis AI 6.3'ü temel alıyor; daha sonraki sürümler için AMD'nin güncel belgelerini kontrol et.

Hangi Vitis AI Akışına İhtiyacım Var?#

Kartındaki cihaza göre akışını seç:

graph TD
    A[Start: which AMD device<br>is on your board?]:::start --> B{Device family?}:::decide
    B -->|Zynq UltraScale+ MPSoC<br>or Kria K26| C[DPU flow<br>Vitis AI 3.5]:::proc
    B -->|Versal AI Edge<br>VEK280| D[NPU snapshot flow<br>Vitis AI 6.3]:::proc
    B -->|Versal AI Edge Gen 2<br>VEK385| E[NPU Quark flow<br>Vitis AI 6.3]:::proc
    C --> F[Train YOLO with Hard-Swish<br>then compile to .xmodel]:::out
    D --> G[Run your model on calibration<br>images to capture a snapshot]:::out
    E --> H[Quantize ONNX with Quark<br>then compile to .rai]:::out

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

YOLO Model Uyumluluğu ve Desteklenen Operatörler#

Bir hızlandırıcı yalnızca donanımda uyguladığı operatörleri hızlandırır. Bir model desteklenmeyen bir operatör içerdiğinde derleyici genellikle ağın o bölümünü Arm CPU'ya gönderir ve hızlandırıcı ile CPU arasındaki her gidiş dönüş gecikmeyi artırır. Bazı operatörler bölümlere ayrılamaz: Versal AI Edge Gen 2 NPU'da AMD, NonZero ve NonMaxSuppression gibi tüm modeli CPU'ya yönlendirebilen operatörleri listeler. AMD Xilinx donanımında bir YOLO modelinin ne kadar iyi performans gösterdiğini belirleyen en önemli etken operatör desteğidir.

graph LR
    subgraph S1 [Stock YOLO26 on the DPU]
        A1[Conv]:::out --> A2[SiLU<br>CPU]:::error --> A3[Conv]:::out --> A4[SiLU<br>CPU]:::error --> A5[...]:::proc
    end
    subgraph S2 [Hard-Swish YOLO26 on the DPU]
        B1[Backbone<br>Conv + Hard-Swish<br>DPU]:::out --> B2[C2PSA attention<br>CPU]:::error --> B3[Neck<br>DPU]:::out --> B4[C3k2 attention<br>CPU]:::error --> B5[Detect head<br>DPU]:::out --> B6[Sigmoid and<br>post-processing<br>CPU]:::error
    end

    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff
    classDef error fill:#F44336,color:#fff

Tablo, YOLO26 modelindeki her operatörün nerede çalıştığını gösterir. Standart bir YOLO26n ONNX dışa aktarımı 87 SiLU aktivasyonu içerir; her biri Sigmoid ve Mul olarak dışa aktarılır. Ayrıca iki dikkat bloğundan 4 MatMul ve 2 Softmax operatörü içerir: omurganın sonundaki C2PSA bloğu (katman 10) ve P5 çıktısını üreten, dikkat etkin C3k2 bloğu (katman 22).

Kaynaklar: AMD UG1414 desteklenen operatörler, PyTorch operatör desteği ve Versal AI Edge Gen 2 desteklenen, CPU bölümleme ve desteklenmeyen operatör listeleri. Destek ayrıca DPU yapılandırmana ve grafik örüntülerine bağlıdır; bu nedenle derleyicinin bölümleme raporunu mutlaka kontrol et.

YOLO26'yı Hard-Swish ile DPU'ya Hazırla#

DPU, evrişimlerine yalnızca ReLU, ReLU6, LeakyReLU, Hard-Swish ve Hard-Sigmoid operatörlerini birleştirir. Hard-Swish, SiLU'nun donanım dostu bir yaklaşımıdır ve bu nedenle doğal bir alternatiftir. Ultralytics model YAML dosyaları, Conv bloklarının varsayılan aktivasyonunu değiştiren bir activation anahtarını kabul eder (Model YAML Yapılandırma Kılavuzu).

yolo26.yaml dosyasını yolo26-hswish.yaml konumuna kopyala ve parametrelerin altına bir satır ekle:

# Parameters
nc: 80 # number of classes
activation: nn.Hardswish() # default Conv activation, DPU-native
end2end: True # whether to use end-to-end mode

Ardından modeli oluştur, önceden eğitilmiş YOLO26 ağırlıklarını aktar ve veri kümen üzerinde ince ayar yap:

from ultralytics import YOLO

# # Hard-Swish aktivasyonlarıyla YOLO26n oluştur; addaki 'n' nano ölçeğini seçer
model = YOLO("yolo26n-hswish.yaml").load("yolo26n.pt")  # # önceden eğitilmiş ağırlıkları aktar

# # Ağın Hard-Swish'e uyum sağlaması için ince ayar yap
model.train(data="coco8.yaml", epochs=100, imgsz=640)

Aktivasyonların ağırlığı yoktur, bu nedenle önceden eğitilmiş tüm ağırlıklar aktarılır. Dışa aktarılan ONNX grafiği daha sonra 87 HardSwish operatörü içerir ve hiç SiLU içermez. coco8.yaml öğesini kendi veri kümenle değiştir ve dağıtımdan önce Val modu ile SiLU modeline kıyasla doğruluğu karşılaştır.

DPU'da Dikkat Bloklarını Ele Alma#

YOLO26, dikkati en düşük çözünürlükte (640 girişte 20×20 ızgara) iki yerde uygular: 10. katmandaki C2PSA bloğunda ve 22. katmandaki, dikkat etkin C3k2 bloğunda. YOLO11'de bir C2PSA bloğu bulunur. DPU'da bu blokların MatMul ve Softmax operatörleri CPU'da çalışır; bu da modeli dönüşümlü DPU ve CPU alt grafiklerine böler. Üç seçeneğin var:

1. CPU bloklarını kabul et. Derlenen .xmodel dosyası CPU alt grafikleri içerir. Bu nedenle, her operatör için CPU uygulaması mevcutsa DPU ve CPU alt grafiklerini birlikte çalıştıran AMD Graph Runner ile çalıştır. Aksi takdirde eksik operatörleri kendin uygulayıp kaydetmelisin. 20×20 boyutunda dikkat hesaplaması küçüktür, ancak DPU ile CPU arasındaki her ek aktarım gecikmeyi artırır; bu nedenle kartında ölçüm yap.

2. Dikkat içermeyen bir YAML kullan. Hard-Swish YAML dosyanda C2PSA katmanını nn.Identity ile değiştirerek Concat ve Detect tarafından kullanılan katman dizinlerini geçerli tut; ayrıca 22. katmandaki dikkati devre dışı bırak:

   backbone:
       # ... layers 0-9 unchanged
       - [-1, 1, nn.Identity, []] # 10 C2PSA removed; keeps later layer indices valid
   
   head:
       # ... layers 11-21 unchanged
       - [-1, 1, C3k2, [1024, True, 0.5, False]] # 22 (P5/32-large), attention disabled
       - [[16, 19, 22], 1, Detect, [nc]] # Detect(P3, P4, P5)

   Dışa aktarılan ONNX grafiği artık MatMul veya Softmax operatörleri içermez. Dikkat ağırlıkları artık geçerli olmadığından (YOLO26n'deki 666 ağırlığın 624'ü aktarılır), daha uzun süre ince ayar yap ve doğruluğu Val modu ile karşılaştır.

3. AMD'nin kendi DPU örneklerinde kullandığı YOLOv8 gibi dikkat içermeyen bir model kullan.

Versal AI Edge Gen 2'de dikkat operatörleri NPU tarafından desteklenenler arasında listelenir; bu nedenle bu değişiklikler genellikle gerekli olmaz. Yerleşimi derleyici raporunda doğrula; çünkü AMD, yapılandırma veya bellek kısıtlamaları nedeniyle desteklenen operatörlerin yine de CPU'ya aktarılabileceğini belirtir.

Model Uyumluluğuna Genel Bakış#

YOLO26'yı Bugün AMD Xilinx'te Dağıt#

Yerel dışa aktarma kullanılabilir olana kadar dağıtım dört adımda gerçekleştirilir:

graph LR
    A[1. Train or fine-tune<br>Ultralytics YOLO]:::start --> B{Target?}:::decide
    B -->|Versal NPU| C[2. Export to ONNX<br>model.export]:::proc
    B -->|Zynq or Kria DPU| D[2. Keep the trained<br>PyTorch checkpoint]:::proc
    C --> E[3. Quantize and compile<br>Vitis AI 6.3 Docker]:::proc
    D --> F[3. Quantize and compile<br>Vitis AI 3.5 Docker]:::proc
    E --> G[4. Run on the board<br>VART-ML or ONNX Runtime]:::out
    F --> H[4. Run on the board<br>VART]:::out
    G -.->|accuracy check| A
    H -.->|accuracy check| A

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

1. Adım: Modelini Eğit veya İnce Ayar Yap#

Kendi verilerinle Train modunu veya Ultralytics Platform'u kullanarak eğitim yap. DPU hedefleri için Hard-Swish YAML dosyasından başla. Nicelemenin doğruluk üzerindeki etkisini daha sonra ölçebilmek için Val modu ile bir temel değer kaydet.

2. Adım: NPU Hedefleri için ONNX'e Dışa Aktar#

ONNX, AMD'nin NPU akışları için ortak girdidir. DPU akışı, eğitilmiş PyTorch kontrol noktasını doğrudan Vitis AI 3.5 Docker görüntüsünde niceler; bu nedenle DPU kullanıcıları bu adımı atlayabilir. Sabit 1 batch boyutuyla ve AMD'nin desteklediği bir opset kullanarak dışa aktar; AMD'nin Versal AI Edge Gen 2 için YOLOv8m öğreticisi opset 17 kullanır.

from ultralytics import YOLO

# # 1. Adımda eğittiğin modeli yükle
model = YOLO("runs/detect/train/weights/best.pt")

# # AMD derleyicisi için statik şekille ONNX'e dışa aktar
model.export(format="onnx", opset=17, imgsz=640)  # # 'best.pt' dosyasının yanına 'best.onnx' oluşturur

Tüm seçenekler için ONNX entegrasyonu ve dışa aktarma bağımsız değişkenleri bölümlerine bak. nms ayarlanmamışsa çıkarım sonrasında NMS'yi CPU'da çalıştır; YOLO26 için nms=False bunun yerine NMS içermeyen başlığı seçer. AMD'nin NonMaxSuppression'ı tüm modeli CPU'ya yönlendirebilen operatörler arasında listelemesi nedeniyle NMS'yi nms=True ile modele gömme.

3. Adım: Vitis AI ile Nicele ve Derle#

Aşağıdaki iş akışlarında x86-64 Linux ana bilgisayarındaki AMD Docker görüntüleri kullanılır. Bu adım için karta ihtiyacın yok. Cihazına ait sekmeyi seç:

4. Adım: Kartta Çalıştırma ve Doğrulama#

Önce kartı hazırla. Kartta, derlediğin hızlandırıcı yapılandırmasını içeren bir donanım tasarımı ve Linux imajının yanı sıra eşleşen Vitis AI çalışma zamanı da çalışmalıdır. AMD'nin Zynq UltraScale+ ve Kria DPU hedefleri, Versal AI Edge (VEK280) ve Versal AI Edge Gen 2 (VEK385) için kurulum kılavuzlarına bak.

Ardından çalışma zamanının ihtiyaç duyduğu yapıtları kopyala:

NPU akışlarında dışa aktarılan ONNX grafiği, kutuları zaten çözümler ve sınıf puanlarının sigmoid işlemini uygular; bu nedenle ana makine yalnızca çıktıyı yorumlar:

• nms ayarlanmamış: tespit modelleri, xywh kutu ve sınıf başına puan içeren bir (1, 4 + nc, anchors) tensörü çıktılar. Her anchor için en iyi sınıfı seç, kutuları köşe koordinatlarına dönüştür, güven puanına göre filtrele ve NMS çalıştır; Ultralytics non_max_suppression işlevi bu adımların tümünü gerçekleştirir.
• nms=False (YOLO26): model, yalnızca bir güven eşiği gerektiren [x1, y1, x2, y2, score, class] satırdan oluşan bir (1, max_det, 6) tensörü çıktılar.

Her iki durumda da kutuları letterbox uygulanmış girişten özgün görüntüye geri ölçeklendir. Yalnızca çözümleme adımından önce kesilen grafiklerde kutuların ana makinede çözülmesi gerekir. DPU'da VART arabellekleri sabit noktalı INT8 değerleri tutar: her tensörün şeklini ve fix_point ölçeğini sorgula; yukarıdaki adımları uygulamadan önce girişleri nicemle ve çıktıları nicemden arındır. Graph Runner tüm grafiğin çıktılarını döndürürken yalnızca DPU'yu çalıştıran bir çalıştırıcı, kodunun hesaplamayı tamamlaması gereken ara DPU alt grafik çıktıları döndürür. Yukarıdaki düzenler ONNX düzenleridir (CPU görünümü): VART-ML varsayılan olarak şekli, veri türü ve bellek düzeni farklı olabilen donanım tensörü görünümlerini kullanır. Bu nedenle çalıştırıcının giriş ve çıkış tensörü türlerini CPU görünümleri olarak yapılandır veya donanım biçimini kendin dönüştür (AMD'nin VART-ML mimarisine genel bakışına bak).

Cihaz üzerindeki doğruluğu, kendi doğrulama kümeni ve performans metrikleri ile 1. Adımdaki FP32 temel değerine göre karşılaştır; örneğin mAP kullan. AMD'nin VEK385 üzerindeki YOLOv8m için yayımladığı sonuçlar, INT8 dağıtımının doğruluk maliyetini gösteriyor:

Kaynak: AMD'nin Versal AI Edge Gen 2 için YOLOv8m öğreticisi; öğretici ayrıca dp_size=1 değerinde 100 VART çalıştırması üzerinden ortalama 10.69 ms çıkarım süresi bildiriyor.

Gerçek Dünya Uygulamaları#

AMD Xilinx cihazları, görüntü yapay zekâsının gerçek zamanlı, düşük güç tüketimiyle ve sensöre yakın çalışması gereken yerlerde yaygın olarak kullanılır:

• Endüstriyel ve inşaat güvenliği: Ağır ekipmanların çevresindeki insanları ve makineleri tespit et, çalışma alanlarını nesne tespiti ve nesne sayımı ile izle.
• Otomotiv ve karayolu dışı araçlarda görüntü işleme: Nitelikli otomotiv sınıfı parçalarda kamera tabanlı algılamayı çalıştırarak otonom araçları ve sürücü destek sistemlerini destekle.
• Akıllı kameralar ve video analitiği: Güvenlik sistemleri ve video analitiği için video yakalamayı, kodlamayı ve YOLO çıkarımını tek bir çipte birleştir.
• Makine görüşü ve kalite denetimi: Hat içi kusur tespiti için FPGA tabanlı yüksek hızlı görüntü yakalamayı YOLO örnek segmentasyonu veya sınıflandırma ile birleştir.
• Robotik ve dronlar: Belirleyici gecikmeyle poz tahmini, yönelimli nesne tespiti ve navigasyon için Kria KR260 veya Versal modüllerini kullan.

Özet#

AMD Xilinx cihazları, YOLO modellerini iki hızlandırıcı nesli üzerinden çalıştırır. Zynq UltraScale+ ve Kria'daki DPU, dondurulmuş Vitis AI 3.5 akışını kullanır ve .xmodel dosyaları üretir. Hard-Swish gibi DPU'ya özgü aktivasyonlar gerektirir ve attention işlemlerini CPU'da çalıştırır. Versal AI Edge ve Versal AI Edge Gen 2'deki NPU, güncel Vitis AI sürümlerini kullanır. Gen 2 NPU, SiLU ve attention operatörlerini destekler ve AMD'nin YOLOv8m örneğini VEK385 üzerinde neredeyse tamamen NPU'da çalıştırır; daha eski VEK280 NPU'daki operatör desteği ise Vitis AI sürümüne ve duyarlığa bağlıdır.

AMD Xilinx cihazları için yerel Ultralytics dışa aktarımı yakında sunulacak. O zamana kadar Ultralytics ile eğitim yap, Versal NPU hedefleri için ONNX'e dışa aktar veya DPU hedefleri için PyTorch kontrol noktasını koru ve yukarıda açıklandığı gibi Vitis AI ile derle. Diğer dağıtım hedefleri için model dağıtım seçenekleri kılavuzuna, dağıtım için en iyi uygulamalara ve Hailo, Rockchip RKNN ve Axelera gibi hızlandırıcı entegrasyonlarına bak.

Sık Sorulan Sorular#