Axelera AI ile Dışa Aktarım ve Dağıtım#

Ultralytics, Edge AI aygıtlarında yüksek performanslı ve enerji verimli çıkarım olanağı sunmak için Axelera AI ile iş ortaklığı yapıyor. Ultralytics YOLO modellerini doğrudan Metis® AIPU'ya Voyager SDK ile dışa aktar ve dağıt.

Axelera AI, özel bir veri akışı mimarisi ve bellek içi bilgi işlem kullanarak uçta bilgisayarlı görü için özel donanım hızlandırması sağlar; düşük güç tüketimiyle 856 TOPS'a kadar performans sunar.

Doğru Donanımı Seçme#

Axelera AI, farklı dağıtım kısıtlarına uygun çeşitli form faktörleri sunar. Aşağıdaki grafik, Ultralytics YOLO dağıtımın için en uygun donanımı belirlemene yardımcı olur.

Donanım Ürün Yelpazesi#

Axelera donanım ürün serisi, yüksek FPS/watt verimliliğiyle Ultralytics YOLO26 ve eski sürümleri çalıştırmak üzere optimize edilmiştir.

Hızlandırıcı Kartlar#

Bu kartlar, mevcut ana makine aygıtlarında AI hızlandırması sağlayarak brownfield dağıtımlarını kolaylaştırır.

Entegre Sistemler#

Kullanıma hazır çözümler sunmak için Axelera, Metis AIPU için önceden doğrulanmış sistemler sağlayan üreticilerle iş ortaklığı yapar.

• Metis Compute Board: Metis AIPU'yu Rockchip RK3588 ARM CPU ile bir araya getiren bağımsız bir uç aygıt.
• İş istasyonları: Dell (Precision 3460XE) ve Lenovo'nun (ThinkStation P360 Ultra) kurumsal masaüstü bilgisayarları.
• Endüstriyel bilgisayarlar: Üretim otomasyonu için tasarlanmış, sağlamlaştırılmış Advantech ve Aetina sistemleri.

Desteklenen Görevler#

Axelera dışa aktarımı, Ultralytics'in yedi görevinin tümünü destekler. Anlamsal segmentasyon ve derinlik tahmini yalnızca bu başlıkları içeren tek aile olan YOLO26 ile kullanılabilir.

YOLO26 algılama, örnek segmentasyonu, poz ve OBB modelleri, NMS içermeyen bire bir başlıklarını varsayılan olarak dışa aktarır ve Axelera çalışma zamanı bu başlığı ana bilgisayarda çözümler. nms=True seçeneğini kullanmak, bunun yerine bire çok başlığını dışa aktarır; bu başlık Metis'te daha düşük performans gösterir: YOLO26n algılama modeli, bu şekilde COCO128 üzerinde mAP50-95 açısından 0.212 elde ederken NMS içermeyen başlıkla 0.453 elde eder.

Kurulum#

Ultralytics Kurulumu#

pip install ultralytics

Ayrıntılı talimatlar için Ultralytics Kurulum kılavuzumuza bak. Sorun yaşarsan Yaygın Sorunlar kılavuzumuza göz at.

Axelera Sürücüsünün Kurulumu#

1. Axelera deposu anahtarını ekle:

   sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

2. Depoyu apt'ye ekle:

   Kullanılan işletim sistemine uygun aşağıdaki kod parçacığını seç.

   # Ubuntu 22.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

   # Ubuntu 24.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu24 main' > /etc/apt/sources.list.d/axelera.list"

3. Sürücüyü yükle ve etkinleştir. SDK 1.9, metis-dkms 1.7.0 veya üzerini gerektirir; bu nedenle burada en yeni sürüm yüklenir:

   sudo apt update
   sudo apt install -y metis-dkms
   sudo modprobe metis

[libaxldev.c:285] Found kernel driver version 1.6.2, but at least version 1.7.0 is required. Please update the kernel driver
ERROR: AXR_ERROR_CONNECTION_ERROR: Failed to open device metis-0:4:0

sudo apt update
sudo apt install -y metis-dkms
sudo rmmod metis
sudo modprobe metis

pip install axelera-devkit==1.9.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple
pip install axelera-rt==1.9.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple

Error: Unsupported model version: 4.0, expected at least 5.0
Please re-deploy or re-download the model.

YOLO Modellerini Axelera'ya Dışa Aktarma#

Axelera biçimi Dışa Aktar, Tahmin ve Doğrula kiplerini destekler. Çıkarım ve doğrulama, Axelera Metis AIPU donanımında çalışır. Modelini dışa aktar, ardından çıkarım yapmak veya doğruluğunu doğrulamak için dışa aktarılan modeli yükle.

from ultralytics import YOLO

# YOLO26 modelini yükle
model = YOLO("yolo26n.pt")

# Modeli Axelera biçimine dışa aktar
model.export(format="axelera")  # creates 'yolo26n_axelera_model'

from ultralytics import YOLO

# Dışa aktarılan Axelera modelini yükle
model = YOLO("yolo26n_axelera_model")

# Çıkarımı çalıştır
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Dışa aktarılan Axelera modelini yükle
model = YOLO("yolo26n_axelera_model")

# COCO8 veri kümesinde doğruluğu doğrula
metrics = model.val(data="coco8.yaml")

Dışa Aktarma Bağımsız Değişkenleri#

* Modeller tek bir görüntü için derlenir; bu nedenle dışa aktarma sırasında batch yalnızca kalibrasyon toplu iş boyutunu belirler. Bunun yerine, Axelera zamanlayıcısına aynı anda birden fazla görüntü vermek için batch değerini predict öğesine ilet (Voyager SDK 1.8.0 veya üzeri): Maksimum Performans bölümüne bak.

Tüm dışa aktarma seçenekleri için Dışa Aktarma Kipi belgelerine bak.

Çıktı Yapısı#

yolo26n_axelera_model/
├── yolo26n.axm                  # Axelera model file
├── compiler_config_final.toml  # Compiler configuration used for the build
└── metadata.yaml               # Model metadata (classes, image size, etc.)

Axelera AI Karşılaştırmaları#

Metis AIPU, enerji tüketimini en aza indirirken verimi en üst düzeye çıkarır.

Karşılaştırmalar Axelera AI verilerine dayanır. Gerçek FPS; model boyutuna, toplu işlemeye ve giriş çözünürlüğüne bağlıdır.

Bunlar, Voyager SDK'nın akış hattı kullanılarak 720p video dosyası üzerinde model zoo tarafından ölçülen ana makine verim değerleridir. Tek bir predict çağrısı bunun yerine görüntü başına gecikmeyi bildirir; bu farklı bir ölçümdür.

Gerçek Dünya Uygulamaları#

Ultralytics YOLO'nun Axelera donanımında kullanılması, gelişmiş uç bilişim çözümlerini mümkün kılar:

• Akıllı Perakende: Mağaza optimizasyonu için gerçek zamanlı nesne sayımı ve ısı haritası analizi.
• Endüstriyel Güvenlik: Üretim ortamlarında düşük gecikmeli KKD tespiti.
• Drone Analizi: Tarım ve arama-kurtarma çalışmaları için İHA'larda yüksek hızlı nesne tespiti.
• Trafik Sistemleri: Uçta çalışan plaka tanıma ve hız tahmini.

Önerilen İş Akışı#

1. Ultralytics Train Mode ile modelini eğit
2. model.export(format="axelera") kullanarak Axelera biçimine aktar
3. Nicemleme kaybının en aza indirildiğini doğrulamak için yolo val ile doğruluğu doğrula
4. Nitel doğrulama için yolo predict kullanarak tahmin yap
5. PyTorch bağımlılığı olmadan yüksek performanslı uçtan uca bir işlem hattına dağıt — axelera-rt kullanan birleştirilebilir Python işlem hatları için Voyager SDK'da YOLO örneklerine göz at

Cihaz Durum Denetimi#

Axelera cihazının düzgün çalıştığını doğrula:

# if axdevice cannot be found, please run at least one inference (see above) to ensure the required packages are installed
axdevice

Ayrıntılı tanılama için AxDevice belgelerine göz at.

Maksimum Performans#

Modeller tek bir görüntü için derlenir ve tek bir görüntü bir AIPU çekirdeğinde çalışır. Birden fazla görüntüyü Predict öğesine ilettiğinde Axelera zamanlayıcısı bu görüntüleri birlikte alır ve aygıtın çekirdeklerine dağıtır:

yolo predict model=yolo26n_axelera_model source=path/to/images batch=32

Metis PCIe üzerinde bir dizindeki 128 COCO128 görüntüsü için, üç çalıştırmanın medyanı olan yolo26n değerinin imgsz=640 konumundaki sonucu:

SDK 1.9'da aktarım hızını artıran şey toplu iş boyutudur; batch=32 değerinde artış 2,7 kattır; 1.8 ise her toplu iş boyutunda yaklaşık 40 img/s düzeyinde kalır. Çevrimdışı aktarım hızı için büyük bir toplu iş boyutu, görüntü başına gecikmenin önemli olduğu durumlarda ise batch=1 kullan. İkinci bir aygıt, predict değerine çok az katkı sağlar: batch=32 değerinde her görüntü, aygıtta geçirdiği süre kadar, ana bilgisayar tarafındaki ön işlemede yaklaşık 4 ms harcar.

predict ötesinde#

Maksimum verim gerektiren üretim ortamları için Axelera Voyager SDK şunları sunar:

• Birden fazla kareyi işlemde tutan akışlı çıkarım işlem hatları
• Tek bir modeli birden fazla çekirdekte derleme
• Daha yüksek çözünürlüklü kameralar için döşemeli çıkarım

Bu yollar, predict tarafından ana bilgisayarda gerçekleştirilen PyTorch ön ve son işlem adımlarını atlar. FPS karşılaştırmaları için model-zoo sayfasına bak veya üretim desteği için Axelera ile iletişime geç.

Bilinen Sorunlar#

Destek için Axelera Community sayfasını ziyaret et.

Sık Sorulan Sorular#