Başla

Hızlı Başlangıç Kılavuzu: Ultralytics YOLO26 ile NVIDIA DGX Spark

Bu kılavuz, NVIDIA'nın kompakt masaüstü yapay zekâ süper bilgisayarı NVIDIA DGX Spark üzerinde Ultralytics YOLO26'yı dağıtma adımlarını anlatır ve bu sistemdeki dışa aktarma biçimlerine göre YOLO11 kıyaslamalarını içerir.

NVIDIA DGX Spark AI workstation overview

Not

Bu kılavuz, Ubuntu tabanlı DGX OS çalıştıran NVIDIA DGX Spark Founders Edition ile test edildi. En yeni DGX OS sürümlerinde de çalışması bekleniyor.

NVIDIA DGX Spark nedir?#

NVIDIA DGX Spark, NVIDIA GB10 Grace Blackwell Superchip ile çalışan kompakt bir masaüstü yapay zekâ süper bilgisayarıdır. FP4 hassasiyetinde 1 petaFLOP'a kadar yapay zekâ işlem performansı sunar ve güçlü yapay zekâ özelliklerine masaüstü biçiminde ihtiyaç duyan geliştiriciler, araştırmacılar ve veri bilimcileri için tasarlanmıştır.



İzle: NVIDIA DGX Spark'ta Ultralytics YOLO26 ile 1000 FPS'ye Nasıl Ulaşılır | TensorRT ve Toplu Çıkarım

Temel teknik özellikler#

Teknik özellikAyrıntılar
Yapay Zekâ Performansı1 PFLOP'a kadar (FP4)
GPU5. Nesil Tensor Core'lara ve 4. Nesil RT Core'lara sahip NVIDIA Blackwell Mimarisi
CPU20 çekirdekli Arm işlemci (10 Cortex-X925 + 10 Cortex-A725)
Bellek128 GB LPDDR5x birleşik sistem belleği, 256 bit arayüz, 4266 MHz, 273 GB/sn bant genişliği
DepolamaŞifreleme özellikli 1 TB veya 4 TB NVMe M.2
Ağ1x RJ-45 (10 GbE), ConnectX-7 Smart NIC, Wi-Fi 7, Bluetooth 5.4
Bağlantı4x USB Type-C, 1x HDMI 2.1a, HDMI çok kanallı ses
Video İşleme1x NVENC, 1x NVDEC

DGX OS#

NVIDIA DGX OS, DGX sistemlerinde yapay zekâ, makine öğrenimi ve analitik uygulamalarını çalıştırmak için kararlı, test edilmiş ve desteklenen bir işletim sistemi temeli sunan özelleştirilmiş bir Linux dağıtımıdır. Şunları içerir:

  • Yapay zekâ iş yükleri için optimize edilmiş sağlam bir Linux temeli
  • NVIDIA donanımı için önceden yapılandırılmış sürücüler ve sistem ayarları
  • Güvenlik güncellemeleri ve sistem bakım özellikleri
  • Daha geniş NVIDIA yazılım ekosistemiyle uyumluluk

DGX OS düzenli bir sürüm takvimini izler; güncellemeler genellikle yılda iki kez (Şubat ve Ağustos civarında) sunulur ve ana sürümler arasında ek güvenlik yamaları yayımlanır.

DGX Dashboard#

DGX Spark, şu özellikleri sunan yerleşik bir DGX Dashboard ile birlikte gelir:

  • Gerçek Zamanlı Sistem İzleme: Sistemin mevcut çalışma ölçümlerine genel bakış
  • Sistem Güncellemeleri: Güncellemeleri doğrudan kontrol panelinden uygulama olanağı
  • Sistem Ayarları: Cihaz adını ve diğer yapılandırmaları değiştirme
  • Entegre JupyterLab: Geliştirme için yerel Jupyter Notebooks'a erişim

NVIDIA DGX management dashboard interface

Kontrol Paneline Erişim#

Ubuntu masaüstünün sol alt köşesindeki "Uygulamaları Göster" düğmesine tıkla, ardından tarayıcıda açmak için "DGX Dashboard" öğesini seç.

Entegre JupyterLab

Kontrol panelinde, başlatıldığında otomatik olarak sanal ortam oluşturan ve önerilen paketleri yükleyen entegre bir JupyterLab örneği bulunur. Her kullanıcı hesabına JupyterLab erişimi için özel bir bağlantı noktası atanır.

Docker ile Hızlı Başlangıç#

Ultralytics YOLO26'yı NVIDIA DGX Spark'ta kullanmaya başlamanın en hızlı yolu, önceden oluşturulmuş Docker görüntülerini çalıştırmaktır. NVIDIA ARM64 görüntüsü, DGX OS ile DGX Spark'ı destekler.

t=ultralytics/ultralytics:latest-nvidia-arm64
sudo docker pull $t && sudo docker run -it --ipc=host --device nvidia.com/gpu=all $t

Yukarıdaki CDI cihaz isteği, DGX OS çalıştıran DGX Spark için geçerlidir. Jetson AGX Thor'daki PyTorch iş yükleri için NVIDIA Jetson kılavuzundaki ayrı ana makine gereksinimlerine ve TensorRT kısıtlamasına bak.

Bu imaj NVIDIA PyTorch 26.10, CUDA 13.4 ve TensorRT 11.4 kullanır. DGX OS ana makine sürücüsünü NVIDIA PyTorch 26.10 tarafından desteklenen bir sürüme güncelle ve imajı veya hedef GPU'yu değiştirdikten sonra TensorRT motorlarını yeniden oluştur.

İşlem tamamlandıktan sonra NVIDIA DGX Spark'ta TensorRT kullanımı bölümüne geç.

Yerel Kurulumla Başla#

Docker kullanmadan yerel kurulum yapmak için şu adımları izle.

Ultralytics Paketini Yükle#

Burada Ultralytics paketini DGX Spark'a yükleyeceğiz. Dışa aktarma bağımlılıkları, bir modeli ilk kez dışa aktardığında otomatik olarak yüklenir; bu nedenle burada yalnızca temel paket gerekir. DGX Spark'ta en yüksek performansı TensorRT sağladığı için bu kılavuz NVIDIA TensorRT dışa aktarımlarına odaklanır.

  1. Paket listesini güncelle, pip'i yükle ve en son sürüme yükselt.

    sudo apt update
    sudo apt install python3-pip -y
    pip install -U pip
  2. ultralytics pip paketini yükle

    pip install ultralytics
  3. Cihazı yeniden başlat

    sudo reboot

PyTorch ve Torchvision'ı yükle#

Yukarıdaki ultralytics kurulumu PyTorch ve Torchvision'ı yükler. Ancak pip aracılığıyla yüklenen bu paketler, DGX Spark'ın CUDA 13 kullanan ARM64 mimarisi için tam olarak optimize edilmemiş olabilir. Bu nedenle CUDA 13 ile uyumlu sürümleri yüklemeni öneririz:

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130
Bilgi

NVIDIA DGX Spark'ta PyTorch 2.9.1 çalıştırırken CUDA başlatılırken (ör. yolo checks, yolo predict vb. çalıştırılırken) şu UserWarning ile karşılaşabilirsin:

UserWarning: Found GPU0 NVIDIA GB10 which is of cuda capability 12.1.
Minimum and Maximum cuda capability supported by this version of PyTorch is (8.0) - (12.0)

Bu uyarıyı güvenle yok sayabilirsin.

onnxruntime-gpu öğesini yükle#

Güncel ONNX Runtime GPU sürümleri, Python 3.12 dâhil Linux ARM64 wheel'ları sunar. NVIDIA ARM64 Docker imajı resmî paketi yükler; yerel CUDA 13 kurulumları için şunu kullan:

pip install onnxruntime-gpu

NVIDIA DGX Spark'ta TensorRT Kullanımı#

Ultralytics tarafından desteklenen tüm model dışa aktarma biçimleri arasında TensorRT, NVIDIA DGX Spark'ta en yüksek çıkarım performansını sunar ve bu nedenle dağıtımlar için en iyi önerimizdir.

Modeli TensorRT'ye Dönüştür ve Çıkarım Yap#

PyTorch biçimindeki YOLO26n modeli TensorRT'ye dönüştürülür; ardından dışa aktarılan model çıkarım için kullanılır.

Örnek
from ultralytics import YOLO

# YOLO26n PyTorch modelini yükle
model = YOLO("yolo26n.pt")

# Modeli TensorRT FP16 olarak dışa aktar
model.export(format="engine", quantize=16)  # 'yolo26n.engine' oluşturur

# Dışa aktarılan TensorRT modelini yükle
trt_model = YOLO("yolo26n.engine")

# Çıkarımı çalıştır
results = trt_model("https://ultralytics.com/images/bus.jpg")

NVIDIA DGX Spark YOLO11 Karşılaştırma Sonuçları#

YOLO11 kıyaslamaları, hız ve doğruluğu ölçmek için Ultralytics ekibi tarafından çeşitli model biçimlerinde gerçekleştirildi: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch. Kıyaslamalar NVIDIA DGX Spark'ta, varsayılan 640 giriş görüntüsü boyutunda ve FP32 hassasiyetinde gerçekleştirildi.

Ayrıntılı karşılaştırma tablosu#

Aşağıdaki tabloda beş farklı modelin (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) çeşitli biçimlerdeki kıyaslama sonuçları gösterilir. Her birleşim için durum, boyut, mAP50-95(B) metriği ve çıkarım süresi verilir.

Performans
BiçimDurumDiskteki boyut (MB)mAP50-95(B)Çıkarım süresi (ms/im)
PyTorch✅5.40.50712.67
TorchScript✅10.50.50832.62
ONNX✅10.20.50745.92
OpenVINO✅10.40.505814.95
TensorRT (FP32)✅12.80.50851.95
TensorRT (FP16)✅7.00.50681.01
TensorRT (INT8)✅18.60.48801.62
TF SavedModel✅25.70.507636.39
TF GraphDef✅10.30.507641.06
TF Lite✅10.30.507564.36
MNN✅10.10.507512.14
NCNN✅10.20.504112.31
ExecuTorch✅10.20.507527.61

Ultralytics 8.3.249 ile karşılaştırma testi yapıldı

Sonuçlarımızı Yeniden Üretme#

Ultralytics kıyaslamalarını yukarıdaki tüm dışa aktarma biçimlerinde yeniden üretmek için bu kodu çalıştır:

Örnek
from ultralytics import YOLO

# YOLO26n PyTorch modelini yükle
model = YOLO("yolo26n.pt")

# COCO128 veri kümesinde YOLO26n hızını ve doğruluğunu tüm dışa aktarma formatları için kıyasla
results = model.benchmark(data="coco128.yaml", imgsz=640)

Kıyaslama sonuçlarının sistemin tam donanım ve yazılım yapılandırmasına ve kıyaslamalar çalıştırılırken sistemin mevcut iş yüküne göre değişebileceğini unutma. En güvenilir sonuçlar için çok sayıda görüntü içeren bir veri kümesi kullan; örneğin data='coco.yaml' (5000 doğrulama görüntüsü).

DGX Spark'ta YOLO26 TensorRT Hassasiyeti#

DGX Spark'ta 1 batch boyutunda TensorRT INT8, YOLO26n ve YOLO26s için FP16'dan daha yavaştır; YOLO26m içinse yaklaşık aynı hızdadır (hem doğrulamada hem de trtexec GPU hesaplama süresinde fark %2'nin altındadır). INT8 ayrıca 1,1 ila 1,8 mAP kaybına yol açar; bu nedenle bu modeller için FP16 daha iyi bir seçimdir. Yukarıdaki YOLO11 tablosu da aynı eğilimi gösteriyor: Beş modelin tümünde TensorRT (INT8), TensorRT'den (FP16) daha yavaştır.

ModelBiçimDiskteki boyut (MB)mAP50-95(B)Çıkarım süresi (ms/im)
YOLO26nTensorRT (FP16)6.70.40320.79
YOLO26nTensorRT (INT8)28.40.38491.43
YOLO26sTensorRT (FP16)20.30.47931.49
YOLO26sTensorRT (INT8)34.40.46441.73
YOLO26mTensorRT (FP16)41.10.52662.70
YOLO26mTensorRT (INT8)45.00.51562.74

Doğruluk ve hız ölçümleri, 640 görüntü boyutunda ve 1 batch boyutunda COCO val2017 (5000 görüntü) üzerinde yapılan doğrulamadan alınmıştır. INT8 motorları COCO128 üzerinde kalibre edilmiştir. Karşılaştırmalı testler, ultralytics/ultralytics:latest-nvidia-arm64 ortamında Ultralytics 8.4.192 (NVIDIA PyTorch 26.08, TensorRT 11.2.1.2, ModelOpt 0.45.0) ile yapılmıştır.

NVIDIA DGX Spark için En İyi Uygulamalar#

NVIDIA DGX Spark kullanırken YOLO26'yı en iyi performansla çalıştırmak için bu en iyi uygulamaları izle.

  1. Sistem Performansını İzle

    GPU ve CPU kullanımını izlemek için NVIDIA'nın izleme araçlarını kullan:

    nvidia-smi
  2. Bellek Kullanımını Optimize Et

    DGX Spark, 128 GB birleşik belleğiyle büyük toplu iş boyutlarını ve modelleri işleyebilir. Verimi artırmak için toplu iş boyutunu yükseltmeyi düşün:

    from ultralytics import YOLO
    
    model = YOLO("yolo26n.engine")
    results = model.predict(source="path/to/images", batch=16)
  3. TensorRT FP16 kullan

    DGX Spark'ta 1 batch boyutunda INT8, YOLO26n ve YOLO26s için FP16'dan daha yavaştır, YOLO26m için daha hızlı değildir ve daha az doğrudur (bkz. DGX Spark'ta YOLO26 TensorRT Hassasiyeti):

    yolo export model=yolo26n.pt format=engine quantize=16 # FP16

Sistem Güncellemeleri (Founders Edition)#

DGX Spark Founders Edition'ı güncel tutmak performans ve güvenlik açısından kritik önem taşır. NVIDIA, sistem işletim sistemini, sürücüleri ve aygıt yazılımını güncellemek için iki temel yöntem sunar.

Sistem güncellemelerini uyumluluğu sağlayarak yapmak için önerilen yöntem DGX Dashboard kullanmaktır. Şunları yapmana olanak tanır:

  • Kullanılabilir sistem güncellemelerini görüntüleme
  • Güvenlik yamalarını ve sistem güncellemelerini yükleme
  • NVIDIA sürücüsü ve aygıt yazılımı güncellemelerini yönetme

Sistem Güncellemelerini Elle Yapma#

İleri düzey kullanıcılar güncellemeleri terminal üzerinden elle yapabilir:

sudo apt update
sudo apt dist-upgrade
sudo fwupdmgr refresh
sudo fwupdmgr upgrade
sudo reboot
Uyarı

Güncelleme yapmadan önce sisteminin kararlı bir güç kaynağına bağlı olduğundan emin ol ve önemli verilerini yedekle.

Sonraki Adımlar#

Daha fazla bilgi ve destek için Ultralytics YOLO26 Belgeleri sayfasına göz at.

Sık Sorulan Sorular#

  • NVIDIA DGX Spark'ta Ultralytics YOLO26'yı dağıtmak oldukça kolaydır. Hızlı kurulum için önceden oluşturulmuş Docker imajını kullanabilir veya gerekli paketleri elle yükleyebilirsin. Her iki yaklaşımın ayrıntılı adımlarını Docker ile Hızlı Başlangıç ve Yerel Kurulumla Başlama bölümlerinde bulabilirsin.

  • YOLO modelleri, GB10 Grace Blackwell Superchip sayesinde DGX Spark'ta hızlı çalışır. TensorRT biçimi en iyi çıkarım performansını sunar. DGX Spark'ta farklı model boyutları ve biçimleri genelinde YOLO11 karşılaştırmalı test sonuçları için Ayrıntılı Karşılaştırma Tablosu bölümüne, YOLO26 FP16 ve INT8 sonuçları içinse DGX Spark'ta YOLO26 TensorRT Hassasiyeti bölümüne bak.

  • TensorRT, desteklenen dışa aktarma biçimleri arasında en hızlı çıkarımı sağladığı ve Blackwell GPU'nun Tensör Çekirdeklerini FP16 veya INT8 hassasiyetiyle kullandığı için DGX Spark üzerinde YOLO26 modellerini dağıtmak için önerilir.

  • DGX Spark, Jetson AGX Thor'un 2070 TFLOPS ve 128 GB belleğine kıyasla 1 PFLOP'a kadar yapay zekâ performansı ve 128 GB birleşik bellek sunar. DGX Spark, masaüstü yapay zekâ süper bilgisayarı olarak tasarlanırken Jetson cihazları, uç dağıtımlar için optimize edilmiş gömülü sistemlerdir.

  • PyTorch iş yükleri için ultralytics/ultralytics:latest-nvidia-arm64, DGX OS kullanan DGX Spark'ı ve JetPack 7.1 kullanan Thor'u destekler. Paketle birlikte gelen TensorRT 11.4, JetPack'i desteklemediğinden Jetson TensorRT iş akışlarında JetPack sürümünün desteklediği TensorRT 10.x çalışma zamanı kullanılmalıdır. Jetson Docker gereksinimlerine bak.

Yorumlar

Bir soru sor, sonuçlarını paylaş veya başka birine yardım et.