Hızlı Başlangıç Kılavuzu: Ultralytics YOLO11 ile NVIDIA Spark

Bu kapsamlı kılavuz, NVIDIA kompakt masaüstü yapay zeka süper bilgisayarı NVIDIA SparkYOLO11 Ultralytics YOLO11 dağıtmak için ayrıntılı bir adım adım kılavuz sunar. Ayrıca, bu güçlü YOLO11 yeteneklerini göstermek için performans karşılaştırmaları da içerir.

NVIDIA Spark nedir?

NVIDIA Spark, NVIDIA Grace Blackwell Süper Çip ile güçlendirilmiş kompakt bir masaüstü yapay zeka süper bilgisayarıdır. FP4 hassasiyetiyle 1 petaFLOP'a kadar yapay zeka hesaplama performansı sunarak, masaüstü form faktöründe güçlü yapay zeka yeteneklerine ihtiyaç duyan geliştiriciler, araştırmacılar ve veri bilimcileri için ideal bir seçimdir.

Önemli Özellikler

DGX İşletim Sistemi

NVIDIA OS, DGX sistemlerinde yapay zeka, makine öğrenimi ve analitik uygulamaları çalıştırmak için kararlı, test edilmiş ve desteklenen bir işletim sistemi temeli sağlayan özelleştirilmiş bir Linux dağıtımıdır. Şunları içerir:

• AI iş yükleri için optimize edilmiş sağlam bir Linux temeli
• NVIDIA için önceden yapılandırılmış sürücüler ve sistem ayarları
• Güvenlik güncellemeleri ve sistem bakım yetenekleri
• Daha geniş NVIDIA ekosistemiyle uyumluluk

DGX OS, genellikle yılda iki kez (Şubat ve Ağustos aylarında) güncellemeler sunan düzenli bir sürüm takvimi izler ve büyük sürümler arasında ek güvenlik yamaları sağlanır.

DGX Kontrol Paneli

DGX Spark, aşağıdakileri sağlayan yerleşik bir DGX Dashboard ile birlikte gelir:

• Gerçek Zamanlı Sistem İzleme: Sistemin mevcut operasyonel metriklerine genel bakış
• Sistem Güncellemeleri: Güncellemeleri doğrudan kontrol panelinden uygulama yeteneği
• Sistem Ayarları: Cihaz adını ve diğer yapılandırmaları değiştirin
• Entegre JupyterLab: Geliştirme için yerel Jupyter Notebook'lara erişin

Kontrol Paneline Erişim

# Open an SSH tunnel
ssh -L 11000:localhost:11000 <username>@<IP or spark-abcd.local>

# Then open in browser
# http://localhost:11000

Docker ile Hızlı Başlangıç

NVIDIA SparkYOLO11 Ultralytics YOLO11 kullanmaya başlamanın en hızlı yolu, önceden oluşturulmuş docker görüntülerini çalıştırmaktır. Jetson AGX Thor (JetPack 7.0) destekleyen aynı Docker görüntüsü, DGX OS ile DGX Spark üzerinde de çalışır.

t=ultralytics/ultralytics:latest-nvidia-arm64
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia --gpus all $t

Bu işlem tamamlandıktan sonra, NVIDIA TensorRT Kullanma bölümüne geçin.

Yerel Kurulum ile başlayın

Docker olmadan yerel kurulum için şu adımları izleyin.

Ultralytics Paketini Kurulumu

Burada, DGX Spark üzerine Ultralytics isteğe bağlı bağımlılıklarla birlikte yükleyeceğiz, böylece PyTorch modellerini farklı formatlara aktarabilmek için DGX Spark'a Ultralytics paketini yükleyeceğiz. TensorRT , DGX Spark'tan maksimum performansı elde etmemizi TensorRT , esas olarak NVIDIA TensorRT odaklanacağız.

1. Paketler listesini güncelleyin, pip'i kurun ve en son sürüme yükseltin

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Kurulum ultralytics isteğe bağlı bağımlılıkları olan pip paketi

   pip install ultralytics[export]
   

3. Cihazı yeniden başlatın

   sudo reboot
   

PyTorch ve Torchvision'ı yükle

Yukarıdaki ultralytics Torch Torchvision'ı yükleyecektir. Ancak, pip aracılığıyla yüklenen bu paketler, CUDA ile DGX Spark'ın ARM64 mimarisi için tam olarak optimize edilmemiş olabilir. Bu nedenle, CUDA ile uyumlu sürümleri yüklemenizi öneririz:

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

UserWarning: Found GPU0 NVIDIA GB10 which is of cuda capability 12.1.
Minimum and Maximum cuda capability supported by this version of PyTorch is (8.0) - (12.0)

Kurulum onnxruntime-gpu

onnxruntime-gpu PyPI'de barındırılan paketinde aarch64 ARM64 sistemleri için ikili dosyalar. Bu yüzden bu paketi manuel olarak yüklememiz gerekiyor. Bu paket bazı dışa aktarımlar için gereklidir.

Burada indirecek ve kuracağız onnxruntime-gpu 1.24.0 ile Python3.12 destek.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

NVIDIA TensorRT kullanın

Ultralytics tarafından desteklenen tüm model dışa aktarım formatları arasında, TensorRT NVIDIA Spark üzerinde en yüksek çıkarım performansı TensorRT ve bu nedenle dağıtımlar için en çok önerdiğimiz seçenektir. Kurulum talimatları ve gelişmiş kullanım için özel TensorRT kılavuzumuza bakın.

Modeli TensorRT'ye Dönüştürün ve Çıkarım Çalıştırın

PyTorch formatındaki YOLO11n modeli, dışa aktarılan modelle çıkarım çalıştırmak için TensorRT'ye dönüştürülür.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine # creates 'yolo11n.engine'

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA Spark YOLO11

YOLO11 , Ultralytics tarafından hız ve doğruluğu ölçen birden fazla model formatında gerçekleştirildi: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF , MNN, NCNN, ExecuTorch. Karşılaştırmalar, NVIDIA Spark üzerinde FP32 hassasiyetinde ve varsayılan giriş görüntü boyutu 640 olarak gerçekleştirildi.

Detaylı Karşılaştırma Tablosu

Aşağıdaki tablo, beş farklı modelin (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) birden fazla formatta elde edilen karşılaştırma sonuçlarını göstermektedir. Bu tablo, her bir kombinasyonun durumunu, boyutunu, mAP50(B) metriğini ve çıkarım süresini vermektedir.

Sonuçlarımızı Tekrar Üretin

Yukarıdaki Ultralytics kıyaslamalarını tüm dışa aktarma biçimlerinde yeniden oluşturmak için bu kodu çalıştırın:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco128.yaml imgsz=640

NVIDIA Spark için En İyi Uygulamalar

NVIDIA Spark kullanırken, YOLO11 çalıştırırken maksimum performans elde etmek için izlenmesi gereken birkaç en iyi uygulama vardır.

1. Sistem Performansını İzleme

   NVIDIA izleme araçlarını kullanarakGPU CPU track :

   nvidia-smi
   

2. Bellek Kullanımını Optimize Et

   128 GB birleşik bellek ile DGX Spark, büyük parti boyutlarını ve modelleri işleyebilir. Daha iyi verimlilik için parti boyutunu artırmayı düşünün:

   from ultralytics import YOLO
   
   model = YOLO("yolo11n.engine")
   results = model.predict(source="path/to/images", batch=16)
   

3. FP16 veya INT8 TensorRT kullanın

   En iyi performans için, FP16 veya INT8 hassasiyetiyle modelleri dışa aktarın:

   yolo export model=yolo11n.pt format=engine half=True # FP16
   yolo export model=yolo11n.pt format=engine int8=True # INT8
   

Sistem Güncellemeleri (Kurucular Sürümü)

DGX Spark Founders Edition'ı güncel tutmak, performans ve güvenlik açısından çok önemlidir. NVIDIA , sistem işletim sistemini, sürücüleri ve ürün yazılımını güncellemek için iki temel yöntem NVIDIA .

DGX Dashboard'u kullanma (Önerilen)

DGX Dashboard, uyumluluğu sağlayan sistem güncellemelerini gerçekleştirmek için önerilen yöntemdir. Bu araçla şunları yapabilirsiniz:

• Mevcut sistem güncellemelerini görüntüle
• Güvenlik yamalarını ve sistem güncellemelerini yükleyin
• NVIDIA ve ürün yazılımı güncellemelerini yönetme

Manuel Sistem Güncellemeleri

İleri düzey kullanıcılar için güncellemeler terminal üzerinden manuel olarak gerçekleştirilebilir:

sudo apt update
sudo apt dist-upgrade
sudo fwupdmgr refresh
sudo fwupdmgr upgrade
sudo reboot

Sonraki Adımlar

Daha fazla öğrenme ve destek için Ultralytics YOLO11 Belgeleri'ne bakınız.

SSS

Ultralytics YOLO11 NVIDIA YOLO11 nasıl kullanırım?

Ultralytics YOLO11 NVIDIA SparkYOLO11 kurmak oldukça basittir. Hızlı kurulum için önceden oluşturulmuş Docker görüntüsünü kullanabilir veya gerekli paketleri manuel olarak yükleyebilirsiniz. Her iki yaklaşım için ayrıntılı adımlar, Docker ile Hızlı Başlangıç ve Yerel Kurulum ile Başlangıç bölümlerinde bulunabilir.

NVIDIA Spark YOLO11 ne tür bir performans bekleyebilirim?

YOLO11 , GB10 Grace Blackwell Superchip sayesinde DGX Spark üzerinde mükemmel performans sunar. TensorRT en iyi çıkarım performansını sağlar. Farklı model boyutları ve formatları için spesifik karşılaştırma sonuçlarını görmek için Ayrıntılı Karşılaştırma Tablosu bölümüne bakın.

DGX YOLO11 TensorRT neden TensorRT kullanmalıyım?

TensorRT , optimum performansı nedeniyle DGX Spark üzerinde YOLO11 dağıtmak için şiddetle tavsiye TensorRT . Blackwell GPU yararlanarak çıkarımları hızlandırır ve maksimum verimlilik ve hız sağlar. NVIDIA TensorRT Kullanma bölümünde daha fazla bilgi edinebilirsiniz.

DGX Spark, YOLO11 için Jetson cihazlarıyla karşılaştırıldığında nasıl bir performans sergiliyor?

DGX Spark, Jetson AGX Thor'un 2070 TFLOPS ve 128 GB bellek kapasitesine kıyasla, 1 PFLOP'a varan AI performansı ve 128 GB birleşik bellek ile Jetson cihazlarından önemli ölçüde daha fazla hesaplama gücü sunar. DGX Spark, masaüstü AI süper bilgisayarı olarak tasarlanırken, Jetson cihazları uç dağıtım için optimize edilmiş gömülü sistemlerdir.

DGX Spark ve Jetson AGX Thor için aynı Docker görüntüsünü kullanabilir miyim?

Evet! ultralytics/ultralytics:latest-nvidia-arm64 Docker görüntüsü, NVIDIA Spark (DGX OS ile) ve Jetson AGX Thor (JetPack 7.0 ile) destekler, çünkü her ikisi de CUDA ve benzer yazılım yığınları ile ARM64 mimarisini kullanır.

📅 0 gün önce oluşturuldu ✏️ 0 gün önce güncellendi

Yorumlar