Hızlı Başlangıç Kılavuzu: NVIDIA Jetson ile Ultralytics YOLO26#

Bu kapsamlı kılavuz, Ultralytics YOLO26'yı NVIDIA Jetson cihazlarına dağıtmak için ayrıntılı bir yol haritası sunar. Ayrıca YOLO26'nın bu küçük ve güçlü cihazlardaki yeteneklerini göstermek için performans karşılaştırmalarına yer verir.

NVIDIA Jetson nedir?#

NVIDIA Jetson, uç cihazlara hızlandırılmış yapay zekâ (AI) işlem gücü sunmak için tasarlanmış gömülü bilgi işlem kartları serisidir. Bu kompakt ve güçlü cihazlar NVIDIA GPU mimarisi üzerine kuruludur ve derin öğrenme modellerini karmaşık yapay zekâ algoritmalarıyla birlikte bulut bilişim kaynaklarına ihtiyaç duymadan doğrudan cihazda çalıştırabilir. Jetson kartları genellikle robotik, otonom araçlar, endüstriyel otomasyon ve yapay zekâ çıkarımının düşük gecikmeyle ve yüksek verimlilikle yerel olarak gerçekleştirilmesi gereken diğer uygulamalarda kullanılır. Ayrıca bu kartlar ARM64 mimarisini temel alır ve geleneksel GPU bilgi işlem cihazlarına kıyasla daha düşük güç tüketimiyle çalışır.

NVIDIA Jetson Serisi Karşılaştırması#

NVIDIA Jetson AGX Thor, önceki nesillere kıyasla yapay zekâ performansını büyük ölçüde artıran NVIDIA Blackwell mimarisini temel alan, NVIDIA Jetson ailesinin en yeni sürümüdür. Aşağıdaki tabloda ekosistemdeki bazı Jetson cihazları karşılaştırılıyor.

Daha ayrıntılı bir karşılaştırma tablosu için resmî NVIDIA Jetson sayfasındaki Özellikleri Karşılaştır bölümünü ziyaret et.

NVIDIA JetPack nedir?#

Jetson modüllerine güç sağlayan NVIDIA JetPack SDK, uçtan uca hızlandırılmış AI uygulamaları geliştirmek için en kapsamlı çözümü sunar, eksiksiz bir geliştirme ortamı sağlar ve pazara sunma süresini kısaltır. JetPack; önyükleyici, Linux çekirdeği, Ubuntu masaüstü ortamı ve GPU hesaplama, multimedya, grafik ve bilgisayarlı görü hızlandırması için eksiksiz bir kitaplık kümesi içeren Jetson Linux'u kapsar. Ayrıca ana bilgisayar ve geliştirici kiti için örnekler, belgeler ve geliştirici araçlarının yanı sıra akış videosu analitiği için DeepStream, robotik için Isaac ve konuşma tabanlı AI için Riva gibi daha üst düzey SDK'ları da içerir.

NVIDIA Jetson'a JetPack'i yükle#

NVIDIA Jetson cihazını edindikten sonraki ilk adım, NVIDIA JetPack'i cihaza yüklemektir. NVIDIA Jetson cihazlarına yükleme yapmanın birkaç farklı yolu vardır.

1. Resmî Jetson AGX Thor, AGX Orin veya Orin Nano Developer Kit üzerinde JetPack 7.2 kullanmak için birleşik Jetson ISO'sunu indir, bir USB belleğe yaz ve AGX Thor, AGX Orin veya Orin Nano için cihaza özel hızlı başlangıç yönergelerini izle. JetPack 7.2 ile birlikte Orin Nano artık indirilebilir bir SD kart imajı kullanmıyor; ISO'yu USB'den yüklemek, Jetson Linux'u cihazın microSD kartına veya NVMe SSD'sine kuruyor.
2. Jetson Orin Nano Developer Kit üzerinde özellikle JetPack 6 kullanıyorsan NVIDIA'nın JetPack 6.x güncelleme ve SD kart yönergelerini izle.
3. Başka bir NVIDIA Development Kit'e sahipsen SDK Manager kullanarak JetPack'i cihaza yükleyebilirsin.
4. Seeed Studio reComputer J4012 cihazına sahipsen JetPack'i ürünle birlikte gelen SSD'ye yükleyebilirsin; Seeed Studio reComputer J1020 v2 cihazına sahipsen JetPack'i eMMC/SSD'ye yükleyebilirsin.
5. NVIDIA Jetson modülüyle çalışan başka bir üçüncü taraf cihaza sahipsen komut satırından yükleme yöntemini izlemen önerilir.

Jetson Cihazına Göre JetPack Desteği#

Aşağıdaki tabloda farklı NVIDIA Jetson cihazlarının desteklediği NVIDIA JetPack sürümleri gösterilmektedir.

Docker ile Hızlı Başlangıç#

NVIDIA Jetson'da Ultralytics YOLO26'yı kullanmaya başlamanın en hızlı yolu, Jetson için önceden oluşturulmuş Docker imajlarını çalıştırmaktır. Yukarıdaki tabloya bak ve sahip olduğun Jetson cihazına göre JetPack sürümünü seç.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

JetPack 4, 5 ve 6 imajları için NVIDIA Jetson'da TensorRT kullanma bölümüne geç. Yukarıdaki JetPack 7.1 imajı yalnızca PyTorch iş yükleri içindir.

Yerel Kurulumla Başla#

Docker kullanmadan yerel kurulum yapmak için aşağıdaki adımlara bak.

JetPack 7.2'de Çalıştır#

Ultralytics Paketini Yükle#

Burada Ultralytics paketini Jetson'a yükleyeceğiz. Dışa aktarma bağımlılıkları, bir modeli ilk kez dışa aktardığında otomatik olarak yüklenir; bu nedenle burada yalnızca temel paket gereklidir. Jetson cihazlarından en yüksek performansı almamızı sağladığı için ağırlıklı olarak NVIDIA TensorRT dışa aktarımlarına odaklanacağız.

1. Paket listesini güncelle, pip'i yükle ve en son sürüme yükselt

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. ultralytics pip paketini yükle

   pip install ultralytics

3. Cihazı yeniden başlat

   sudo reboot

PyTorch ve Torchvision'ı yükle#

Yukarıdaki Ultralytics kurulumu Torch ve Torchvision'ı yükler. Ancak pip aracılığıyla yüklenen bu iki paket, CUDA 13 kullanan JetPack 7.2 cihazlarında çalışmaya uygun değildir. Bu nedenle bunları elle yüklememiz gerekir.

JP7.2'ye uygun torch ve torchvision öğelerini yükle

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

onnxruntime-gpu öğesini yükle#

JetPack, Python ve CUDA sürümlerinle eşleşen bir ONNX Runtime GPU wheel'i kullan. PyPI'daki güncel sürümlerde ARM64 wheel'leri bulunsa da bunlar her JetPack sürümüne özgü paketlerin yerini tutmaz.

Burada Python3.12 desteğiyle onnxruntime-gpu 1.24.0 öğesini indirip yükleyeceğiz.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

JetPack 6.1'de Çalıştır#

Ultralytics Paketini Yükle#

Burada Ultralytics paketini Jetson'a yükleyeceğiz. Dışa aktarma bağımlılıkları, bir modeli ilk kez dışa aktardığında otomatik olarak yüklenir; bu nedenle burada yalnızca temel paket gereklidir. Jetson cihazlarından en yüksek performansı almamızı sağladığı için ağırlıklı olarak NVIDIA TensorRT dışa aktarımlarına odaklanacağız.

1. Paket listesini güncelle, pip'i yükle ve en son sürüme yükselt

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. ultralytics pip paketini yükle

   pip install ultralytics

3. Cihazı yeniden başlat

   sudo reboot

PyTorch ve Torchvision'ı yükle#

Yukarıdaki Ultralytics kurulumu Torch ve Torchvision'ı yükler. Ancak pip aracılığıyla yüklenen bu iki paket, ARM64 mimarisine dayalı Jetson platformuyla uyumlu değildir. Bu nedenle önceden oluşturulmuş bir PyTorch pip wheel'ini elle yüklememiz ve Torchvision'ı kaynaktan derlememiz veya yüklememiz gerekir.

JP6.1'e uygun torch 2.10.0 ve torchvision 0.25.0 öğelerini yükle

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.10.0-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.25.0-cp310-cp310-linux_aarch64.whl

torch 2.10.0 ile ilgili bir bağımlılık sorununu düzeltmek için cuDSS öğesini yükle

wget https://developer.download.nvidia.com/compute/cudss/0.7.1/local_installers/cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo dpkg -i cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo cp /var/cudss-local-tegra-repo-ubuntu2204-0.7.1/cudss-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cudss

onnxruntime-gpu öğesini yükle#

JetPack, Python ve CUDA sürümlerinle eşleşen bir ONNX Runtime GPU wheel'i kullan. PyPI'daki güncel sürümlerde ARM64 wheel'leri bulunsa da bunlar her JetPack sürümüne özgü paketlerin yerini tutmaz.

JetPack sürümü, Python sürümü ve diğer uyumluluk ayrıntılarına göre düzenlenmiş tüm onnxruntime-gpu paketlerini Jetson Zoo ONNX Runtime uyumluluk matrisinde bulabilirsin.

Python 3.10 desteğiyle JetPack 6 için onnxruntime-gpu 1.23.0 öğesini yükleyebilirsin:

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.23.0-cp310-cp310-linux_aarch64.whl

Alternatif olarak, onnxruntime-gpu 1.20.0 için:

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

JetPack 5.1.2'de Çalıştır#

Ultralytics Paketini Yükle#

Burada Ultralytics paketini Jetson'a yükleyeceğiz. Dışa aktarma bağımlılıkları, bir modeli ilk kez dışa aktardığında otomatik olarak yüklenir; bu nedenle burada yalnızca temel paket gereklidir. Jetson cihazlarından en yüksek performansı almamızı sağladığı için ağırlıklı olarak NVIDIA TensorRT dışa aktarımlarına odaklanacağız.

1. Paket listesini güncelle, pip'i yükle ve en son sürüme yükselt

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. ultralytics pip paketini yükle

   pip install ultralytics

3. Cihazı yeniden başlat

   sudo reboot

PyTorch ve Torchvision'ı yükle#

Yukarıdaki Ultralytics kurulumu Torch ve Torchvision'ı yükler. Ancak pip aracılığıyla yüklenen bu iki paket, ARM64 mimarisine dayalı Jetson platformuyla uyumlu değildir. Bu nedenle önceden oluşturulmuş bir PyTorch pip wheel'ini elle yüklememiz ve Torchvision'ı kaynaktan derlememiz veya yüklememiz gerekir.

1. Yüklü PyTorch ve Torchvision paketlerini kaldır

   pip uninstall torch torchvision

2. JP5.1.2'ye uygun torch 2.1.0 ve torchvision 0.16.2 öğelerini yükle

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.16.2+c6f3977-cp38-cp38-linux_aarch64.whl

onnxruntime-gpu öğesini yükle#

JetPack, Python ve CUDA sürümlerinle eşleşen bir ONNX Runtime GPU wheel'i kullan. PyPI'daki güncel sürümlerde ARM64 wheel'leri bulunsa da bunlar her JetPack sürümüne özgü paketlerin yerini tutmaz.

JetPack sürümü, Python sürümü ve diğer uyumluluk ayrıntılarına göre düzenlenmiş tüm onnxruntime-gpu paketlerini Jetson Zoo ONNX Runtime uyumluluk matrisinde bulabilirsin. Burada Python3.8 desteğiyle onnxruntime-gpu 1.17.0 öğesini indirip yükleyeceğiz.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

NVIDIA Jetson'da TensorRT Kullan#

Ultralytics'in desteklediği tüm model dışa aktarma biçimleri arasında TensorRT, NVIDIA Jetson cihazlarında en yüksek çıkarım performansını sunar ve bu nedenle Jetson dağıtımları için ilk önerimizdir. Dışa aktarmadan önce JetPack sürümünle birlikte gelen TensorRT Python bağlamalarını yükle ve python3 -c "import tensorrt; print(tensorrt.__version__)" ile doğrula. JetPack 6/7'de desteklenen TensorRT 10.x çalışma zamanını kullan; TensorRT 11.2.1 ile değiştirme. Kurulum yönergeleri ve gelişmiş kullanım için TensorRT entegrasyon kılavuzumuza bak.

Derleme ortamını yerel olarak yapılandırmadan da tarayıcı üzerinden dışa aktarım yapabilirsin. Ultralytics Platform'daki model Dışa Aktar sekmesinde TensorRT'yi ve hedeflediğin Jetson cihazını seç. Thor seçenekleri fiziksel Thor donanımında doğrulanır. Altı Orin seçeneği şu anda AGX-Orin üzerinde oluşturulmuş aday motorlar üretir; dağıtımdan önce bu motorları hedeflediğin Orin SKU'sunda doğrula.

Modeli TensorRT'ye Dönüştür ve Çıkarım Yap#

PyTorch biçimindeki YOLO26n modeli, dışa aktarılan modelle çıkarım yapmak üzere TensorRT'ye dönüştürülür.

from ultralytics import YOLO

# YOLO26n PyTorch modelini yükle
model = YOLO("yolo26n.pt")

# Modeli TensorRT'ye aktar
model.export(format="engine")  # 'yolo26n.engine' oluşturur

# Dışa aktarılan TensorRT modelini yükle
trt_model = YOLO("yolo26n.engine")

# Çıkarımı çalıştır
results = trt_model("https://ultralytics.com/images/bus.jpg")

NVIDIA Derin Öğrenme Hızlandırıcısını (DLA) Kullan#

NVIDIA Derin Öğrenme Hızlandırıcısı (DLA), enerji verimliliği ve performans için derin öğrenme çıkarımını optimize eden, NVIDIA Jetson cihazlarına yerleşik özel bir donanım bileşenidir. Görevleri GPU'dan devralarak (GPU'yu daha yoğun işlemler için serbest bırakarak) DLA, yüksek iş hacmini korurken modellerin daha az güç tüketerek çalışmasını sağlar; bu özellik gömülü sistemler ve gerçek zamanlı AI uygulamaları için idealdir.

Aşağıdaki Jetson cihazlarında DLA donanımı bulunur:

from ultralytics import YOLO

# YOLO26n PyTorch modelini yükle
model = YOLO("yolo26n.pt")

# DLA etkin olacak şekilde modeli TensorRT'ye aktar (yalnızca FP16 veya INT8 ile çalışır)
model.export(format="engine", device="dla:0", quantize=16)  # dla:0 veya dla:1, DLA çekirdeklerine karşılık gelir

# Dışa aktarılan TensorRT modelini yükle
trt_model = YOLO("yolo26n.engine")

# Çıkarımı çalıştır
results = trt_model("https://ultralytics.com/images/bus.jpg")

NVIDIA Jetson YOLO26 Karşılaştırma Sonuçları#

YOLO26 karşılaştırma testleri, Ultralytics ekibi tarafından hız ve doğruluğu ölçmek üzere 11 farklı model biçiminde gerçekleştirildi: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch. Testler; NVIDIA Jetson AGX Thor Developer Kit, NVIDIA Jetson AGX Orin Developer Kit (64GB), NVIDIA Jetson Orin Nano Super Developer Kit ve Jetson Orin NX 16GB cihazıyla çalışan Seeed Studio reComputer J4012 üzerinde, varsayılan 640 giriş görüntüsü boyutunda FP32 hassasiyetiyle gerçekleştirildi.

Karşılaştırma Grafikleri#

Tüm model dışa aktarımları NVIDIA Jetson'da çalışsa da aşağıdaki karşılaştırma grafiğine yalnızca PyTorch, TorchScript ve TensorRT'yi ekledik; çünkü bunlar Jetson'daki GPU'dan yararlanır ve en iyi sonuçları verdiği garanti edilir. Diğer tüm dışa aktarma biçimleri yalnızca CPU'yu kullanır ve performansları bu üç biçim kadar iyi değildir. Tüm dışa aktarma biçimlerine ait karşılaştırma sonuçlarını bu grafikten sonraki bölümde bulabilirsin.

NVIDIA Jetson AGX Thor Geliştirici Kiti#

NVIDIA Jetson AGX Orin Geliştirici Kiti (64GB)#

NVIDIA Jetson Orin Nano Super Geliştirici Kiti#

NVIDIA Jetson Orin NX 16GB#

Ayrıntılı Karşılaştırma Tabloları#

Aşağıdaki tablo, 11 farklı formatta (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch) beş farklı modelin (YOLO26n, YOLO26s, YOLO26m, YOLO26l, YOLO26x) kıyaslama sonuçlarını gösterir; her kombinasyon için durumu, boyutu, mAP50-95(B) metriğini ve çıkarım süresini sunar.

NVIDIA Jetson AGX Thor Geliştirici Kiti#

NVIDIA Jetson AGX Orin Geliştirici Kiti (64GB)#

NVIDIA Jetson Orin Nano Super Geliştirici Kiti#

NVIDIA Jetson Orin NX 16GB#

Farklı NVIDIA Jetson donanım sürümlerinde çalışan Seeed Studio'nun diğer kıyaslama çalışmalarını keşfet.

Sonuçlarımızı Yeniden Üretme#

Yukarıdaki Ultralytics kıyaslamalarını tüm dışa aktarma formatlarında yeniden üretmek için şu kodu çalıştır:

from ultralytics import YOLO

# YOLO26n PyTorch modelini yükle
model = YOLO("yolo26n.pt")

# COCO128 veri kümesinde YOLO26n hızını ve doğruluğunu tüm dışa aktarma formatları için kıyasla
results = model.benchmark(data="coco128.yaml", imgsz=640)

NVIDIA Jetson Kullanımı için En İyi Uygulamalar#

NVIDIA Jetson kullanırken, YOLO26 çalıştıran NVIDIA Jetson'da en yüksek performansı elde etmek için izlemen gereken birkaç en iyi uygulama vardır.

1. MAX Güç Modunu Etkinleştir

   Jetson'da MAX Güç Modunu etkinleştirmek, tüm CPU ve GPU çekirdeklerinin açık olmasını sağlar.

   sudo nvpmodel -m 0

2. Jetson Clocks'u Etkinleştir

   Jetson Clocks'u etkinleştirmek, tüm CPU ve GPU çekirdeklerinin en yüksek frekanslarında çalışmasını sağlar.

   sudo jetson_clocks

3. Jetson Stats Uygulamasını Yükle

   Sistem bileşenlerinin sıcaklıklarını izlemek ve CPU, GPU, RAM kullanımını görüntülemek, güç modlarını değiştirmek, en yüksek saat hızlarını ayarlamak ve JetPack bilgilerini kontrol etmek gibi diğer sistem ayrıntılarını incelemek için jetson stats uygulamasını kullanabiliriz.

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop

NVIDIA Jetson için Bellek Optimizasyonu İpuçları#

Kullanılabilir bellek, özellikle Jetson Orin Nano (8 GB) veya Orin NX 8 GB gibi belleği az olan Jetson cihazlarında genellikle sınırlayıcı etkendir. Aşağıdaki ipuçları, bir arada uygulandığında yüzlerce megabayt bellek boşaltabilecek ve daha büyük YOLO modellerini çalıştırmanı ya da ek paralel iş yüklerini desteklemeni sağlayabilecek pratik, düşük riskli değişikliklerdir. Kapsamlı bilgi için Jetson'da bellek verimliliğini en üst düzeye çıkarmaya yönelik NVIDIA blog yazısına göz at.

1. Başsız (GUI'siz) Önyüklemeye Geç#

Jetson'ına SSH üzerinden bağlanıyorsan veya ekrana bağlı olmadan bir üretim cihazı olarak çalıştırıyorsan, masaüstü ortamını ve görüntü sunucusunu kaldırarak 865 MB'a kadar RAM kazanabilirsin:

sudo systemctl set-default multi-user.target
sudo reboot

Masaüstünü daha sonra geri yüklemek için:

sudo systemctl set-default graphical.target
sudo reboot

2. Kullanılmayan Sistem Hizmetlerini Devre Dışı Bırak#

Gerekli olmayan arka plan hizmetleri (Bluetooth, bağlantı yöneticileri, kullanılmayan donanım arka plan süreçleri) toplamda yaklaşık 32 MB bellek kullanır. Etkin hizmetleri listele ve dağıtımında gerekmeyenleri devre dışı bırak:

# List running services
systemctl list-units --type=service --state=running

# Disable a service
sudo systemctl disable SERVICE_NAME

3. Bellek Kullanımını Profille#

Optimizasyon yapmadan önce hangi süreçlerin gerçekten RAM kullandığını belirle. procrank, süreçleri PSS'ye (Orantılı Küme Boyutu) göre sıralar; PSS, bir sürecin diğer süreçlerle paylaşılan sayfalar dahil eşlenmiş toplam fiziksel RAM sayfalarını ifade eden RSS'den (Yerleşik Küme Boyutu) farklı olarak, süreç başına gerçek bellek ayak izini daha doğru yansıtır:

git clone https://github.com/csimmonds/procrank_linux.git
cd procrank_linux && make
sudo ./procrank

Süreç başına GPU ve NvMap (CUDA/video işlem hattı) bellek ayırmalarını görmek için:

sudo cat /sys/kernel/debug/nvmap/iovmm/clients

4. Üretimde Görüntü Olmadan Çıkarım Çalıştır#

Canlı önizleme gerektirmeyen çıkarım işlem hatlarında, görüntüyle ilgili bileşenleri (Tiler, OSD, DisplaySink) devre dışı bırakmak yalnızca işlem hattından 200+ MB kazandırabilir. Ultralytics YOLO ile görüntüleyiciyi kapat ve sonuçları bunun yerine diske yaz:

from ultralytics import YOLO

model = YOLO("yolo26n.engine")

# show=False herhangi bir görüntü penceresinin açılmasını önler; save=True açıklama eklenmiş çıktıyı diske yazar
results = model.predict(source="video.mp4", show=False, save=True)

Toplam Etki#

Bu değişiklikleri bir arada uygulamak, belleğin sınırlı olduğu cihazlarda TensorRT INT8 modellerini hedeflerken özellikle yararlıdır; daha büyük bir model varyantını belleğe sığdırıp sığdıramaman arasındaki farkı yaratabilir.

Sonraki Adımlar#

Daha fazla bilgi ve destek için Ultralytics YOLO26 Belgeleri sayfasına göz at.

Sık Sorulan Sorular#