Hızlı Başlangıç Kılavuzu: Ultralytics YOLO26 ile NVIDIA Jetson

Bu kapsamlı kılavuz, Ultralytics YOLO26'nın NVIDIA Jetson cihazlarına nasıl kurulacağına dair ayrıntılı bir yol haritası sunar. Ayrıca, YOLO26'nın bu küçük ve güçlü cihazlardaki yeteneklerini göstermek için performans karşılaştırmaları içerir.

NVIDIA Jetson nedir?

NVIDIA Jetson is a series of embedded computing boards designed to bring accelerated AI (artificial intelligence) computing to edge devices. These compact and powerful devices are built around NVIDIA's GPU architecture and can run complex AI algorithms and deep learning models directly on the device, without relying on cloud computing resources. Jetson boards are often used in robotics, autonomous vehicles, industrial automation, and other applications where AI inference needs to be performed locally with low latency and high efficiency. Additionally, these boards are based on the ARM64 architecture and run at lower power compared to traditional GPU computing devices.

NVIDIA Jetson Serisi Karşılaştırması

NVIDIA Jetson AGX Thor, önceki nesillere kıyasla yapay zeka performansında önemli ölçüde artış sağlayan NVIDIA Blackwell mimarisi tabanlı NVIDIA Jetson ailesinin en son sürümüdür. Aşağıdaki tablo, ekosistemdeki bazı Jetson cihazlarını karşılaştırmaktadır.

Daha ayrıntılı bir karşılaştırma tablosu için lütfen resmi NVIDIA Jetson sayfası üzerindeki Özellikleri Karşılaştır bölümünü ziyaret et.

NVIDIA JetPack nedir?

Jetson modüllerine güç veren NVIDIA JetPack SDK, en kapsamlı çözümdür ve uçtan uca hızlandırılmış yapay zeka uygulamaları oluşturmak için eksiksiz bir geliştirme ortamı sağlar, ayrıca pazara sunma süresini kısaltır. JetPack; önyükleyici, Linux çekirdeği, Ubuntu masaüstü ortamı içeren Jetson Linux'u ve GPU bilgi işlemi, multimedya, grafik ve bilgisayarlı görü hızlandırması için eksiksiz bir kütüphane seti sunar. Ayrıca hem ana bilgisayar hem de geliştirici kiti için örnekler, belgeler ve geliştirici araçları içerir ve video analitiği için DeepStream, robotik için Isaac ve konuşma tabanlı yapay zeka için Riva gibi daha üst düzey SDK'ları destekler.

NVIDIA Jetson'a JetPack yükleme

Bir NVIDIA Jetson cihazını eline aldığında yapman gereken ilk adım, cihazı NVIDIA JetPack ile flaşlamaktır. NVIDIA Jetson cihazlarını flaşlamanın birkaç farklı yolu vardır.

1. Jetson AGX Thor Developer Kit gibi resmi bir NVIDIA Geliştirme Kiti'ne sahipsen, bir görüntü indirip JetPack'i dahil edilen SSD'ye flaşlamak için önyüklenebilir bir USB bellek hazırlayabilirsin.
2. Jetson Orin Nano Developer Kit gibi resmi bir NVIDIA Geliştirme Kiti'ne sahipsen, bir görüntü indirip cihazı başlatmak için JetPack yüklü bir SD kart hazırlayabilirsin.
3. Başka bir NVIDIA Geliştirme Kiti'ne sahipsen, SDK Manager'ı kullanarak JetPack'i cihaza flaşlayabilirsin.
4. Bir Seeed Studio reComputer J4012 cihazına sahipsen, dahili SSD'ye JetPack flaşlayabilirsin ve eğer bir Seeed Studio reComputer J1020 v2 cihazına sahipsen, eMMC/SSD üzerine JetPack flaşlayabilirsin.
5. NVIDIA Jetson modülü tarafından desteklenen başka bir üçüncü taraf cihaza sahipsen, komut satırı ile flaşlama yöntemini izlemen önerilir.

Jetson Cihazına Göre JetPack Desteği

Aşağıdaki tablo, farklı NVIDIA Jetson cihazları tarafından desteklenen NVIDIA JetPack sürümlerini vurgulamaktadır.

Docker ile Hızlı Başlangıç

NVIDIA Jetson üzerinde Ultralytics YOLO26 ile başlamanın en hızlı yolu, Jetson için önceden oluşturulmuş docker görüntüleri ile çalıştırmaktır. Yukarıdaki tabloya başvur ve sahip olduğun Jetson cihazına uygun JetPack sürümünü seç.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Bu işlem tamamlandıktan sonra, NVIDIA Jetson'da TensorRT Kullanımı bölümüne atla.

Yerel Kurulumla Başla

Docker olmadan yerel bir kurulum için lütfen aşağıdaki adımları izle.

JetPack 7.0 üzerinde çalıştırma

Ultralytics Paketini Yükle

Burada, PyTorch modellerini diğer farklı formatlara dışa aktarabilmek için isteğe bağlı bağımlılıklarla birlikte Jetson üzerine Ultralytics paketini kuracağız. Öncelikle NVIDIA TensorRT dışa aktarmalarına odaklanacağız çünkü TensorRT, Jetson cihazlarından maksimum performansı almamızı sağlayacaktır.

1. Paket listesini güncelle, pip'i yükle ve en son sürüme yükselt

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. İsteğe bağlı bağımlılıklarla ultralytics pip paketini yükle

   pip install ultralytics[export]

3. Cihazı yeniden başlat

   sudo reboot

PyTorch ve Torchvision'ı Yükle

Yukarıdaki ultralytics kurulumu, Torch ve Torchvision'ı kuracaktır. Ancak, pip aracılığıyla kurulan bu iki paket, JetPack 7.0 ve CUDA 13 ile gelen Jetson AGX Thor üzerinde çalışmak için uyumlu değildir. Bu nedenle, bunları manuel olarak kurmamız gerekiyor.

JP7.0'a göre torch ve torchvision kur

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

onnxruntime-gpu yükle

PyPI'da barındırılan onnxruntime-gpu paketi, Jetson için aarch64 ikili dosyalarına sahip değildir. Bu yüzden bu paketi manuel olarak kurmamız gerekiyor. Bu paket, bazı dışa aktarma işlemleri için gereklidir.

Here we will download and install onnxruntime-gpu 1.24.0 with Python3.12 support.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

JetPack 6.1 üzerinde çalıştırma

Ultralytics Paketini Yükle

Burada, PyTorch modellerini diğer farklı formatlara dışa aktarabilmek için isteğe bağlı bağımlılıklarla birlikte Jetson üzerine Ultralytics paketini kuracağız. Öncelikle NVIDIA TensorRT dışa aktarmalarına odaklanacağız çünkü TensorRT, Jetson cihazlarından maksimum performansı almamızı sağlayacaktır.

1. Paket listesini güncelle, pip'i yükle ve en son sürüme yükselt

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. İsteğe bağlı bağımlılıklarla ultralytics pip paketini yükle

   pip install ultralytics[export]

3. Cihazı yeniden başlat

   sudo reboot

PyTorch ve Torchvision'ı Yükle

Yukarıdaki ultralytics kurulumu, Torch ve Torchvision'ı kuracaktır. Ancak, pip aracılığıyla kurulan bu iki paket, ARM64 mimarisine dayalı Jetson platformu ile uyumlu değildir. Bu nedenle, önceden oluşturulmuş bir PyTorch pip tekerleğini manuel olarak kurmamız ve Torchvision'ı kaynaktan derlememiz veya kurmamız gerekiyor.

JP6.1'e göre torch 2.10.0 ve torchvision 0.25.0 kur

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.10.0-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.25.0-cp310-cp310-linux_aarch64.whl

Install cuDSS to fix a dependency issue with torch 2.10.0

wget https://developer.download.nvidia.com/compute/cudss/0.7.1/local_installers/cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo dpkg -i cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo cp /var/cudss-local-tegra-repo-ubuntu2204-0.7.1/cudss-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cudss

onnxruntime-gpu yükle

PyPI'da barındırılan onnxruntime-gpu paketi, Jetson için aarch64 ikili dosyalarına sahip değildir. Bu yüzden bu paketi manuel olarak kurmamız gerekiyor. Bu paket, bazı dışa aktarma işlemleri için gereklidir.

JetPack sürümü, Python sürümü ve diğer uyumluluk ayrıntılarına göre düzenlenmiş tüm mevcut onnxruntime-gpu paketlerini Jetson Zoo ONNX Runtime uyumluluk matrisi sayfasında bulabilirsin.

Python 3.10 desteğine sahip JetPack 6 için onnxruntime-gpu 1.23.0 sürümünü kurabilirsin:

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.23.0-cp310-cp310-linux_aarch64.whl

Alternatif olarak, onnxruntime-gpu 1.20.0 için:

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

JetPack 5.1.2 üzerinde çalıştırma

Ultralytics Paketini Yükle

Burada, PyTorch modellerini diğer farklı formatlara dışa aktarabilmek için isteğe bağlı bağımlılıklarla birlikte Jetson üzerine Ultralytics paketini kuracağız. Öncelikle NVIDIA TensorRT dışa aktarmalarına odaklanacağız çünkü TensorRT, Jetson cihazlarından maksimum performansı almamızı sağlayacaktır.

1. Paket listesini güncelle, pip'i yükle ve en son sürüme yükselt

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. İsteğe bağlı bağımlılıklarla ultralytics pip paketini yükle

   pip install ultralytics[export]

3. Cihazı yeniden başlat

   sudo reboot

PyTorch ve Torchvision'ı Yükle

Yukarıdaki ultralytics kurulumu, Torch ve Torchvision'ı kuracaktır. Ancak, pip aracılığıyla kurulan bu iki paket, ARM64 mimarisine dayalı Jetson platformu ile uyumlu değildir. Bu nedenle, önceden oluşturulmuş bir PyTorch pip tekerleğini manuel olarak kurmamız ve Torchvision'ı kaynaktan derlememiz veya kurmamız gerekiyor.

1. Halihazırda kurulu olan PyTorch ve Torchvision'ı kaldır

   pip uninstall torch torchvision

2. JP5.1.2'ye göre torch 2.1.0 ve torchvision 0.16.2 kur

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.16.2+c6f3977-cp38-cp38-linux_aarch64.whl

onnxruntime-gpu yükle

PyPI'da barındırılan onnxruntime-gpu paketi, Jetson için aarch64 ikili dosyalarına sahip değildir. Bu yüzden bu paketi manuel olarak kurmamız gerekiyor. Bu paket, bazı dışa aktarma işlemleri için gereklidir.

You can find all available onnxruntime-gpu packages—organized by JetPack version, Python version, and other compatibility details—in the Jetson Zoo ONNX Runtime compatibility matrix. Here we will download and install onnxruntime-gpu 1.17.0 with Python3.8 support.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

NVIDIA Jetson üzerinde TensorRT kullan

Ultralytics tarafından desteklenen tüm model dışa aktarma formatları arasında TensorRT, NVIDIA Jetson cihazlarında en yüksek çıkarım performansını sunar, bu nedenle Jetson dağıtımları için en iyi önerimizdir. Kurulum talimatları ve gelişmiş kullanım için özel TensorRT entegrasyon kılavuzumuza göz at.

Modeli TensorRT'ye Dönüştür ve Çıkarımı Çalıştır

PyTorch formatındaki YOLO26n modeli, dışa aktarılan model ile çıkarım çalıştırmak için TensorRT'ye dönüştürülür.

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo26n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

NVIDIA Derin Öğrenme Hızlandırıcısı (DLA) kullan

NVIDIA Derin Öğrenme Hızlandırıcısı (DLA), NVIDIA Jetson cihazlarına yerleşik, derin öğrenme çıkarımını enerji verimliliği ve performans için optimize eden özel bir donanım bileşenidir. Görevleri GPU'dan alarak (onu daha yoğun işlemler için serbest bırakarak), DLA modellerin daha düşük güç tüketimiyle çalışmasını sağlarken yüksek iş hacmini korur; bu da gömülü sistemler ve gerçek zamanlı yapay zeka uygulamaları için idealdir.

Aşağıdaki Jetson cihazları DLA donanımı ile donatılmıştır:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", half=True)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

NVIDIA Jetson YOLO11/ YOLO26 Karşılaştırmaları

YOLO11/ YOLO26 karşılaştırmaları, hız ve doğruluğu ölçmek için 11 farklı model formatında Ultralytics ekibi tarafından çalıştırıldı: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch. Karşılaştırmalar, NVIDIA Jetson AGX Thor Developer Kit, NVIDIA Jetson AGX Orin Developer Kit (64GB), NVIDIA Jetson Orin Nano Super Developer Kit ve Jetson Orin NX 16GB cihazı tarafından desteklenen Seeed Studio reComputer J4012 üzerinde, 640 varsayılan giriş görsel boyutu ve FP32 hassasiyeti ile çalıştırıldı.

Karşılaştırma Grafikleri

Tüm model dışa aktarımları NVIDIA Jetson üzerinde çalışsa da, aşağıdaki karşılaştırma grafiğine yalnızca PyTorch, TorchScript, TensorRT formatlarını dahil ettik çünkü bunlar Jetson üzerindeki GPU'dan yararlanır ve en iyi sonuçları vermeleri garantidir. Diğer tüm dışa aktarımlar yalnızca CPU'yu kullanır ve performansları yukarıdaki üçü kadar iyi değildir. Tüm dışa aktarmalara ait karşılaştırmaları bu grafikten sonraki bölümde bulabilirsin.

NVIDIA Jetson AGX Thor Developer Kit

NVIDIA Jetson AGX Orin Developer Kit (64GB)

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

Detaylı Karşılaştırma Tabloları

Aşağıdaki tablo, 11 farklı formatta (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch) beş farklı modelin (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) karşılaştırma sonuçlarını sunarak her kombinasyon için durumu, boyutu, mAP50-95(B) metriğini ve çıkarım süresini verir.

NVIDIA Jetson AGX Thor Developer Kit

NVIDIA Jetson AGX Orin Developer Kit (64GB)

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

Farklı NVIDIA Jetson donanım sürümleri üzerinde çalışan Seeed Studio'nun diğer kıyaslama çalışmalarını keşfet.

Sonuçlarımızı Yeniden Oluştur

Yukarıdaki Ultralytics kıyaslama sonuçlarını tüm dışa aktarma formatlarında yeniden oluşturmak için bu kodu çalıştır:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

NVIDIA Jetson Kullanırken En İyi Uygulamalar

NVIDIA Jetson kullanırken, YOLO26 çalıştıran NVIDIA Jetson cihazında maksimum performansı elde etmek için izlemen gereken birkaç en iyi uygulama bulunmaktadır.

1. MAX Güç Modunu Etkinleştir

   Jetson üzerinde MAX Güç Modunu etkinleştirmek, tüm CPU ve GPU çekirdeklerinin açık olmasını sağlayacaktır.

   sudo nvpmodel -m 0

2. Jetson Saatlerini Etkinleştir

   Jetson Saatlerini etkinleştirmek, tüm CPU ve GPU çekirdeklerinin maksimum frekansta çalışmasını sağlayacaktır.

   sudo jetson_clocks

3. Jetson Stats Uygulamasını Kur

   Sistem bileşenlerinin sıcaklıklarını izlemek ve CPU, GPU, RAM kullanımını görüntülemek, güç modlarını değiştirmek, maksimum saat hızlarını ayarlamak, JetPack bilgilerini kontrol etmek gibi diğer sistem detaylarını görmek için jetson stats uygulamasını kullanabilirsin.

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop

NVIDIA Jetson için Bellek Optimizasyonu İpuçları

Mevcut bellek, özellikle Jetson Orin Nano (8 GB) veya Orin NX 8 GB gibi düşük belleğe sahip varyantlarda Jetson cihazlarında genellikle sınırlayıcı faktördür. Aşağıdaki ipuçları, toplu olarak birkaç yüz megabayt boş alan açmanı ve daha büyük YOLO modelleri çalıştırmanı veya ek paralel iş yüklerini desteklemeni sağlayacak pratik ve düşük riskli değişikliklerdir. Kapsamlı bir inceleme için Jetson üzerinde bellek verimliliğini en üst düzeye çıkarma hakkındaki NVIDIA blog yazısına göz atabilirsin.

Headless (GUI'siz) Önyüklemeye Geç

Jetson cihazın SSH üzerinden bağlıysa veya ekran takılı olmadan bir üretim cihazı olarak çalışıyorsa, masaüstü ortamını ve görüntü sunucusunu kaldırmak 865 MB'a kadar RAM tasarrufu sağlayabilir:

sudo systemctl set-default multi-user.target
sudo reboot

Masaüstünü daha sonra geri yüklemek için:

sudo systemctl set-default graphical.target
sudo reboot

Kullanılmayan Sistem Hizmetlerini Devre Dışı Bırak

Temel olmayan arka plan hizmetleri (Bluetooth, bağlantı yöneticileri, kullanılmayan donanım arka plan programları) toplamda yaklaşık 32 MB tüketir. Etkin hizmetleri listele ve dağıtımının gerektirmediği her şeyi devre dışı bırak:

# List running services
systemctl list-units --type=service --state=running

# Disable a service
sudo systemctl disable <service-name>

Bellek Kullanımını Profille

Optimize etmeden önce, hangi süreçlerin aslında RAM tükettiğini belirle. procrank, süreçleri PSS'ye (Orantılı Set Boyutu) göre sıralar; bu, diğer süreçlerle paylaşılan sayfalar da dahil olmak üzere bir süreç tarafından eşlenen toplam fiziksel RAM sayfaları olan RSS'den (Yerleşik Set Boyutu) daha doğru bir şekilde gerçek süreç başına bellek ayak izini yansıtır:

git clone https://github.com/csimmonds/procrank_linux.git
cd procrank_linux && make
sudo ./procrank

Süreç başına GPU ve NvMap (CUDA/video hattı) tahsislerini görmek için:

sudo cat /sys/kernel/debug/nvmap/iovmm/clients

Üretimde Ekran Olmadan Çıkarım Çalıştır

Canlı önizleme gereksinimi olmayan çıkarım hatları için, ekranla ilgili bileşenleri (Tiler, OSD, DisplaySink) devre dışı bırakmak, sadece hat üzerinden 200+ MB tasarruf sağlayabilir. Ultralytics YOLO ile görüntüleyiciyi baskıla ve sonuçları bunun yerine diske yaz:

from ultralytics import YOLO

model = YOLO("yolo11n.engine")

# show=False prevents any display window; save=True writes annotated output to disk
results = model.predict(source="video.mp4", show=False, save=True)

Kümülatif Etki

Bu değişiklikleri birleştirmek, özellikle bellek kısıtlı cihazlarda TensorRT INT8 modellerini hedeflerken değerlidir; bu, daha büyük bir model varyantının belleğe sığıp sığmaması arasındaki farkı yaratabilir.

Sonraki Adımlar

Daha fazla öğrenme ve destek için Ultralytics YOLO26 Dokümanlarına bak.

SSS

NVIDIA Jetson cihazlarında Ultralytics YOLO26'yı nasıl dağıtabilirim?

Ultralytics YOLO26'yı NVIDIA Jetson cihazlarında dağıtmak basit bir işlemdir. İlk olarak, Jetson cihazına NVIDIA JetPack SDK'sını yükle. Ardından, hızlı kurulum için önceden oluşturulmuş bir Docker imajı kullan veya gerekli paketleri manuel olarak yükle. Her yaklaşım için ayrıntılı adımlar Docker ile Hızlı Başlangıç ve Yerel Kurulumla Başla bölümlerinde bulunabilir.

NVIDIA Jetson cihazlarında YOLO11 modellerinden hangi performans kıyaslamalarını bekleyebilirim?

YOLO11 modelleri, çeşitli NVIDIA Jetson cihazlarında önemli performans iyileştirmeleri göstererek kıyaslanmıştır. Örneğin, TensorRT formatı en iyi çıkarım performansını sağlar. Ayrıntılı Karşılaştırma Tabloları bölümündeki tablo, mAP50-95 gibi performans metriklerinin ve farklı model formatlarındaki çıkarım süresinin kapsamlı bir görünümünü sunar.

NVIDIA Jetson üzerinde YOLO26 dağıtımı için neden TensorRT kullanmalıyım?

TensorRT, optimum performansı nedeniyle NVIDIA Jetson üzerinde YOLO26 modellerini dağıtmak için şiddetle önerilir. Jetson'ın GPU yeteneklerinden yararlanarak çıkarımı hızlandırır ve maksimum verimlilik ile hız sağlar. TensorRT'ye nasıl dönüştürüleceği ve çıkarımın nasıl çalıştırılacağı hakkında daha fazla bilgiyi NVIDIA Jetson üzerinde TensorRT Kullanımı bölümünde öğrenebilirsin.

NVIDIA Jetson'a PyTorch ve Torchvision'ı nasıl kurabilirim?

NVIDIA Jetson'a PyTorch ve Torchvision'ı kurmak için önce pip aracılığıyla yüklenmiş olabilecek mevcut sürümleri kaldır. Ardından, Jetson'ın ARM64 mimarisiyle uyumlu PyTorch ve Torchvision sürümlerini manuel olarak yükle. Bu süreç için ayrıntılı talimatlar PyTorch ve Torchvision'ı Kur bölümünde verilmiştir.

YOLO26 kullanırken NVIDIA Jetson'da performansı en üst düzeye çıkarmak için en iyi uygulamalar nelerdir?

YOLO26 ile NVIDIA Jetson'da performansı en üst düzeye çıkarmak için şu en iyi uygulamaları izle:

1. Tüm CPU ve GPU çekirdeklerini kullanmak için MAX Güç Modunu etkinleştir.
2. Tüm çekirdekleri maksimum frekanslarında çalıştırmak için Jetson Saatlerini etkinleştir.
3. Sistem metriklerini izlemek için Jetson Stats uygulamasını kur.

Komutlar ve ek ayrıntılar için NVIDIA Jetson Kullanırken En İyi Uygulamalar bölümüne başvur.

Daha büyük YOLO modelleri çalıştırmak için NVIDIA Jetson'da belleği nasıl boşaltabilirim?

Mevcut RAM, düşük belleğe sahip Jetson cihazlarında genellikle darboğazdır. Birlikte 1 GB'tan fazla bellek kurtarabilen üç kolay yöntem:

1. Headless önyüklemeye geç (sudo systemctl set-default multi-user.target), masaüstü GUI'sini ortadan kaldırır (~865 MB tasarruf).
2. Bluetooth veya bağlantı yöneticileri gibi kullanılmayan hizmetleri devre dışı bırak (~32 MB tasarruf).
3. Run inference without a display by setting show=False in your YOLO predict call, which avoids allocating display pipeline memory (~200+ MB saved).

Süreç başına RAM kullanımını profillemek için procrank kullan ve GPU tahsislerini incelemek için sudo cat /sys/kernel/debug/nvmap/iovmm/clients komutunu kullan. Tam ayrıntılar için Bellek Optimizasyonu İpuçları bölümüne bak.

TensorRT INT8 dışa aktarımım JetPack 6 üzerinde neden end2end'i devre dışı bırakıyor?

JetPack 6 ile birlikte gelen TensorRT 10.3.0, end2end=True etkinleştirildiğinde INT8 motor yapılarını engelleyen bilinen bir soruna sahiptir. Ultralytics bu kombinasyonu algıladığında, dışa aktarmanın başarılı olmasını sağlamak için end2end dalını otomatik olarak devre dışı bırakır.

end2end INT8 dışa aktarımlarını geri yüklemek için TensorRT'yi daha yeni bir sürüme (örneğin, 10.7.0+) yükselt:

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/arm64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get install -y tensorrt

Yükseltme işleminden sonra dışa aktarmanı tekrar çalıştır. Daha fazla ayrıntı için GitHub issue #23841 sayfasına bak.