Link to this sectionHızlı Başlangıç Kılavuzu: Ultralytics YOLO26 ile NVIDIA Jetson#
Bu kapsamlı kılavuz, Ultralytics YOLO26'yı NVIDIA Jetson cihazlarında dağıtmak için ayrıntılı bir yol haritası sunar. Ayrıca, YOLO26'nın bu küçük ve güçlü cihazlardaki yeteneklerini göstermek için performans kıyaslamalarını sergiler.
Bu kılavuzu, 2070 FP4 TFLOPS'a kadar AI hesaplama gücü ve 40 W ile 130 W arasında yapılandırılabilir güç ile 128 GB bellek sunan en yeni NVIDIA Jetson AGX Thor Developer Kit ile güncelledik. Bu kit, NVIDIA Jetson AGX Orin'den 7,5 kat daha yüksek AI hesaplama gücü ve en popüler AI modellerini sorunsuz bir şekilde çalıştırmak için 3,5 kat daha iyi enerji verimliliği sunar.
Watch: How to use Ultralytics YOLO26 on NVIDIA Jetson Devices

This guide has been tested with NVIDIA Jetson AGX Thor Developer Kit (Jetson T5000) running the latest stable JetPack release of JP7.0, NVIDIA Jetson AGX Orin Developer Kit (64GB) running JetPack release of JP6.2, NVIDIA Jetson Orin Nano Super Developer Kit running JetPack release of JP6.1, Seeed Studio reComputer J4012 which is based on NVIDIA Jetson Orin NX 16GB running JetPack release of JP6.0/ JetPack release of JP5.1.3 and Seeed Studio reComputer J1020 v2 which is based on NVIDIA Jetson Nano 4GB running JetPack release of JP4.6.1. It is expected to work across all the NVIDIA Jetson hardware lineup, including the latest and legacy devices.
Link to this sectionNVIDIA Jetson nedir?#
NVIDIA Jetson is a series of embedded computing boards designed to bring accelerated AI (artificial intelligence) computing to edge devices. These compact and powerful devices are built around NVIDIA's GPU architecture and can run complex AI algorithms and deep learning models directly on the device, without relying on cloud computing resources. Jetson boards are often used in robotics, autonomous vehicles, industrial automation, and other applications where AI inference needs to be performed locally with low latency and high efficiency. Additionally, these boards are based on the ARM64 architecture and run at lower power compared to traditional GPU computing devices.
Link to this sectionNVIDIA Jetson Serisi Karşılaştırması#
Önceki nesillere kıyasla büyük ölçüde iyileştirilmiş AI performansı getiren NVIDIA Blackwell mimarisi üzerine kurulu NVIDIA Jetson AGX Thor, NVIDIA Jetson ailesinin en son yinelemesidir. Aşağıdaki tablo, ekosistemdeki bazı Jetson cihazlarını karşılaştırmaktadır.
| Jetson AGX Thor(T5000) | Jetson AGX Orin 64GB | Jetson Orin NX 16GB | Jetson Orin Nano Super | Jetson AGX Xavier | Jetson Xavier NX | Jetson Nano | |
|---|---|---|---|---|---|---|---|
| AI Performansı | 2070 TFLOPS | 275 TOPS | 100 TOPS | 67 TOPS | 32 TOPS | 21 TOPS | 472 GFLOPS |
| GPU | 96 Tensor Çekirdekli 2560 çekirdekli NVIDIA Blackwell mimarisi GPU | 64 Tensor Çekirdekli 2048 çekirdekli NVIDIA Ampere mimarisi GPU | 32 Tensor Çekirdekli 1024 çekirdekli NVIDIA Ampere mimarisi GPU | 32 Tensor Çekirdekli 1024 çekirdekli NVIDIA Ampere mimarisi GPU | 64 Tensor Çekirdekli 512 çekirdekli NVIDIA Volta mimarisi GPU | 48 Tensor Çekirdekli 384 çekirdekli NVIDIA Volta™ mimarisi GPU | 128 çekirdekli NVIDIA Maxwell™ mimarisi GPU |
| GPU Maks Frekansı | 1.57 GHz | 1.3 GHz | 918 MHz | 1020 MHz | 1377 MHz | 1100 MHz | 921MHz |
| CPU | 14 çekirdekli Arm® Neoverse®-V3AE 64-bit CPU 1MB L2 + 16MB L3 | 12 çekirdekli NVIDIA Arm® Cortex A78AE v8.2 64-bit CPU 3MB L2 + 6MB L3 | 8 çekirdekli NVIDIA Arm® Cortex A78AE v8.2 64-bit CPU 2MB L2 + 4MB L3 | 6 çekirdekli Arm® Cortex®-A78AE v8.2 64-bit CPU 1.5MB L2 + 4MB L3 | 8 çekirdekli NVIDIA Carmel Arm®v8.2 64-bit CPU 8MB L2 + 4MB L3 | 6 çekirdekli NVIDIA Carmel Arm®v8.2 64-bit CPU 6MB L2 + 4MB L3 | Dört Çekirdekli Arm® Cortex®-A57 MPCore işlemci |
| CPU Maks Frekansı | 2.6 GHz | 2.2 GHz | 2.0 GHz | 1.7 GHz | 2.2 GHz | 1.9 GHz | 1.43GHz |
| Bellek | 128GB 256-bit LPDDR5X 273GB/s | 64GB 256-bit LPDDR5 204.8GB/s | 16GB 128-bit LPDDR5 102.4GB/s | 8GB 128-bit LPDDR5 102 GB/s | 32GB 256-bit LPDDR4x 136.5GB/s | 8GB 128-bit LPDDR4x 59.7GB/s | 4GB 64-bit LPDDR4 25.6GB/s |
Daha ayrıntılı bir karşılaştırma tablosu için lütfen resmi NVIDIA Jetson sayfası üzerindeki Özellikleri Karşılaştır bölümünü ziyaret edin.
Link to this sectionNVIDIA JetPack nedir?#
Jetson modüllerine güç veren NVIDIA JetPack SDK, en kapsamlı çözümdür ve uçtan uca hızlandırılmış AI uygulamaları oluşturmak için eksiksiz bir geliştirme ortamı sağlar, ayrıca pazara sunma süresini kısaltır. JetPack; bootloader, Linux çekirdeği, Ubuntu masaüstü ortamı içeren Jetson Linux'u ve GPU bilişimi, multimedya, grafik ve bilgisayarlı görü hızlandırma için eksiksiz bir kütüphane seti sunar. Ayrıca hem ana bilgisayar hem de geliştirme kiti için örnekler, belgeler ve geliştirici araçları içerir ve akış video analitiği için DeepStream, robotik için Isaac ve konuşma AI'sı için Riva gibi üst düzey SDK'ları destekler.
Link to this sectionNVIDIA Jetson'a JetPack Flash Etme#
Bir NVIDIA Jetson cihazı edindikten sonraki ilk adım, cihaza NVIDIA JetPack'i flash etmektir. NVIDIA Jetson cihazlarını flash etmenin birkaç farklı yolu vardır.
- Jetson AGX Thor Developer Kit gibi resmi bir NVIDIA Geliştirme Kitine sahipseniz, bir görüntü dosyası indirip JetPack'i dahil edilen SSD'ye flash etmek için önyüklenebilir bir USB bellek hazırlayabilirsiniz.
- Jetson Orin Nano Developer Kit gibi resmi bir NVIDIA Geliştirme Kitine sahipseniz, bir görüntü dosyası indirip cihazı önyüklemek için JetPack içeren bir SD kart hazırlayabilirsiniz.
- Başka bir NVIDIA Geliştirme Kitine sahipseniz, SDK Manager kullanarak JetPack'i cihaza flash edebilirsiniz.
- Seeed Studio reComputer J4012 cihazına sahipseniz, JetPack'i dahil edilen SSD'ye flash edebilirsiniz ve Seeed Studio reComputer J1020 v2 cihazına sahipseniz, JetPack'i eMMC/SSD'ye flash edebilirsiniz.
- NVIDIA Jetson modülüyle çalışan başka bir üçüncü taraf cihaza sahipseniz, komut satırı ile flash etme yöntemini izlemeniz önerilir.
Yukarıdaki 1, 4 ve 5 numaralı yöntemler için, sistemi flash edip cihazı başlattıktan sonra, gerekli olan tüm JetPack bileşenlerini yüklemek için cihaz terminaline "sudo apt update && sudo apt install nvidia-jetpack -y" yazın.
Link to this sectionJetson Cihazına Göre JetPack Desteği#
Aşağıdaki tablo, farklı NVIDIA Jetson cihazları tarafından desteklenen NVIDIA JetPack sürümlerini vurgulamaktadır.
| JetPack 4 | JetPack 5 | JetPack 6 | JetPack 7 | |
|---|---|---|---|---|
| Jetson Nano | ✅ | ❌ | ❌ | ❌ |
| Jetson TX2 | ✅ | ❌ | ❌ | ❌ |
| Jetson Xavier NX | ✅ | ✅ | ❌ | ❌ |
| Jetson AGX Xavier | ✅ | ✅ | ❌ | ❌ |
| Jetson AGX Orin | ❌ | ✅ | ✅ | ❌ |
| Jetson Orin NX | ❌ | ✅ | ✅ | ❌ |
| Jetson Orin Nano | ❌ | ✅ | ✅ | ❌ |
| Jetson AGX Thor | ❌ | ❌ | ❌ | ✅ |
Link to this sectionDocker ile Hızlı Başlangıç#
NVIDIA Jetson üzerinde Ultralytics YOLO26 ile başlamanın en hızlı yolu, Jetson için önceden oluşturulmuş docker görüntülerini çalıştırmaktır. Yukarıdaki tabloya bakın ve sahip olduğunuz Jetson cihazına uygun JetPack sürümünü seçin.
t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $tBu işlem tamamlandıktan sonra, NVIDIA Jetson üzerinde TensorRT Kullanımı bölümüne atlayın.
Link to this sectionYerel Kurulumla Başlayın#
Docker olmadan yerel bir kurulum için lütfen aşağıdaki adımları izleyin.
Link to this sectionJetPack 7.0 üzerinde çalıştırın#
Link to this sectionUltralytics Paketini Yükleyin#
Burada, PyTorch modellerini diğer farklı formatlara dışa aktarabilmek için isteğe bağlı bağımlılıklarla birlikte Jetson üzerine Ultralytics paketini kuracağız. Ağırlıklı olarak NVIDIA TensorRT dışa aktarımlarına odaklanacağız çünkü TensorRT, Jetson cihazlarından maksimum performans almamızı sağlayacaktır.
-
Paket listesini güncelleyin, pip'i kurun ve en son sürüme yükseltin
sudo apt update sudo apt install python3-pip -y pip install -U pip -
İsteğe bağlı bağımlılıklarla
ultralyticspip paketini kurunpip install ultralytics[export] -
Cihazı yeniden başlatın
sudo reboot
Link to this sectionPyTorch ve Torchvision'ı Kurun#
Yukarıdaki ultralytics kurulumu, Torch ve Torchvision'ı kuracaktır. Ancak, pip aracılığıyla kurulan bu 2 paket, JetPack 7.0 ve CUDA 13 ile gelen Jetson AGX Thor üzerinde çalışmak için uyumlu değildir. Bu nedenle, bunları manuel olarak kurmamız gerekiyor.
JP7.0'a uygun şekilde torch ve torchvision kurun
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130Link to this sectiononnxruntime-gpu kurun#
PyPI'da barındırılan onnxruntime-gpu paketi, Jetson için aarch64 ikili dosyalarına sahip değildir. Bu yüzden bu paketi manuel olarak kurmamız gerekiyor. Bu paket, bazı dışa aktarma işlemleri için gereklidir.
Here we will download and install onnxruntime-gpu 1.24.0 with Python3.12 support.
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whlLink to this sectionJetPack 6.1 üzerinde çalıştır#
Link to this sectionUltralytics Paketini Yükleyin#
Burada, PyTorch modellerini diğer farklı formatlara dışa aktarabilmek için isteğe bağlı bağımlılıklarla birlikte Jetson üzerine Ultralytics paketini kuracağız. Ağırlıklı olarak NVIDIA TensorRT dışa aktarımlarına odaklanacağız çünkü TensorRT, Jetson cihazlarından maksimum performans almamızı sağlayacaktır.
-
Paket listesini güncelleyin, pip'i kurun ve en son sürüme yükseltin
sudo apt update sudo apt install python3-pip -y pip install -U pip -
İsteğe bağlı bağımlılıklarla
ultralyticspip paketini kurunpip install ultralytics[export] -
Cihazı yeniden başlatın
sudo reboot
Link to this sectionPyTorch ve Torchvision'ı Kurun#
Yukarıdaki Ultralytics kurulumu, Torch ve Torchvision paketlerini yükleyecektir. Ancak, pip aracılığıyla yüklenen bu iki paket, ARM64 mimarisine dayalı Jetson platformuyla uyumlu değildir. Bu nedenle, önceden oluşturulmuş bir PyTorch pip tekerleğini (wheel) manuel olarak kurmamız ve Torchvision'ı kaynaktan derlememiz veya kurmamız gerekiyor.
JP6.1'e uygun olarak torch 2.10.0 ve torchvision 0.25.0 sürümlerini kur
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.10.0-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.25.0-cp310-cp310-linux_aarch64.whlFarklı JetPack sürümleri için tüm PyTorch sürümlerine erişmek istersen PyTorch for Jetson sayfasını ziyaret et. PyTorch ve Torchvision uyumluluğu hakkında daha ayrıntılı bir liste için PyTorch ve Torchvision uyumluluk sayfasını ziyaret et.
Install cuDSS to fix a dependency issue with torch 2.10.0
wget https://developer.download.nvidia.com/compute/cudss/0.7.1/local_installers/cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo dpkg -i cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo cp /var/cudss-local-tegra-repo-ubuntu2204-0.7.1/cudss-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cudssLink to this sectiononnxruntime-gpu kurun#
PyPI'da barındırılan onnxruntime-gpu paketi, Jetson için aarch64 ikili dosyalarına sahip değildir. Bu yüzden bu paketi manuel olarak kurmamız gerekiyor. Bu paket, bazı dışa aktarma işlemleri için gereklidir.
JetPack sürümü, Python sürümü ve diğer uyumluluk ayrıntılarına göre düzenlenmiş tüm mevcut onnxruntime-gpu paketlerini Jetson Zoo ONNX Runtime uyumluluk matrisinde bulabilirsin.
Python 3.10 destekli JetPack 6 için onnxruntime-gpu 1.23.0 sürümünü şu şekilde kurabilirsin:
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.23.0-cp310-cp310-linux_aarch64.whlAlternatif olarak, onnxruntime-gpu 1.20.0 sürümü için:
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whlLink to this sectionJetPack 5.1.2 üzerinde çalıştır#
Link to this sectionUltralytics Paketini Yükleyin#
Burada, PyTorch modellerini farklı formatlara aktarabilmemiz için Jetson üzerine opsiyonel bağımlılıklarla birlikte Ultralytics paketini kuracağız. TensorRT, Jetson cihazlarından maksimum performans almamızı sağlayacağı için temel olarak NVIDIA TensorRT dışa aktarımlarına odaklanacağız.
-
Paket listesini güncelleyin, pip'i kurun ve en son sürüme yükseltin
sudo apt update sudo apt install python3-pip -y pip install -U pip -
İsteğe bağlı bağımlılıklarla
ultralyticspip paketini kurunpip install ultralytics[export] -
Cihazı yeniden başlatın
sudo reboot
Link to this sectionPyTorch ve Torchvision'ı Kurun#
Yukarıdaki Ultralytics kurulumu, Torch ve Torchvision paketlerini yükleyecektir. Ancak, pip aracılığıyla yüklenen bu iki paket, ARM64 mimarisine dayalı Jetson platformuyla uyumlu değildir. Bu nedenle, önceden oluşturulmuş bir PyTorch pip tekerleğini (wheel) manuel olarak kurmamız ve Torchvision'ı kaynaktan derlememiz veya kurmamız gerekiyor.
-
Halihazırda kurulu olan PyTorch ve Torchvision'ı kaldır
pip uninstall torch torchvision -
JP5.1.2'ye uygun olarak
torch 2.1.0vetorchvision 0.16.2sürümlerini kurpip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.16.2+c6f3977-cp38-cp38-linux_aarch64.whl
Farklı JetPack sürümleri için tüm PyTorch sürümlerine erişmek istersen PyTorch for Jetson sayfasını ziyaret et. PyTorch ve Torchvision uyumluluğu hakkında daha ayrıntılı bir liste için PyTorch ve Torchvision uyumluluk sayfasını ziyaret et.
Link to this sectiononnxruntime-gpu kurun#
PyPI'da barındırılan onnxruntime-gpu paketi, Jetson için aarch64 ikili dosyalarına sahip değildir. Bu yüzden bu paketi manuel olarak kurmamız gerekiyor. Bu paket, bazı dışa aktarma işlemleri için gereklidir.
You can find all available onnxruntime-gpu packages—organized by JetPack version, Python version, and other compatibility details—in the Jetson Zoo ONNX Runtime compatibility matrix. Here we will download and install onnxruntime-gpu 1.17.0 with Python3.8 support.
wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whlonnxruntime-gpu, NumPy sürümünü otomatik olarak en son sürüme döndürecektir. Bu nedenle, bir sorunu çözmek için NumPy'ı 1.23.5 sürümüne geri yüklememiz gerekiyor, bunun için şunu çalıştır:
pip install numpy==1.23.5
Link to this sectionNVIDIA Jetson üzerinde TensorRT kullan#
Ultralytics tarafından desteklenen tüm model dışa aktarma formatları arasında TensorRT, NVIDIA Jetson cihazlarında en yüksek çıkarım performansını sunar ve bu nedenle Jetson dağıtımları için en önemli tavsiyemizdir. Kurulum talimatları ve gelişmiş kullanım için özel TensorRT entegrasyon rehberimize bak.
Link to this sectionModeli TensorRT'ye Dönüştür ve Çıkarımı Çalıştır#
PyTorch formatındaki YOLO26n modeli, dışa aktarılan modelle çıkarım çalıştırmak üzere TensorRT'ye dönüştürülür.
from ultralytics import YOLO
# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")
# Export the model to TensorRT
model.export(format="engine") # creates 'yolo26n.engine'
# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")
# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")Modelleri farklı formatlara dışa aktarırken ek argümanlara erişmek için Dışa Aktarma sayfasını ziyaret et
Link to this sectionNVIDIA Deep Learning Accelerator (DLA) kullan#
NVIDIA Deep Learning Accelerator (DLA), NVIDIA Jetson cihazlarında yerleşik olan ve derin öğrenme çıkarımını enerji verimliliği ve performans için optimize eden özelleşmiş bir donanım bileşenidir. Görevleri GPU'dan alarak (onu daha yoğun işlemler için serbest bırakarak) DLA, modellerin daha düşük güç tüketimiyle yüksek iş hacmini koruyarak çalışmasını sağlar; bu da gömülü sistemler ve gerçek zamanlı yapay zeka uygulamaları için idealdir.
Aşağıdaki Jetson cihazları DLA donanımı ile donatılmıştır:
| Jetson Cihazı | DLA Çekirdekleri | DLA Maksimum Frekansı |
|---|---|---|
| Jetson AGX Orin Serisi | 2 | 1.6 GHz |
| Jetson Orin NX 16GB | 2 | 614 MHz |
| Jetson Orin NX 8GB | 1 | 614 MHz |
| Jetson AGX Xavier Serisi | 2 | 1.4 GHz |
| Jetson Xavier NX Serisi | 2 | 1.1 GHz |
from ultralytics import YOLO
# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")
# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", half=True) # dla:0 or dla:1 corresponds to the DLA cores
# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")
# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")DLA dışa aktarımları kullanılırken, bazı katmanlar DLA'da çalışmak için desteklenmeyebilir ve yürütme için GPU'ya geri dönebilir. Bu geri dönüş, ek gecikmeye neden olabilir ve genel çıkarım performansını etkileyebilir. Bu nedenle DLA, TensorRT'nin tamamen GPU üzerinde çalışmasına kıyasla çıkarım gecikmesini azaltmak için tasarlanmamıştır. Aksine, birincil amacı iş hacmini artırmak ve enerji verimliliğini iyileştirmektir.
Link to this sectionNVIDIA Jetson YOLO11/ YOLO26 Kıyaslamaları#
YOLO11/ YOLO26 kıyaslamaları, Ultralytics ekibi tarafından 11 farklı model formatında hız ve doğruluk ölçülerek yapılmıştır: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch. Kıyaslamalar, NVIDIA Jetson AGX Thor Developer Kit, NVIDIA Jetson AGX Orin Developer Kit (64GB), NVIDIA Jetson Orin Nano Super Developer Kit ve Jetson Orin NX 16GB cihazıyla desteklenen Seeed Studio reComputer J4012 üzerinde, varsayılan 640 giriş görsel boyutuyla FP32 hassasiyetinde çalıştırılmıştır.
Link to this sectionKarşılaştırma Grafikleri#
Tüm model dışa aktarımları NVIDIA Jetson üzerinde çalışsa da, karşılaştırma grafiğine yalnızca PyTorch, TorchScript, TensorRT dahil edilmiştir çünkü bunlar Jetson üzerindeki GPU'dan yararlanır ve en iyi sonuçları üretmeleri garanti edilir. Diğer tüm dışa aktarımlar sadece CPU'yu kullanır ve performans yukarıdaki üçü kadar iyi değildir. Tüm dışa aktarmalara ait kıyaslamaları bu grafikten sonraki bölümde bulabilirsin.
Link to this sectionNVIDIA Jetson AGX Thor Developer Kit#
Link to this sectionNVIDIA Jetson AGX Orin Developer Kit (64GB)#
Link to this sectionNVIDIA Jetson Orin Nano Super Developer Kit#
Link to this sectionNVIDIA Jetson Orin NX 16GB#
Link to this sectionAyrıntılı Karşılaştırma Tabloları#
Aşağıdaki tablo, beş farklı modelin (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) 11 farklı formatta (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch) kıyaslama sonuçlarını gösterir ve her kombinasyon için durum, boyut, mAP50-95(B) metriği ve çıkarım süresini verir.
Link to this sectionNVIDIA Jetson AGX Thor Developer Kit#
| Format | Durum | Diskteki boyut (MB) | mAP50-95(B) | Çıkarım süresi (ms/im) |
|---|---|---|---|---|
| PyTorch | ✅ | 5.3 | 0.4798 | 7.39 |
| TorchScript | ✅ | 9.8 | 0.4789 | 4.21 |
| ONNX | ✅ | 9.5 | 0.4767 | 6.58 |
| OpenVINO | ✅ | 10.1 | 0.4794 | 17.50 |
| TensorRT (FP32) | ✅ | 13.9 | 0.4791 | 1.90 |
| TensorRT (FP16) | ✅ | 7.6 | 0.4797 | 1.39 |
| TensorRT (INT8) | ✅ | 6.5 | 0.4273 | 1.52 |
| TF SavedModel | ✅ | 25.7 | 0.4764 | 47.24 |
| TF GraphDef | ✅ | 9.5 | 0.4764 | 45.98 |
| TF Lite | ✅ | 9.9 | 0.4764 | 182.04 |
| MNN | ✅ | 9.4 | 0.4784 | 21.83 |
Ultralytics 8.4.7 ile kıyaslandı
Çıkarım süresine ön/son işleme dahil değildir.
Link to this sectionNVIDIA Jetson AGX Orin Developer Kit (64GB)#
| Format | Durum | Diskteki boyut (MB) | mAP50-95(B) | Çıkarım süresi (ms/im) |
|---|---|---|---|---|
| PyTorch | ✅ | 5.3 | 0.4790 | 11.58 |
| TorchScript | ✅ | 9.8 | 0.4770 | 4.60 |
| ONNX | ✅ | 9.5 | 0.4770 | 9.87 |
| OpenVINO | ✅ | 9.6 | 0.4820 | 28.80 |
| TensorRT (FP32) | ✅ | 11.5 | 0.0450 | 4.18 |
| TensorRT (FP16) | ✅ | 7.9 | 0.0450 | 2.62 |
| TensorRT (INT8) | ✅ | 5.4 | 0.4640 | 2.30 |
| TF SavedModel | ✅ | 24.6 | 0.4760 | 71.10 |
| TF GraphDef | ✅ | 9.5 | 0.4760 | 70.02 |
| TF Lite | ✅ | 9.9 | 0.4760 | 227.94 |
| MNN | ✅ | 9.4 | 0.4760 | 32.46 |
| NCNN | ✅ | 9.3 | 0.4810 | 29.93 |
Ultralytics 8.4.32 ile kıyaslandı
Çıkarım süresine ön/son işleme dahil değildir.
Link to this sectionNVIDIA Jetson Orin Nano Super Developer Kit#
| Format | Durum | Diskteki boyut (MB) | mAP50-95(B) | Çıkarım süresi (ms/im) |
|---|---|---|---|---|
| PyTorch | ✅ | 5.3 | 0.4790 | 15.60 |
| TorchScript | ✅ | 9.8 | 0.4770 | 12.60 |
| ONNX | ✅ | 9.5 | 0.4760 | 15.76 |
| OpenVINO | ✅ | 9.6 | 0.4820 | 56.23 |
| TensorRT (FP32) | ✅ | 11.3 | 0.4770 | 7.53 |
| TensorRT (FP16) | ✅ | 8.1 | 0.4800 | 4.57 |
| TensorRT (INT8) | ✅ | 5.3 | 0.4490 | 3.80 |
| TF SavedModel | ✅ | 24.6 | 0.4760 | 118.33 |
| TF GraphDef | ✅ | 9.5 | 0.4760 | 116.30 |
| TF Lite | ✅ | 9.9 | 0.4760 | 286.00 |
| MNN | ✅ | 9.4 | 0.4760 | 68.77 |
| NCNN | ✅ | 9.3 | 0.4810 | 47.50 |
Ultralytics 8.4.33 ile karşılaştırıldı
Çıkarım süresine ön/son işleme dahil değildir.
Link to this sectionNVIDIA Jetson Orin NX 16GB#
| Format | Durum | Diskteki boyut (MB) | mAP50-95(B) | Çıkarım süresi (ms/im) |
|---|---|---|---|---|
| PyTorch | ✅ | 5.3 | 0.4799 | 13.90 |
| TorchScript | ✅ | 9.8 | 0.4787 | 11.60 |
| ONNX | ✅ | 9.5 | 0.4763 | 14.18 |
| OpenVINO | ✅ | 9.6 | 0.4819 | 40.19 |
| TensorRT (FP32) | ✅ | 11.4 | 0.4770 | 7.01 |
| TensorRT (FP16) | ✅ | 8.0 | 0.4789 | 4.13 |
| TensorRT (INT8) | ✅ | 5.5 | 0.4489 | 3.49 |
| TF SavedModel | ✅ | 24.6 | 0.4764 | 92.34 |
| TF GraphDef | ✅ | 9.5 | 0.4764 | 92.06 |
| TF Lite | ✅ | 9.9 | 0.4764 | 254.43 |
| MNN | ✅ | 9.4 | 0.4760 | 48.55 |
| NCNN | ✅ | 9.3 | 0.4805 | 34.31 |
Ultralytics 8.4.33 ile karşılaştırıldı
Çıkarım süresine ön/son işleme dahil değildir.
Farklı NVIDIA Jetson donanım sürümlerinde çalışan Seeed Studio'nun kıyaslama çalışmalarını keşfet.
Link to this sectionSonuçlarımızı Yeniden Oluştur#
Yukarıdaki Ultralytics kıyaslamalarını tüm dışa aktarma formatlarında yeniden oluşturmak için şu kodu çalıştır:
from ultralytics import YOLO
# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")
# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)Kıyaslama sonuçlarının, sistemin tam donanım ve yazılım yapılandırmasına ve ayrıca kıyaslamalar çalıştırıldığı sırada sistemin o anki iş yüküne bağlı olarak değişebileceğini unutma. En güvenilir sonuçlar için çok sayıda görüntü içeren bir veri kümesi kullan, örneğin data='coco.yaml' (5000 doğrulama görüntüsü).
Link to this sectionNVIDIA Jetson Kullanırken En İyi Uygulamalar#
NVIDIA Jetson kullanırken, YOLO26 çalıştıran NVIDIA Jetson üzerinde maksimum performansı sağlamak için izlemen gereken birkaç en iyi uygulama vardır.
-
MAX Güç Modunu Etkinleştir
Jetson'da MAX Güç Modunu etkinleştirmek, tüm CPU ve GPU çekirdeklerinin açık olduğundan emin olmanı sağlar.
sudo nvpmodel -m 0 -
Jetson Saatlerini Etkinleştir
Jetson Saatlerini etkinleştirmek, tüm CPU ve GPU çekirdeklerinin maksimum frekansta çalışmasını sağlar.
sudo jetson_clocks -
Jetson Stats Uygulamasını Kur
Sistem bileşenlerinin sıcaklıklarını izlemek ve CPU, GPU, RAM kullanımını görüntüleme, güç modlarını değiştirme, maksimum saatleri ayarlama, JetPack bilgilerini kontrol etme gibi diğer sistem ayrıntılarını görmek için jetson stats uygulamasını kullanabilirsin.
sudo apt update sudo pip install jetson-stats sudo reboot jtop
Link to this sectionNVIDIA Jetson için Bellek Optimizasyon İpuçları#
Kullanılabilir bellek, Jetson cihazlarında, özellikle Jetson Orin Nano (8 GB) veya Orin NX 8 GB gibi daha düşük belleğe sahip varyantlarda genellikle sınırlayıcı faktördür. Aşağıdaki ipuçları, toplu olarak birkaç yüz megabaytı serbest bırakabilen ve daha büyük YOLO modellerini çalıştırmana veya ek paralel iş yüklerini desteklemene olanak tanıyan pratik ve düşük riskli değişikliklerdir. Kapsamlı bir inceleme için Jetson'da bellek verimliliğini en üst düzeye çıkarma hakkındaki NVIDIA bloguna göz at.
Link to this sectionBaşsız (GUI'siz) Önyüklemeye Geç#
Jetson'ın SSH üzerinden bağlıysa veya ekran takılı olmadan üretim cihazı olarak çalışıyorsa, masaüstü ortamını ve ekran sunucusunu ortadan kaldırmak 865 MB'a kadar RAM kazandırabilir:
sudo systemctl set-default multi-user.target
sudo rebootMasaüstünü daha sonra geri yüklemek için:
sudo systemctl set-default graphical.target
sudo rebootLink to this sectionKullanılmayan Sistem Hizmetlerini Devre Dışı Bırak#
Temel olmayan arka plan hizmetleri (Bluetooth, bağlantı yöneticileri, kullanılmayan donanım arka plan programları) toplamda yaklaşık 32 MB tüketir. Aktif hizmetleri listele ve dağıtımının gerektirmediği her şeyi devre dışı bırak:
# List running services
systemctl list-units --type=service --state=running
# Disable a service
sudo systemctl disable SERVICE_NAMELink to this sectionBellek Kullanımını Profille#
Optimize etmeden önce, aslında hangi işlemlerin RAM tükettiğini belirle. procrank, süreç başına gerçek bellek ayak izini, RSS'den (bir süreç tarafından eşlenen toplam fiziksel RAM sayfaları, diğer süreçlerle paylaşılan sayfalar dahil) daha doğru bir şekilde yansıtan PSS'ye (Orantılı Set Boyutu) göre süreçleri sıralar:
git clone https://github.com/csimmonds/procrank_linux.git
cd procrank_linux && make
sudo ./procrankSüreç başına GPU ve NvMap (CUDA/video hattı) tahsislerini görmek için:
sudo cat /sys/kernel/debug/nvmap/iovmm/clientsLink to this sectionÜretimde Ekran Olmadan Çıkarım Çalıştır#
Canlı önizleme gereksinimi olmayan çıkarım hatları için, ekranla ilgili bileşenleri (Tiler, OSD, DisplaySink) devre dışı bırakmak yalnızca hattan 200+ MB tasarruf sağlayabilir. Ultralytics YOLO ile görüntüleyiciyi baskıla ve bunun yerine sonuçları diske yaz:
from ultralytics import YOLO
model = YOLO("yolo11n.engine")
# show=False prevents any display window; save=True writes annotated output to disk
results = model.predict(source="video.mp4", show=False, save=True)Link to this sectionKümülatif Etki#
| Optimizasyon | Yaklaşık Tasarruf Edilen Bellek |
|---|---|
| Masaüstü GUI'sini devre dışı bırak | ~865 MB |
| Kullanılmayan OS hizmetlerini devre dışı bırak | ~32 MB |
| Başsız çıkarım hattı (ekran yok) | ~200+ MB |
| Toplam (kolay kazançlar) | ~1 GB+ |
Bu değişiklikleri birleştirmek, özellikle bellek kısıtlı cihazlarda TensorRT INT8 modellerini hedeflediğinde değerlidir; daha büyük bir model varyantının belleğe sığıp sığmaması arasındaki farkı yaratabilir.
Link to this sectionSonraki Adımlar#
Daha fazla öğrenme ve destek için Ultralytics YOLO26 Docs bölümüne bak.
Link to this sectionSSS#
Link to this sectionUltralytics YOLO26'yı NVIDIA Jetson cihazlarında nasıl dağıtabilirim?#
Ultralytics YOLO26'yı NVIDIA Jetson cihazlarında dağıtmak basit bir işlemdir. İlk olarak, Jetson cihazına NVIDIA JetPack SDK yazılımını yükle. Ardından, hızlı kurulum için önceden oluşturulmuş bir Docker imajı kullan ya da gerekli paketleri manuel olarak yükle. Her yaklaşım için ayrıntılı adımlar Quick Start with Docker ve Start with Native Installation bölümlerinde bulunabilir.
Link to this sectionNVIDIA Jetson cihazlarında YOLO11 modellerinden nasıl performans kıyaslamaları bekleyebilirim?#
YOLO11 modelleri, çeşitli NVIDIA Jetson cihazlarında kıyaslanmış ve önemli performans iyileştirmeleri göstermiştir. Örneğin, TensorRT formatı en iyi çıkarım performansını sağlar. Detailed Comparison Tables bölümündeki tablo, farklı model formatlarında mAP50-95 ve çıkarım süresi gibi performans metriklerinin kapsamlı bir görünümünü sunar.
Link to this sectionNVIDIA Jetson üzerinde YOLO26 dağıtımı için neden TensorRT kullanmalıyım?#
TensorRT, optimum performansı nedeniyle NVIDIA Jetson üzerinde YOLO26 modellerini dağıtmak için şiddetle önerilir. Jetson'ın GPU yeteneklerinden yararlanarak çıkarımı hızlandırır ve maksimum verimlilik ile hız sağlar. TensorRT'ye nasıl dönüştürüleceği ve çıkarımın nasıl çalıştırılacağı hakkında daha fazla bilgiyi Use TensorRT on NVIDIA Jetson bölümünde bulabilirsin.
Link to this sectionNVIDIA Jetson'a PyTorch ve Torchvision'ı nasıl kurabilirim?#
NVIDIA Jetson'a PyTorch ve Torchvision yüklemek için, önce pip aracılığıyla yüklenmiş olabilecek mevcut sürümleri kaldır. Ardından, Jetson'ın ARM64 mimarisiyle uyumlu PyTorch ve Torchvision sürümlerini manuel olarak yükle. Bu işlem için ayrıntılı talimatlar Install PyTorch and Torchvision bölümünde verilmiştir.
Link to this sectionYOLO26 kullanırken NVIDIA Jetson üzerinde performansı en üst düzeye çıkarmak için en iyi uygulamalar nelerdir?#
NVIDIA Jetson ile YOLO26 kullanırken performansı en üst düzeye çıkarmak için şu en iyi uygulamaları takip et:
- Tüm CPU ve GPU çekirdeklerini kullanmak için MAX Power Mode özelliğini etkinleştir.
- Tüm çekirdekleri maksimum frekansta çalıştırmak için Jetson Clocks özelliğini etkinleştir.
- Sistem metriklerini izlemek için Jetson Stats uygulamasını yükle.
Komutlar ve ek ayrıntılar için Best Practices when using NVIDIA Jetson bölümüne başvur.
Link to this sectionDaha büyük YOLO modellerini çalıştırmak için NVIDIA Jetson'da belleği nasıl boşaltabilirim?#
Kullanılabilir RAM, düşük bellekli Jetson cihazlarında genellikle darboğaz oluşturur. Toplamda 1 GB'tan fazla alan açabilen üç kolay yöntem:
- Başsız (headless) önyüklemeye geç (
sudo systemctl set-default multi-user.target), bu sayede masaüstü GUI'yi devre dışı bırakarak yaklaşık 865 MB kazanırsın. - Kullanılmayan hizmetleri devre dışı bırak, örneğin Bluetooth veya bağlantı yöneticileri (~32 MB kazanılır).
- Run inference without a display by setting
show=Falsein your YOLOpredictcall, which avoids allocating display pipeline memory (~200+ MB saved).
Süreç başına RAM kullanımını profillemek için procrank kullan ve GPU tahsisatlarını incelemek için sudo cat /sys/kernel/debug/nvmap/iovmm/clients komutunu kullan. Tüm ayrıntılar için Memory Optimization Tips bölümüne bak.
Link to this sectionJetPack 6 üzerinde TensorRT INT8 dışa aktarımım neden end2end özelliğini devre dışı bırakıyor?#
JetPack 6 ile gelen TensorRT 10.3.0 sürümünde, end2end=True etkinleştirildiğinde INT8 motoru oluşturulmasını engelleyen bilinen bir sorun vardır. Ultralytics bu durumu algıladığında, dışa aktarımın başarılı olmasını sağlamak için end2end dalını otomatik olarak devre dışı bırakır.
End2end INT8 dışa aktarımlarını geri yüklemek için TensorRT sürümünü daha yeni bir sürüme (örneğin 10.7.0+) yükselt:
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/arm64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get install -y tensorrtYükseltme işleminden sonra dışa aktarma işlemini tekrar çalıştır. Daha fazla ayrıntı için GitHub issue #23841 bölümüne bak.