İçeriğe geç

Hızlı Başlangıç Kılavuzu: NVIDIA Jetson ile Ultralytics YOLO11

Bu kapsamlı kılavuz, NVIDIA Jetson cihazlarında Ultralytics YOLO11 dağıtımı için ayrıntılı bir yol göstermektedir. Ayrıca, bu küçük ve güçlü cihazlarda YOLO11 'un yeteneklerini göstermek için performans kıyaslamalarını sergilemektedir.



İzle: NVIDIA Jetson ile Nasıl Kurulur Ultralytics YOLO11

NVIDIA Jetson Ekosistemi

Not

Bu kılavuz, JP6.0'ın en son kararlı JetPack sürümünü çalıştıran NVIDIA Jetson Orin NX 16GB tabanlı Seeed Studio reComputer J4012, JP5.1.3 JetPack sürümü ve JP4.6. 1 JetPack sürümünü çalıştıran NVIDIA Jetson Nano 4GB tabanlı Seeed Studio reComputer J1020 v2 ile test edilmiştir. En yeni ve eski dahil olmak üzere tüm NVIDIA Jetson donanım serisinde çalışması beklenmektedir.

NVIDIA Jetson nedir?

NVIDIA Jetson, uç cihazlara hızlandırılmış AI (yapay zeka) bilişimi getirmek için tasarlanmış bir dizi gömülü bilgi işlem kartıdır. Bu kompakt ve güçlü cihazlar NVIDIA'un GPU mimarisi üzerine inşa edilmiştir ve bulut bilişim kaynaklarına ihtiyaç duymadan karmaşık yapay zeka algoritmalarını ve derin öğrenme modellerini doğrudan cihaz üzerinde çalıştırabilmektedir. Jetson kartları genellikle robotik, otonom araçlar, endüstriyel otomasyon ve yapay zeka çıkarımının düşük gecikme süresi ve yüksek verimlilikle yerel olarak gerçekleştirilmesi gereken diğer uygulamalarda kullanılır. Ayrıca, bu kartlar ARM64 mimarisini temel alır ve geleneksel GPU bilgi işlem cihazlarına kıyasla daha düşük güçle çalışır.

NVIDIA Jetson Serisi Karşılaştırması

Jetson Orin, NVIDIA Ampere mimarisine dayanan NVIDIA Jetson ailesinin en son yinelemesidir ve önceki nesillere kıyasla büyük ölçüde geliştirilmiş AI performansı sunar. Aşağıdaki tablo ekosistemdeki Jetson cihazlarından birkaçını karşılaştırmaktadır.

Jetson AGX Orin 64GB Jetson Orin NX 16GB Jetson Orin Nano 8GB Jetson AGX Xavier Jetson Xavier NX Jetson Nano
Yapay Zeka Performansı 275 TOPS 100 TOPS 40 TOP 32 TOPS 21 TOPS 472 GFLOPS
GPU 2048 çekirdekli NVIDIA Amper mimarisi 64 Tensor Çekirdekli GPU 1024 çekirdekli NVIDIA Amper mimarisi 32 Tensor Çekirdekli GPU 1024 çekirdekli NVIDIA Amper mimarisi 32 Tensor Çekirdekli GPU 64 Tensor Çekirdekli 512 çekirdekli NVIDIA Volta mimarisi GPU 48 Tensor Çekirdekli 384 çekirdekli NVIDIA Volta™ mimarisi GPU 128 çekirdekli NVIDIA Maxwell™ mimarisi GPU
GPU Maksimum Frekans 1,3 GHz 918 MHz 625 MHz 1377 MHz 1100 MHz 921MHz
CPU 12 çekirdekli NVIDIA Arm® Cortex A78AE v8.2 64-bit CPU 3MB L2 + 6MB L3 8 çekirdekli NVIDIA Arm® Cortex A78AE v8.2 64-bit CPU 2MB L2 + 4MB L3 6 çekirdekli Arm® Cortex®-A78AE v8.2 64-bit CPU 1,5MB L2 + 4MB L3 8 çekirdekli NVIDIA Carmel Arm®v8.2 64-bit CPU 8MB L2 + 4MB L3 6 çekirdekli NVIDIA Carmel Arm®v8.2 64-bit CPU 6MB L2 + 4MB L3 Dört Çekirdekli Arm® Cortex®-A57 MPCore işlemci
CPU Maksimum Frekans 2,2 GHz 2.0 GHz 1,5 GHz 2,2 GHz 1,9 GHz 1.43GHz
Hafıza 64GB 256-bit LPDDR5 204,8GB/sn 16GB 128-bit LPDDR5 102,4GB/s 8GB 128-bit LPDDR5 68 GB/sn 32GB 256-bit LPDDR4x 136,5GB/s 8GB 128-bit LPDDR4x 59,7GB/sn 4GB 64-bit LPDDR4 25,6GB/s"

Daha ayrıntılı bir karşılaştırma tablosu için lütfen resmi NVIDIA Jetson sayfasının Teknik Özellikler bölümünü ziyaret edin.

NVIDIA JetPack nedir?

NVIDIA Jetson modüllerine güç veren JetPack SDK en kapsamlı çözümdür ve uçtan uca hızlandırılmış yapay zeka uygulamaları oluşturmak için tam geliştirme ortamı sağlar ve pazara sunma süresini kısaltır. JetPack, önyükleyicili Jetson Linux, Linux çekirdeği, Ubuntu masaüstü ortamı ve GPU hesaplama, multimedya, grafik ve bilgisayarla görmenin hızlandırılması için eksiksiz bir kütüphane seti içerir. Ayrıca hem ana bilgisayar hem de geliştirici kiti için örnekler, belgeler ve geliştirici araçları içerir ve video analizi akışı için DeepStream, robotik için Isaac ve konuşma yapay zekası için Riva gibi daha üst düzey SDK'ları destekler.

Flash JetPack - NVIDIA Jetson

Elinize bir NVIDIA Jetson cihazı aldıktan sonraki ilk adım, NVIDIA JetPack'i cihaza flash'lamaktır. NVIDIA Jetson cihazlarını flaşlamanın birkaç farklı yolu vardır.

  1. Jetson Orin Nano Geliştirici Kiti gibi resmi bir NVIDIA Geliştirme Kitine sahipseniz, bir görüntü indirebilir ve cihazı başlatmak için JetPack ile bir SD kart hazırlayabilirsiniz.
  2. Başka bir NVIDIA Geliştirme Kitine sahipseniz, SDK Yöneticisini kullanarak JetPack'i cihaza flaşlayabilirsiniz.
  3. Seeed Studio reComputer J4012 cihazınız varsa, JetPack'i birlikte verilen SSD'ye flaşlayabilirsiniz ve Seeed Studio reComputer J1020 v2 cihazınız varsa, JetPack'i eMMC / SSD'ye flaşlayabilirsiniz.
  4. NVIDIA Jetson modülü ile çalışan başka bir üçüncü taraf cihazınız varsa, komut satırı yanıp sönmesini izlemeniz önerilir.

Not

Yukarıdaki 3. ve 4. yöntemler için, sistemi flaşladıktan ve cihazı açtıktan sonra, lütfen cihaz terminaline "sudo apt update && sudo apt install nvidia-jetpack -y" yazarak gerekli tüm diğer JetPack bileşenlerini yükleyin.

Jetson Cihazına Dayalı JetPack Desteği

Aşağıdaki tabloda farklı NVIDIA Jetson cihazları tarafından desteklenen NVIDIA JetPack sürümleri vurgulanmaktadır.

JetPack 4 JetPack 5 JetPack 6
Jetson Nano ✅ ❌ ❌
Jetson TX2 ✅ ❌ ❌
Jetson Xavier NX ✅ ✅ ❌
Jetson AGX Xavier ✅ ✅ ❌
Jetson AGX Orin ❌ ✅ ✅
Jetson Orin NX ❌ ✅ ✅
Jetson Orin Nano ❌ ✅ ✅

Docker ile Hızlı Başlangıç

NVIDIA Jetson üzerinde Ultralytics YOLO11 kullanmaya başlamanın en hızlı yolu, Jetson için önceden oluşturulmuş docker imajları ile çalıştırmaktır. Yukarıdaki tabloya bakın ve sahip olduğunuz Jetson cihazına göre JetPack sürümünü seçin.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack5
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack6
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Bu işlem tamamlandıktan sonra TensorRT adresini NVIDIA Jetson' da Kullan bölümüne geçin.

Yerel Kurulum ile Başlayın

Docker olmadan yerel bir kurulum için lütfen aşağıdaki adımlara bakın.

JetPack 6.x üzerinde çalıştır

Ultralytics Paketini Yükleyin

Burada Ultralytics paketini isteğe bağlı bağımlılıklarla birlikte Jetson'a yükleyeceğiz, böylece PyTorch modellerini diğer farklı formatlara dönüştürmek. Esas olarak NVIDIA TensorRT dışa aktarımına odaklanacağız çünkü TensorRT Jetson cihazlarından maksimum performans almamızı sağlayacaktır.

  1. Paket listesini güncelleyin, pip yükleyin ve en son sürüme yükseltin

    sudo apt update
sudo apt install python3-pip -y
pip install -U pip

  2. Kurulum ultralytics isteğe bağlı bağımlılıklarla pip paketi

    pip install ultralytics[export]

  3. Cihazı yeniden başlatın

    sudo reboot

PyTorch ve Torchvision'ı yükleyin

Yukarıdaki ultralytics kurulumu Torch ve Torchvision paketlerini yükleyecektir. Ancak, pip ile yüklenen bu 2 paket ARM64 mimarisine dayanan Jetson platformunda çalışmak için uyumlu değildir. Bu nedenle, önceden oluşturulmuş PyTorch pip wheel'i manuel olarak yüklememiz ve Torchvision'ı kaynaktan derlememiz / yüklememiz gerekir.

Kurulum torch 2.3.0 ve torchvision 0.18 JP6.0'a göre

sudo apt-get install libopenmpi-dev libopenblas-base libomp-dev -y
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.3.0-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.18.0a0+6043bc2-cp310-cp310-linux_aarch64.whl

Farklı JetPack sürümleri için PyTorch 'un tüm farklı sürümlerine erişmek için Jetson içinPyTorch sayfasını ziyaret edin. PyTorch , Torchvision uyumluluğu hakkında daha ayrıntılı bir liste için PyTorch ve Torchvision uyumluluğu sayfasını ziyaret edin.

Kurulum onnxruntime-gpu

Bu onnxruntime-gpu PyPI'da barındırılan paketin aarch64 Jetson için ikili dosyalar. Bu yüzden bu paketi manuel olarak yüklememiz gerekiyor. Bu paket bazı dışa aktarımlar için gereklidir.

Hepsi farklı onnxruntime-gpu farklı JetPack ve Python sürümlerine karşılık gelen paketler listelenmiştir Burada. Ancak, burada indirip kuracağız onnxruntime-gpu 1.18.0 ile Python3.10 destek.

wget https://nvidia.box.com/shared/static/48dtuob7meiw6ebgfsfqakc9vse62sg4.whl -O onnxruntime_gpu-1.18.0-cp310-cp310-linux_aarch64.whl
pip install onnxruntime_gpu-1.18.0-cp310-cp310-linux_aarch64.whl

Not

onnxruntime-gpu numpy sürümünü otomatik olarak en son sürüme geri döndürecektir. Bu yüzden numpy'yi yeniden yüklememiz gerekiyor 1.23.5 çalıştırarak bir sorunu düzeltmek için:

pip install numpy==1.23.5

JetPack 5.x üzerinde çalıştır

Ultralytics Paketini Yükleyin

Burada Ultralytics paketini isteğe bağlı bağımlılıklarla birlikte Jetson'a kuracağız, böylece PyTorch modellerini diğer farklı formatlara aktarabiliriz. Esas olarak NVIDIA TensorRT dışa aktarımlarına odaklanacağız çünkü TensorRT Jetson cihazlarından maksimum performansı almamızı sağlayacaktır.

  1. Paket listesini güncelleyin, pip yükleyin ve en son sürüme yükseltin

    sudo apt update
sudo apt install python3-pip -y
pip install -U pip

  2. Kurulum ultralytics isteğe bağlı bağımlılıklarla pip paketi

    pip install ultralytics[export]

  3. Cihazı yeniden başlatın

    sudo reboot

PyTorch ve Torchvision'ı yükleyin

Yukarıdaki ultralytics kurulumu Torch ve Torchvision paketlerini yükleyecektir. Ancak, pip ile yüklenen bu 2 paket ARM64 mimarisine dayanan Jetson platformunda çalışmak için uyumlu değildir. Bu nedenle, önceden oluşturulmuş PyTorch pip wheel'i manuel olarak yüklememiz ve Torchvision'ı kaynaktan derlememiz / yüklememiz gerekir.

  1. Şu anda yüklü olan PyTorch ve Torchvision'ı kaldırın

    pip uninstall torch torchvision

  2. JP5.1.3'e göre PyTorch 2.1.0'ı yükleyin

    sudo apt-get install -y libopenblas-base libopenmpi-dev
wget https://developer.download.nvidia.com/compute/redist/jp/v512/pytorch/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl -O torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
pip install torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl

  3. Torchvision v0.16.2'yi PyTorch v2.1.0'a göre yükleyin

    sudo apt install -y libjpeg-dev zlib1g-dev
git clone https://github.com/pytorch/vision torchvision
cd torchvision
git checkout v0.16.2
python3 setup.py install --user

Farklı JetPack sürümleri için PyTorch 'un tüm farklı sürümlerine erişmek için Jetson içinPyTorch sayfasını ziyaret edin. PyTorch , Torchvision uyumluluğu hakkında daha ayrıntılı bir liste için PyTorch ve Torchvision uyumluluğu sayfasını ziyaret edin.

Kurulum onnxruntime-gpu

Bu onnxruntime-gpu PyPI'da barındırılan paketin aarch64 Jetson için ikili dosyalar. Bu yüzden bu paketi manuel olarak yüklememiz gerekiyor. Bu paket bazı dışa aktarımlar için gereklidir.

Hepsi farklı onnxruntime-gpu farklı JetPack ve Python sürümlerine karşılık gelen paketler listelenmiştir Burada. Ancak, burada indirip kuracağız onnxruntime-gpu 1.17.0 ile Python3.8 destek.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Not

onnxruntime-gpu numpy sürümünü otomatik olarak en son sürüme geri döndürecektir. Bu yüzden numpy'yi yeniden yüklememiz gerekiyor 1.23.5 çalıştırarak bir sorunu düzeltmek için:

pip install numpy==1.23.5

TensorRT adresini NVIDIA Jetson'da kullanın

Ultralytics tarafından desteklenen tüm model dışa aktarma formatları arasında TensorRT , NVIDIA Jetson cihazlarıyla çalışırken en iyi çıkarım performansını sunar ve bizim önerimiz Jetson ile TensorRT kullanılmasıdır. Ayrıca TensorRT ile ilgili ayrıntılı bir belgeyeburadan ulaşabilirsiniz.

Modeli TensorRT 'a Dönüştürün ve Çıkarım Çalıştırın

PyTorch biçimindeki YOLO11n modeli, dışa aktarılan modelle çıkarım yapmak için TensorRT biçimine dönüştürülür.

Örnek

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine  # creates 'yolo11n.engine'

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

Not

Modelleri farklı model formatlarına aktarırken ek argümanlara erişmek için Dışa Aktar sayfasını ziyaret edin

NVIDIA Derin Öğrenme Hızlandırıcısını (DLA) kullanın

NVIDIA Deep Learning Accelerator (DLA), NVIDIA Jetson cihazlarında yerleşik olarak bulunan, enerji verimliliği ve performans için derin öğrenme çıkarımını optimize eden özel bir donanım bileşenidir. DLA, görevleri GPU 'dan boşaltarak (daha yoğun işlemler için serbest bırakarak), modellerin daha düşük güç tüketimiyle çalışmasını sağlarken, gömülü sistemler ve gerçek zamanlı yapay zeka uygulamaları için ideal olan yüksek verimi korur.

Aşağıdaki Jetson cihazları DLA donanımı ile donatılmıştır:

  • Jetson Orin NX 16GB
  • Jetson AGX Orin Serisi
  • Jetson AGX Xavier Serisi
  • Jetson Xavier NX Serisi

Örnek

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", half=True)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format with DLA enabled (only works with FP16 or INT8)
yolo export model=yolo11n.pt format=engine device="dla:0" half=True  # dla:0 or dla:1 corresponds to the DLA cores

# Run inference with the exported model on the DLA
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

Not

DLA dışa aktarımları kullanılırken, bazı katmanların DLA üzerinde çalışması desteklenmeyebilir ve yürütme için GPU adresine geri dönülür. Bu geri dönüş ek gecikmeye yol açabilir ve genel çıkarım performansını etkileyebilir. Bu nedenle, DLA öncelikle tamamen TensorRT üzerinde çalışan GPU ile karşılaştırıldığında çıkarım gecikmesini azaltmak için tasarlanmamıştır. Bunun yerine, birincil amacı verimi artırmak ve enerji verimliliğini iyileştirmektir.

NVIDIA Jetson Orin YOLO11 Benchmarklar

YOLO11 kıyaslamalar Ultralytics ekibi tarafından hız ve doğruluğu ölçen 10 farklı model formatında çalıştırılmıştır: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel , TF GraphDef , TF Lite, PaddlePaddle, NCNN. Benchmarklar, Jetson Orin NX 16GB cihaz tarafından desteklenen Seeed Studio reComputer J4012 üzerinde FP32 hassasiyetinde ve varsayılan giriş görüntü boyutu 640 olacak şekilde çalıştırılmıştır.

Karşılaştırma Tablosu

Tüm model dışa aktarımları NVIDIA Jetson ile çalışıyor olsa da, aşağıdaki karşılaştırma tablosuna yalnızca PyTorch, TorchScript, TensorRT adreslerini dahil ettik, çünkü bunlar Jetson'daki GPU adresini kullanıyor ve en iyi sonuçları üretmeleri garanti ediliyor. Diğer tüm dışa aktarımlar yalnızca CPU adresini kullanır ve performans yukarıdaki üçü kadar iyi değildir. Bu tablodan sonraki bölümde tüm dışa aktarmalar için kıyaslamaları bulabilirsiniz.

NVIDIA Jetson Ekosistemi

Detaylı Karşılaştırma Tablosu

Aşağıdaki tablo, on farklı formatta (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel , TF GraphDef , TF Lite, PaddlePaddle, NCNN) beş farklı model (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) için kıyaslama sonuçlarını göstermekte ve bize her kombinasyon için durum, boyut, mAP50-95(B) metriği ve çıkarım süresini vermektedir.

Performans

Biçim Durum Disk üzerindeki boyut (MB) mAP50-95(B) Çıkarım süresi (ms/im)
PyTorch ✅ 5.4 0.6176 19.80
TorchScript ✅ 10.5 0.6100 13.30
ONNX ✅ 10.2 0.6082 67.92
OpenVINO ✅ 10.4 0.6082 118.21
TensorRT (FP32) ✅ 14.1 0.6100 7.94
TensorRT (FP16) ✅ 8.3 0.6082 4.80
TensorRT (INT8) ✅ 6.6 0.3256 4.17
TF SavedModel ✅ 25.8 0.6082 185.88
TF GraphDef ✅ 10.3 0.6082 256.66
TF Lite ✅ 10.3 0.6082 284.64
PaddlePaddle ✅ 20.4 0.6082 477.41
NCNN ✅ 10.2 0.6106 32.18
Biçim Durum Disk üzerindeki boyut (MB) mAP50-95(B) Çıkarım süresi (ms/im)
PyTorch ✅ 18.4 0.7526 20.20
TorchScript ✅ 36.5 0.7416 23.42
ONNX ✅ 36.3 0.7416 162.01
OpenVINO ✅ 36.4 0.7416 159.61
TensorRT (FP32) ✅ 40.3 0.7416 13.93
TensorRT (FP16) ✅ 21.7 0.7416 7.47
TensorRT (INT8) ✅ 13.6 0.3179 5.66
TF SavedModel ✅ 91.1 0.7416 316.46
TF GraphDef ✅ 36.4 0.7416 506.71
TF Lite ✅ 36.4 0.7416 842.97
PaddlePaddle ✅ 72.5 0.7416 1172.57
NCNN ✅ 36.2 0.7419 66.00
Biçim Durum Disk üzerindeki boyut (MB) mAP50-95(B) Çıkarım süresi (ms/im)
PyTorch ✅ 38.8 0.7595 36.70
TorchScript ✅ 77.3 0.7643 50.95
ONNX ✅ 76.9 0.7643 416.34
OpenVINO ✅ 77.1 0.7643 370.99
TensorRT (FP32) ✅ 81.5 0.7640 30.49
TensorRT (FP16) ✅ 42.2 0.7658 14.93
TensorRT (INT8) ✅ 24.3 0.4118 10.32
TF SavedModel ✅ 192.7 0.7643 597.08
TF GraphDef ✅ 77.0 0.7643 1016.12
TF Lite ✅ 77.0 0.7643 2494.60
PaddlePaddle ✅ 153.8 0.7643 3218.99
NCNN ✅ 76.8 0.7691 192.77
Biçim Durum Disk üzerindeki boyut (MB) mAP50-95(B) Çıkarım süresi (ms/im)
PyTorch ✅ 49.0 0.7475 47.6
TorchScript ✅ 97.6 0.7250 66.36
ONNX ✅ 97.0 0.7250 532.58
OpenVINO ✅ 97.3 0.7250 477.55
TensorRT (FP32) ✅ 101.6 0.7250 38.71
TensorRT (FP16) ✅ 52.6 0.7265 19.35
TensorRT (INT8) ✅ 31.6 0.3856 13.50
TF SavedModel ✅ 243.3 0.7250 895.24
TF GraphDef ✅ 97.2 0.7250 1301.19
TF Lite ✅ 97.2 0.7250 3202.93
PaddlePaddle ✅ 193.9 0.7250 4206.98
NCNN ✅ 96.9 0.7252 225.75
Biçim Durum Disk üzerindeki boyut (MB) mAP50-95(B) Çıkarım süresi (ms/im)
PyTorch ✅ 109.3 0.8288 85.60
TorchScript ✅ 218.1 0.8308 121.67
ONNX ✅ 217.5 0.8308 1073.14
OpenVINO ✅ 217.8 0.8308 955.60
TensorRT (FP32) ✅ 221.6 0.8307 75.84
TensorRT (FP16) ✅ 113.1 0.8295 35.75
TensorRT (INT8) ✅ 62.2 0.4783 22.23
TF SavedModel ✅ 545.0 0.8308 1497.40
TF GraphDef ✅ 217.8 0.8308 2552.42
TF Lite ✅ 217.8 0.8308 7044.58
PaddlePaddle ✅ 434.9 0.8308 8386.73
NCNN ✅ 217.3 0.8304 486.36

NVIDIA Jetson donanımının farklı sürümlerinde çalışan Seeed Studio'nun daha fazla kıyaslama çalışmasını keşfedin.

Sonuçlarımızı Yeniden Üretin

Yukarıdaki Ultralytics kıyaslamalarını tüm dışa aktarma biçimlerinde yeniden oluşturmak için bu kodu çalıştırın:

Örnek

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmarks(data="coco8.yaml", imgsz=640)

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml imgsz=640

Kıyaslama sonuçlarının, bir sistemin tam donanım ve yazılım yapılandırmasının yanı sıra kıyaslamaların çalıştırıldığı sırada sistemin mevcut iş yüküne bağlı olarak değişebileceğini unutmayın. En güvenilir sonuçlar için çok sayıda görüntü içeren bir veri kümesi kullanın, örn. data='coco8.yaml' (4 val images), ordata='coco.yaml'` (5000 val görüntü).

NVIDIA Jetson kullanırken En İyi Uygulamalar

NVIDIA Jetson kullanırken, YOLO11 çalıştıran NVIDIA Jetson'da maksimum performans sağlamak için izlenecek birkaç en iyi uygulama vardır.

  1. MAX Güç Modunu Etkinleştir

    Jetson'da MAX Güç Modunun etkinleştirilmesi tüm CPU, GPU çekirdeklerinin açık olmasını sağlayacaktır.

    sudo nvpmodel -m 0

  2. Jetson Saatlerini Etkinleştir

    Jetson Saatlerini etkinleştirmek, tüm CPU, GPU çekirdeklerinin maksimum frekanslarında çalışmasını sağlayacaktır.

    sudo jetson_clocks

  3. Jetson Stats Uygulamasını Yükleme

    Sistem bileşenlerinin sıcaklıklarını izlemek ve CPU, GPU, RAM kullanımını görüntülemek, güç modlarını değiştirmek, maksimum saatlere ayarlamak, JetPack bilgilerini kontrol etmek gibi diğer sistem ayrıntılarını kontrol etmek için jetson stats uygulamasını kullanabiliriz.

    sudo apt update
sudo pip install jetson-stats
sudo reboot
jtop

Jetson İstatistikleri

Sonraki Adımlar

YOLO11 'u NVIDIA Jetson'unuzda başarıyla kurduğunuz için tebrikler! Daha fazla bilgi ve destek için Ultralytics YOLO11 Docs adresindeki kılavuzu ziyaret edin!

SSS

Ultralytics YOLO11 adresini NVIDIA Jetson cihazlarına nasıl dağıtabilirim?

Ultralytics YOLO11 adresini NVIDIA Jetson cihazlarına dağıtmak basit bir işlemdir. İlk olarak, Jetson cihazınızı NVIDIA JetPack SDK ile flaşlayın. Ardından, hızlı kurulum için önceden oluşturulmuş bir Docker görüntüsü kullanın veya gerekli paketleri manuel olarak yükleyin. Her bir yaklaşım için ayrıntılı adımlar Docker ile Hızlı Başlangıç ve Yerel Kurulum ile Başlangıç bölümlerinde bulunabilir.

NVIDIA Jetson cihazlarındaki YOLO11 modellerinden hangi performans kıyaslamalarını bekleyebilirim?

YOLO11 modelleri çeşitli NVIDIA Jetson cihazlarında kıyaslanmış ve önemli performans iyileştirmeleri gösterilmiştir. Örneğin, TensorRT formatı en iyi çıkarım performansını sunmaktadır. Ayrıntılı Karşılaştırma Tablosu bölümündeki tablo, farklı model formatları arasında mAP50-95 ve çıkarım süresi gibi performans ölçümlerinin kapsamlı bir görünümünü sunar.

YOLO11 'u NVIDIA Jetson'da dağıtmak için neden TensorRT kullanmalıyım?

TensorRT optimum performansı nedeniyle YOLO11 modellerini NVIDIA Jetson'da dağıtmak için şiddetle tavsiye edilir. Jetson'un GPU özelliklerinden yararlanarak çıkarımı hızlandırır, maksimum verimlilik ve hız sağlar. TensorRT 'a nasıl dönüştürüleceği ve NVIDIA Jetson'da TensorRT 'u kullanma bölümünde çıkarımın nasıl çalıştırılacağı hakkında daha fazla bilgi edinin.

PyTorch ve Torchvision'ı NVIDIA Jetson'a nasıl yükleyebilirim?

PyTorch ve Torchvision'ı NVIDIA Jetson'a yüklemek için, önce pip aracılığıyla yüklenmiş olabilecek mevcut sürümleri kaldırın. Ardından, Jetson'un ARM64 mimarisi için uyumlu PyTorch ve Torchvision sürümlerini manuel olarak yükleyin. Bu işlem için ayrıntılı talimatlar PyTorch ve Torchvision 'ı Yükleme bölümünde verilmiştir.

YOLO11 kullanırken NVIDIA Jetson'da performansı en üst düzeye çıkarmak için en iyi uygulamalar nelerdir?

NVIDIA Jetson'da YOLO11 ile performansı en üst düzeye çıkarmak için aşağıdaki en iyi uygulamaları izleyin:

  1. Tüm CPU ve GPU çekirdeklerini kullanmak için MAX Güç Modunu etkinleştirin.
  2. Tüm çekirdekleri maksimum frekanslarında çalıştırmak için Jetson Clocks'u etkinleştirin.
  3. Sistem ölçümlerini izlemek için Jetson Stats uygulamasını yükleyin.

Komutlar ve ek ayrıntılar için NVIDIA Jetson kullanırken En İyi Uygulamalar bölümüne bakın.

📅 Created 8 months ago ✏️ Updated 2 days ago
lakshanthad justincdavis glenn-jocher MatthewNoyce UltralitikAsistan RizwanMunawar Ahelsamahy Burhan-Q

Yorumlar