DeepStream SDK ve TensorRT kullanarak NVIDIA Jetson'da Ultralytics YOLO26#

Bu kapsamlı kılavuz, DeepStream SDK ve TensorRT kullanarak Ultralytics YOLO26'yı NVIDIA Jetson cihazlarında dağıtmak için ayrıntılı bir yol haritası sunar. Burada, Jetson platformundaki çıkarım performansını en üst düzeye çıkarmak için TensorRT kullanıyoruz.

Bu kılavuzda YOLO26 için DeepStream yapılandırması, INT8 kalibrasyonu, çoklu akış kurulumu ve kıyaslama sonuçları ele alınıyor.

NVIDIA DeepStream nedir?#

NVIDIA'nın DeepStream SDK'sı, yapay zekâ tabanlı çoklu sensör işleme, video, ses ve görüntü anlama için GStreamer tabanlı kapsamlı bir akış analizi araç setidir. IVA (Akıllı Video Analizi) uygulamaları ve hizmetleri geliştiren görsel yapay zekâ geliştiricileri, yazılım iş ortakları, girişimler ve OEM'ler için idealdir. Artık sinir ağlarını ve izleme, video kodlama/kod çözme ve video işleme gibi diğer karmaşık görevleri içeren akış işleme işlem hatları oluşturabilirsin. Bu işlem hatları, video, görüntü ve sensör verileri üzerinde gerçek zamanlı analiz yapılmasını sağlar. DeepStream'in çoklu platform desteği, şirket içi ortamlarda, uçta ve bulutta görsel yapay zekâ uygulamaları ve hizmetleri geliştirmenin daha hızlı ve kolay bir yolunu sunar.

Ön koşullar#

Bu kılavuzu uygulamaya başlamadan önce:

• NVIDIA Jetson cihazını Ultralytics YOLO26 ile kurmak için belgelerimizdeki Hızlı Başlangıç Kılavuzu: Ultralytics YOLO26 ile NVIDIA Jetson sayfasını ziyaret et.
• JetPack sürümüne uygun DeepStream SDK'yı yükle.
  • JetPack 4.6.4 için DeepStream 6.0.1 yükle.
  • JetPack 5.1.3 için DeepStream 6.3 yükle.
  • JetPack 6.1 için DeepStream 7.1 yükle.
  • JetPack 7.1 için DeepStream 9.0 yükle.

YOLO26 için DeepStream Yapılandırması#

Burada, YOLO modelleri için NVIDIA DeepStream SDK desteği içeren marcoslucianops/DeepStream-Yolo GitHub deposunu kullanıyoruz. Katkılarından dolayı marcoslucianops'un çabalarını takdir ediyoruz!

1. Ultralytics'ı gerekli bağımlılıklarla yükle

   pip install ultralytics onnx onnxslim

2. DeepStream-Yolo deposunu klonla

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo

3. YOLO26 projesinden istediğin bir Ultralytics YOLO26 algılama modelini (.pt) indir. Burada yolo26s.pt kullanıyoruz.

   wget https://github.com/ultralytics/assets/releases/download/v8.4.0/yolo26s.pt

4. Modeli ONNX'e dönüştür ve DeepStream'in sınıf adlarını okuduğu labels.txt dosyasını yaz.

   from ultralytics import YOLO
   
   model = YOLO("yolo26s.pt")
   model.export(format="onnx", nms=False, agnostic_nms=True)  # 'yolo26s.onnx' oluşturur
   with open("labels.txt", "w") as f:
       f.write("\n".join(model.names.values()))

5. Oluşturulan .onnx model dosyasını ve labels.txt dosyasını DeepStream-Yolo klasörüne kopyala.

   cp yolo26s.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo

6. CUDA sürümünü, yüklü JetPack sürümüne göre ayarla.

   JetPack 4.6.4 için:

   export CUDA_VER=10.2

   JetPack 5.1.3 için:

   export CUDA_VER=11.4

   JetPack 6.1 için:

   export CUDA_VER=12.6

   JetPack 7.1 için:

   export CUDA_VER=13.0

7. Kitaplığı derle.

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

8. config_infer_primary_yolo26.txt dosyasını modeline göre düzenle (80 sınıflı YOLO26s için).

   [property]
   ...
   onnx-file=yolo26s.onnx
   ...
   num-detected-classes=80
   ...
   parse-bbox-func-name=NvDsInferParseYolo
   ...

[property]
...
maintain-aspect-ratio=1
symmetric-padding=1
cluster-mode=4
...

9. deepstream_app_config dosyasını düzenle.

   ...
   [primary-gie]
   ...
   config-file=config_infer_primary_yolo26.txt

10. deepstream_app_config dosyasındaki video kaynağını da değiştirebilirsin. Burada varsayılan bir video dosyası yüklenir.

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

Çıkarımı Çalıştır#

deepstream-app -c deepstream_app_config.txt

INT8 Kalibrasyonu#

Çıkarım için INT8 hassasiyetini kullanmak istiyorsan aşağıdaki adımları uygulaman gerekir:

1. OPENCV ortam değişkenini ayarla.

   export OPENCV=1

2. Kitaplığı derle.

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

3. COCO veri kümesi için val2017 dosyasını indir, ayıkla ve DeepStream-Yolo klasörüne taşı.

4. Kalibrasyon görüntüleri için yeni bir dizin oluştur.

   mkdir calibration

5. Kalibrasyon için COCO veri kümesinden rastgele 1000 görüntü seçmek üzere aşağıdakini çalıştır.

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done

6. Seçilen tüm görüntüleri içeren calibration.txt dosyasını oluştur.

   realpath calibration/*jpg > calibration.txt

7. Ortam değişkenlerini ayarla.

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1

8. config_infer_primary_yolo26.txt dosyasını güncelle.

   Şundan

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...

   Şuna

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...

INT8 Çıkarımını Çalıştır#

INT8 motorunu oluşturup çıkarımı başlatmak için aynı komutu çalıştır:

deepstream-app -c deepstream_app_config.txt

Çoklu Akış Kurulumu#

Tek bir DeepStream uygulamasında birden fazla akış kurmak için deepstream_app_config.txt dosyasında aşağıdaki değişiklikleri yap:

1. Görüntülemek istediğin akış sayısına göre ızgara düzeni oluşturmak için satır ve sütun sayılarını değiştir. Örneğin, 4 akış için 2 satır ve 2 sütun ekleyebilirsin.

   [tiled-display]
   rows=2
   columns=2

2. Her akış için ayrı bir [sourceN] grubu ekle; her grubun kendine ait uri ve num-sources=1 değerleri olsun.

   [source0]
   enable=1
   type=3
   uri=file:///path/to/video1.mp4
   num-sources=1
   
   [source1]
   enable=1
   type=3
   uri=file:///path/to/video2.mp4
   num-sources=1
   
   [source2]
   enable=1
   type=3
   uri=file:///path/to/video3.mp4
   num-sources=1
   
   [source3]
   enable=1
   type=3
   uri=file:///path/to/video4.mp4
   num-sources=1

Çoklu Akış Çıkarımını Çalıştır#

Döşenmiş ekranda tüm akışları başlatmak için aynı komutu çalıştır:

deepstream-app -c deepstream_app_config.txt

Kıyaslama Sonuçları#

Aşağıdaki kıyaslamalar, NVIDIA Jetson Orin NX 16GB üzerinde 640x640 giriş boyutuyla TensorRT'nin farklı hassasiyet düzeylerinde YOLO11 modellerinin performansını özetler. YOLO26, yukarıda açıklanan aynı DeepStream dışa aktarma ve çıkarım iş akışını kullanır.

Karşılaştırma grafiği#

Ayrıntılı karşılaştırma tablosu#

Teşekkür#

Bu kılavuz ilk olarak Seeed Studio'daki dostlarımız Lakshantha ve Elaine tarafından hazırlandı.

Sık Sorulan Sorular#