DeepStream SDK ve TensorRT kullanarak NVIDIA Jetson üzerinde Ultralytics YOLO26#

Bu kapsamlı kılavuz, NVIDIA Jetson cihazlarında DeepStream SDK ve TensorRT kullanarak Ultralytics YOLO26 dağıtımını ayrıntılı şekilde ele alır. Burada, Jetson platformunda çıkarım performansını en üst düzeye çıkarmak için TensorRT kullanıyoruz.

Bu kılavuzda YOLO26 için DeepStream yapılandırması, INT8 kalibrasyonu, çoklu akış kurulumu ve karşılaştırma sonuçları adım adım açıklanır.

NVIDIA DeepStream nedir?#

NVIDIA DeepStream SDK, yapay zekâ tabanlı çoklu sensör işleme, video, ses ve görüntü anlama için GStreamer tabanlı eksiksiz bir akış analitiği araç setidir. IVA (Akıllı Video Analitiği) uygulamaları ve hizmetleri geliştiren görüntü yapay zekâsı geliştiricileri, yazılım iş ortakları, girişimler ve OEM'ler için idealdir. Artık sinir ağlarını izleme, video kodlama/kod çözme ve video işleme gibi diğer karmaşık görevlerle birleştiren akış işleme işlem hatları oluşturabilirsin. Bu işlem hatları video, görüntü ve sensör verileri üzerinde gerçek zamanlı analitik yapılmasını sağlar. DeepStream'in çoklu platform desteği, görüntü yapay zekâsı uygulamalarını ve hizmetlerini şirket içinde, uçta ve bulutta daha hızlı ve kolay geliştirmeni sağlar.

Ön koşullar#

Bu kılavuzu uygulamaya başlamadan önce:

• NVIDIA Jetson cihazını Ultralytics YOLO26 ile kurmak için belgelerimizdeki Hızlı Başlangıç Kılavuzu: NVIDIA Jetson ile Ultralytics YOLO26 sayfasını ziyaret et
• DeepStream SDK kurulumunu JetPack sürümüne göre yap
  • JetPack 4.6.4 için DeepStream 6.0.1 kur
  • JetPack 5.1.3 için DeepStream 6.3 kur
  • JetPack 6.1 için DeepStream 7.1 kur
  • JetPack 7.1 için DeepStream 9.0 kur

YOLO26 için DeepStream Yapılandırması#

Burada, YOLO modelleri için NVIDIA DeepStream SDK desteği içeren marcoslucianops/DeepStream-Yolo GitHub deposunu kullanıyoruz. Katkıları için marcoslucianops'un çabalarını takdir ediyoruz!

1. Ultralytics'i gerekli bağımlılıklarla kur

   pip install ultralytics onnx onnxslim

2. DeepStream-Yolo deposunu klonla

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo

3. YOLO26 projesinden istediğin bir Ultralytics YOLO26 algılama modelini (.pt) indir. Burada yolo26s.pt kullanıyoruz.

   wget https://github.com/ultralytics/assets/releases/download/v8.4.0/yolo26s.pt

4. Modeli ONNX formatına denüştür ve DeepStream'in sınıf adlarını okuduğu labels.txt dosyasını yaz

   from ultralytics import YOLO
   
   model = YOLO("yolo26s.pt")
   model.export(format="onnx", nms=False, agnostic_nms=True)  # creates 'yolo26s.onnx'
   with open("labels.txt", "w") as f:
       f.write("\n".join(model.names.values()))

5. Oluşturulan .onnx model dosyasını ve labels.txt dosyasını DeepStream-Yolo klasörüne kopyala

   cp yolo26s.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo

6. CUDA sürümünü kurulu JetPack sürümüne göre ayarla

   JetPack 4.6.4 için:

   export CUDA_VER=10.2

   JetPack 5.1.3 için:

   export CUDA_VER=11.4

   JetPack 6.1 için:

   export CUDA_VER=12.6

   JetPack 7.1 için:

   export CUDA_VER=13.0

7. Kitaplığı derle

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

8. config_infer_primary_yolo26.txt dosyasını modeline göre düzenle (80 sınıflı YOLO26s için)

   [property]
   ...
   onnx-file=yolo26s.onnx
   ...
   num-detected-classes=80
   ...
   parse-bbox-func-name=NvDsInferParseYolo
   ...

[property]
...
maintain-aspect-ratio=1
symmetric-padding=1
cluster-mode=4
...

9. deepstream_app_config dosyasını düzenle

   ...
   [primary-gie]
   ...
   config-file=config_infer_primary_yolo26.txt

10. deepstream_app_config dosyasındaki video kaynağını da değiştirebilirsin. Burada varsayılan bir video dosyası yüklenir

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

Çıkarımı çalıştır#

deepstream-app -c deepstream_app_config.txt

INT8 Kalibrasyonu#

Çıkarım için INT8 hassasiyetini kullanmak istiyorsan aşağıdaki adımları uygulaman gerekir:

1. OPENCV ortam değişkenini ayarla

   export OPENCV=1

2. Kitaplığı derle

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

3. COCO veri kümesi için val2017 dosyasını indir, çıkart ve DeepStream-Yolo klasörüne taşı

4. Kalibrasyon görüntüleri için yeni bir dizin oluştur

   mkdir calibration

5. COCO veri kümesinden kalibrasyon çalıştırmak üzere rastgele 1000 görüntü seçmek için aşağıdaki komutu çalıştır

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done

6. Seçilen tüm görüntülerle calibration.txt dosyasını oluştur

   realpath calibration/*jpg > calibration.txt

7. Ortam değişkenlerini ayarla

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1

8. config_infer_primary_yolo26.txt dosyasını güncelle

   Şundan

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...

   Şuna

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...

INT8 Çıkarımını Çalıştır#

INT8 motorunu oluşturmak ve çıkarımı başlatmak için aynı komutu çalıştır:

deepstream-app -c deepstream_app_config.txt

MultiStream Kurulumu#

Tek bir DeepStream uygulamasında birden fazla akış ayarlamak için deepstream_app_config.txt dosyasında aşağıdaki değişiklikleri yap:

1. Sahip olmak istediğin akış sayısına göre ızgara görünümü oluşturmak için satır ve sütunları değiştir. Örneğin 4 akış için 2 satır ve 2 sütun ekleyebiliriz.

   [tiled-display]
   rows=2
   columns=2

2. Her akış için, kendine ait uri ve num-sources=1 değerlerini içeren ayrı bir [sourceN] grubu ekle.

   [source0]
   enable=1
   type=3
   uri=file:///path/to/video1.mp4
   num-sources=1
   
   [source1]
   enable=1
   type=3
   uri=file:///path/to/video2.mp4
   num-sources=1
   
   [source2]
   enable=1
   type=3
   uri=file:///path/to/video3.mp4
   num-sources=1
   
   [source3]
   enable=1
   type=3
   uri=file:///path/to/video4.mp4
   num-sources=1

Çoklu Akış Çıkarımını Çalıştır#

Tüm akışları döşeli görünümde başlatmak için aynı komutu çalıştır:

deepstream-app -c deepstream_app_config.txt

Karşılaştırma Sonuçları#

Aşağıdaki karşılaştırmalar, NVIDIA Jetson Orin NX 16GB üzerinde 640x640 giriş boyutuyla farklı TensorRT hassasiyet düzeylerinde YOLO11 modellerinin performansını özetler. YOLO26, yukarıda açıklanan aynı DeepStream dışa aktarma ve çıkarım iş akışını kullanır.

Karşılaştırma Grafiği#

Ayrıntılı Karşılaştırma Tablosu#

Teşekkürler#

Bu kılavuz ilk olarak Seeed Studio'daki arkadaşlarımız Lakshantha ve Elaine tarafından oluşturulmuştur.

SSS#