Ultralytics YOLO26 на NVIDIA Jetson с использованием DeepStream SDK и TensorRT#

Это подробное руководство содержит пошаговое описание развертывания Ultralytics YOLO26 на устройствах NVIDIA Jetson с использованием DeepStream SDK и TensorRT. Здесь мы используем TensorRT, чтобы максимально повысить производительность инференса на платформе Jetson.

В этом руководстве рассматриваются настройка DeepStream для YOLO26, калибровка INT8, настройка нескольких потоков и результаты бенчмарков.

Что такое NVIDIA DeepStream?#

DeepStream SDK от NVIDIA — это комплексный инструментарий потоковой аналитики на базе GStreamer для обработки нескольких сенсоров с использованием ИИ, а также анализа видео, аудио и изображений. Он идеально подходит разработчикам vision AI, программным партнерам, стартапам и OEM-производителям, создающим приложения и сервисы IVA (интеллектуальной видеоаналитики). Теперь ты можешь создавать конвейеры обработки потоков, включающие нейронные сети и другие сложные задачи обработки, такие как трекинг, кодирование и декодирование видео, а также рендеринг видео. Эти конвейеры обеспечивают аналитику в реальном времени для видео, изображений и данных сенсоров. Кроссплатформенная поддержка DeepStream позволяет быстрее и проще разрабатывать приложения и сервисы vision AI локально, на периферии и в облаке.

Предварительные требования#

Перед началом работы с этим руководством:

• Ознакомься с нашей документацией, кратким руководством: NVIDIA Jetson с Ultralytics YOLO26, чтобы настроить устройство NVIDIA Jetson для работы с Ultralytics YOLO26
• Установи DeepStream SDK в соответствии с версией JetPack
  • Для JetPack 4.6.4 установи DeepStream 6.0.1
  • Для JetPack 5.1.3 установи DeepStream 6.3
  • Для JetPack 6.1 установи DeepStream 7.1
  • Для JetPack 7.1 установи DeepStream 9.0

Настройка DeepStream для YOLO26#

Здесь мы используем репозиторий GitHub marcoslucianops/DeepStream-Yolo, содержащий поддержку NVIDIA DeepStream SDK для моделей YOLO. Мы благодарим marcoslucianops за его вклад!

1. Установи Ultralytics с необходимыми зависимостями

   pip install ultralytics onnx onnxslim

2. Клонируй репозиторий DeepStream-Yolo

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo

3. Скачай выбранную модель обнаружения Ultralytics YOLO26 (.pt) из проекта YOLO26. Здесь мы используем yolo26s.pt.

   wget https://github.com/ultralytics/assets/releases/download/v8.4.0/yolo26s.pt

4. Конвертируй модель в ONNX и запиши файл labels.txt, из которого DeepStream считывает названия классов

   from ultralytics import YOLO
   
   model = YOLO("yolo26s.pt")
   model.export(format="onnx", nms=False, agnostic_nms=True)  # creates 'yolo26s.onnx'
   with open("labels.txt", "w") as f:
       f.write("\n".join(model.names.values()))

5. Скопируй созданный файл модели .onnx и файл labels.txt в папку DeepStream-Yolo

   cp yolo26s.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo

6. Установи версию CUDA в соответствии с установленной версией JetPack

   Для JetPack 4.6.4:

   export CUDA_VER=10.2

   Для JetPack 5.1.3:

   export CUDA_VER=11.4

   Для JetPack 6.1:

   export CUDA_VER=12.6

   Для JetPack 7.1:

   export CUDA_VER=13.0

7. Скомпилируй библиотеку

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

8. Измени файл config_infer_primary_yolo26.txt в соответствии с используемой моделью (для YOLO26s с 80 классами)

   [property]
   ...
   onnx-file=yolo26s.onnx
   ...
   num-detected-classes=80
   ...
   parse-bbox-func-name=NvDsInferParseYolo
   ...

[property]
...
maintain-aspect-ratio=1
symmetric-padding=1
cluster-mode=4
...

9. Измени файл deepstream_app_config

   ...
   [primary-gie]
   ...
   config-file=config_infer_primary_yolo26.txt

10. Также можно изменить источник видео в файле deepstream_app_config. Здесь загружается видеофайл по умолчанию

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

Запусти инференс#

deepstream-app -c deepstream_app_config.txt

Калибровка INT8#

Если ты хочешь использовать точность INT8 для инференса, выполни следующие шаги:

1. Задай переменную окружения OPENCV

   export OPENCV=1

2. Скомпилируй библиотеку

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

3. Для набора данных COCO скачай val2017, распакуй его и перемести в папку DeepStream-Yolo

4. Создай новый каталог для калибровочных изображений

   mkdir calibration

5. Выполни следующую команду, чтобы выбрать 1000 случайных изображений из набора данных COCO для калибровки

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done

6. Создай файл calibration.txt со всеми выбранными изображениями

   realpath calibration/*jpg > calibration.txt

7. Задай переменные окружения

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1

8. Обнови файл config_infer_primary_yolo26.txt

   Было

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...

   Стало

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...

Запусти инференс INT8#

Выполни ту же команду, чтобы собрать движок INT8 и запустить инференс:

deepstream-app -c deepstream_app_config.txt

Настройка нескольких потоков#

Чтобы настроить несколько потоков в одном приложении DeepStream, внеси следующие изменения в файл deepstream_app_config.txt:

1. Измени количество строк и столбцов, чтобы создать сетку отображения в соответствии с нужным количеством потоков. Например, для 4 потоков можно добавить 2 строки и 2 столбца.

   [tiled-display]
   rows=2
   columns=2

2. Добавь отдельную группу [sourceN] для каждого потока, указав для каждой собственные uri и num-sources=1.

   [source0]
   enable=1
   type=3
   uri=file:///path/to/video1.mp4
   num-sources=1
   
   [source1]
   enable=1
   type=3
   uri=file:///path/to/video2.mp4
   num-sources=1
   
   [source2]
   enable=1
   type=3
   uri=file:///path/to/video3.mp4
   num-sources=1
   
   [source3]
   enable=1
   type=3
   uri=file:///path/to/video4.mp4
   num-sources=1

Запусти инференс нескольких потоков#

Выполни ту же команду, чтобы запустить все потоки в мозаичном отображении:

deepstream-app -c deepstream_app_config.txt

Результаты бенчмарков#

Следующие бенчмарки показывают производительность моделей YOLO11 при разных уровнях точности TensorRT с размером входных данных 640x640 на NVIDIA Jetson Orin NX 16GB. YOLO26 использует описанный выше рабочий процесс экспорта и инференса DeepStream.

Сравнительный график#

Подробная сравнительная таблица#

Благодарности#

Это руководство изначально создали наши друзья из Seeed Studio — Lakshantha и Elaine.

Часто задаваемые вопросы#