Ultralytics YOLO26 на NVIDIA Jetson с использованием DeepStream SDK и TensorRT#

Это подробное руководство содержит пошаговые инструкции по развертыванию Ultralytics YOLO26 на устройствах NVIDIA Jetson с использованием DeepStream SDK и TensorRT. Здесь мы используем TensorRT для максимизации производительности инференса на платформе Jetson.

В этом руководстве рассмотрены конфигурация DeepStream для YOLO26, INT8-калиброка, настройка многопоточности и результаты бенчмарков.

Что такое NVIDIA DeepStream?#

NVIDIA's DeepStream SDK представляет собой полный набор инструментов потоковой аналитики на базе GStreamer для обработки мультисенсорных данных, видео, аудио и понимания изображений с помощью ИИ. Он идеально подходит для разработчиков систем компьютерного зрения на базе ИИ, партнеров-разработчиков программного обеспечения, стартапов и OEM-производителей, создающих приложения и сервисы IVA (интеллектуальной видеоаналитики). Теперь вы можете создавать конвейеры потоковой обработки, включающие нейронные сети и другие сложные задачи обработки, такие как трекинг, кодирование/декодирование видео и рендеринг видео. Эти конвейеры обеспечивают аналитику в реальном времени для видео, изображений и данных датчиков. Поддержка множества платформ в DeepStream дает вам более быстрый и простой способ разработки приложений и сервисов компьютерного зрения с ИИ локально, на периферии и в облаке.

Предварительные требования#

Перед тем как приступить к изучению этого руководства:

• Посетите нашу документацию, Quick Start Guide: NVIDIA Jetson with Ultralytics YOLO26, чтобы настроить ваше устройство NVIDIA Jetson для работы с Ultralytics YOLO26
• Установите DeepStream SDK в соответствии с версией JetPack
  • Для JetPack 4.6.4 установите DeepStream 6.0.1
  • Для JetPack 5.1.3 установите DeepStream 6.3
  • Для JetPack 6.1 установите DeepStream 7.1
  • Для JetPack 7.1 установите DeepStream 9.0

Настройка DeepStream для YOLO26#

Здесь мы используем репозиторий GitHub marcoslucianops/DeepStream-Yolo, который включает поддержку NVIDIA DeepStream SDK для моделей YOLO. Мы ценим вклад marcoslucianops!

1. Установи Ultralytics с необходимыми зависимостями

   cd ~
   pip install -U pip
   git clone https://github.com/ultralytics/ultralytics
   cd ultralytics
   pip install -e ".[export]" onnxslim

2. Клонируй репозиторий DeepStream-Yolo

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo

3. Скопируйте файл export_yolo26.py из директории DeepStream-Yolo/utils в папку ultralytics

   cp ~/DeepStream-Yolo/utils/export_yolo26.py ~/ultralytics
   cd ultralytics

4. Загрузите детекционную модель Ultralytics YOLO26 (.pt) на ваш выбор из проекта YOLO26. Здесь мы используем yolo26s.pt.

   wget https://github.com/ultralytics/assets/releases/download/v8.4.0/yolo26s.pt

5. Конвертируй модель в ONNX

   python3 export_yolo26.py -w yolo26s.pt

--opset 12

-s SIZE
--size SIZE
-s HEIGHT WIDTH
--size HEIGHT WIDTH

-s 1280
or
-s 1280 1280

--simplify

--dynamic

--batch 4

6. Скопируйте сгенерированный файл модели .onnx и файл labels.txt в папку DeepStream-Yolo

   cp yolo26s.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo

7. Установи версию CUDA в соответствии с установленной версией JetPack

   Для JetPack 4.6.4:

   export CUDA_VER=10.2

   Для JetPack 5.1.3:

   export CUDA_VER=11.4

   Для JetPack 6.1:

   export CUDA_VER=12.6

8. Скомпилируй библиотеку

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

9. Отредактируйте файл config_infer_primary_yolo26.txt в соответствии с вашей моделью (для YOLO26s с 80 классами)

   [property]
   ...
   onnx-file=yolo26s.onnx
   ...
   num-detected-classes=80
   ...
   parse-bbox-func-name=NvDsInferParseYolo
   ...

[property]
...
maintain-aspect-ratio=1
symmetric-padding=1
cluster-mode=4
...

10. Отредактируйте файл deepstream_app_config

    ...
    [primary-gie]
    ...
    config-file=config_infer_primary_yolo26.txt

11. Вы также можете изменить видеоисточник в файле deepstream_app_config. Здесь загружается видеофайл по умолчанию

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

Запусти вывод#

deepstream-app -c deepstream_app_config.txt

Калибровка INT8#

Если ты хочешь использовать точность INT8 для вывода, тебе нужно выполнить следующие шаги:

1. Установите переменную окружения OPENCV

   export OPENCV=1

2. Скомпилируй библиотеку

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

3. Для датасета COCO загрузите val2017, распакуйте и переместите в папку DeepStream-Yolo

4. Создай новую директорию для изображений калибровки

   mkdir calibration

5. Запусти следующую команду, чтобы выбрать 1000 случайных изображений из набора данных COCO для запуска калибровки

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done

6. Создайте файл calibration.txt со всеми выбранными изображениями

   realpath calibration/*jpg > calibration.txt

7. Установи переменные окружения

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1

8. Обновите файл config_infer_primary_yolo26.txt

   От

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...

   До

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...

Запуск логического вывода INT8#

Выполни ту же команду, чтобы собрать движок INT8 и начать логический вывод:

deepstream-app -c deepstream_app_config.txt

Настройка нескольких потоков#

Чтобы настроить несколько потоков в рамках одного приложения DeepStream, внесите следующие изменения в файл deepstream_app_config.txt:

1. Измени количество строк и столбцов, чтобы создать сетку отображения в соответствии с количеством потоков, которые ты хочешь использовать. Например, для 4 потоков мы можем добавить 2 строки и 2 столбца.

   [tiled-display]
   rows=2
   columns=2

2. Добавьте отдельную группу [sourceN] для каждого потока, каждая со своими собственными uri и num-sources=1.

   [source0]
   enable=1
   type=3
   uri=file:///path/to/video1.mp4
   num-sources=1
   
   [source1]
   enable=1
   type=3
   uri=file:///path/to/video2.mp4
   num-sources=1
   
   [source2]
   enable=1
   type=3
   uri=file:///path/to/video3.mp4
   num-sources=1
   
   [source3]
   enable=1
   type=3
   uri=file:///path/to/video4.mp4
   num-sources=1

Запуск многопоточного логического вывода#

Выполни ту же команду, чтобы запустить все потоки в мозаичном отображении:

deepstream-app -c deepstream_app_config.txt

Результаты тестирования производительности#

Следующие бенчмарки демонстрируют производительность моделей YOLO11 при различных уровнях точности TensorRT с размером входа 640x640 на NVIDIA Jetson Orin NX 16GB. В YOLO26 используется тот же рабочий процесс экспорта и инференса DeepStream, описанный выше.

Сравнительная диаграмма#

Подробная сравнительная таблица#

Благодарности#

Это руководство было изначально создано нашими друзьями из Seeed Studio, Лакшантой и Элейн.

FAQ#