Ultralytics YOLO26 на NVIDIA Jetson с использованием DeepStream SDK и TensorRT#

В этом подробном руководстве описано развертывание Ultralytics YOLO26 на устройствах NVIDIA Jetson с использованием DeepStream SDK и TensorRT. Здесь мы используем TensorRT, чтобы максимально повысить производительность инференса на платформе Jetson.

В этом руководстве описаны настройка DeepStream для YOLO26, калибровка INT8, настройка нескольких потоков и результаты тестирования.

Что такое NVIDIA DeepStream?#

DeepStream SDK от NVIDIA — это полноценный инструментарий потоковой аналитики на базе GStreamer для обработки данных с нескольких сенсоров с использованием ИИ, а также для анализа видео, аудио и изображений. Он идеально подходит разработчикам vision AI, партнёрам по разработке ПО, стартапам и OEM-производителям, создающим приложения и сервисы IVA (интеллектуальной видеоаналитики). Теперь ты можешь создавать конвейеры потоковой обработки с использованием нейронных сетей и других сложных задач обработки, таких как трекинг, кодирование и декодирование видео, а также рендеринг видео. Эти конвейеры обеспечивают аналитику в реальном времени на основе видео, изображений и данных с датчиков. Благодаря поддержке нескольких платформ DeepStream позволяет быстрее и проще разрабатывать приложения и сервисы vision AI локально, на периферии и в облаке.

Предварительные требования#

Перед тем как приступить к этому руководству:

• Настрой устройство NVIDIA Jetson для работы с Ultralytics YOLO26, следуя нашей документации — краткому руководству по началу работы: NVIDIA Jetson с Ultralytics YOLO26.
• Установи DeepStream SDK в соответствии с версией JetPack.
  • Для JetPack 4.6.4 установи DeepStream 6.0.1.
  • Для JetPack 5.1.3 установи DeepStream 6.3.
  • Для JetPack 6.1 установи DeepStream 7.1.
  • Для JetPack 7.1 установи DeepStream 9.0.

Настройка DeepStream для YOLO26#

Здесь мы используем репозиторий GitHub marcoslucianops/DeepStream-Yolo, который обеспечивает поддержку моделей YOLO в NVIDIA DeepStream SDK. Благодарим marcoslucianops за его вклад!

1. Установи Ultralytics со всеми необходимыми зависимостями

   pip install ultralytics onnx onnxslim

2. Клонируй репозиторий DeepStream-Yolo

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo

3. Скачай подходящую модель обнаружения Ultralytics YOLO26 (.pt) из проекта YOLO26. В этом примере мы используем yolo26s.pt.

   wget https://github.com/ultralytics/assets/releases/download/v8.4.0/yolo26s.pt

4. Преобразуй модель в ONNX и создай файл labels.txt, из которого DeepStream считывает имена классов.

   from ultralytics import YOLO
   
   model = YOLO("yolo26s.pt")
   model.export(format="onnx", nms=False, agnostic_nms=True)  # creates 'yolo26s.onnx'
   with open("labels.txt", "w") as f:
       f.write("\n".join(model.names.values()))

5. Скопируй созданный файл модели .onnx и файл labels.txt в папку DeepStream-Yolo.

   cp yolo26s.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo

6. Укажи версию CUDA в соответствии с установленной версией JetPack.

   Для JetPack 4.6.4:

   export CUDA_VER=10.2

   Для JetPack 5.1.3:

   export CUDA_VER=11.4

   Для JetPack 6.1:

   export CUDA_VER=12.6

   Для JetPack 7.1:

   export CUDA_VER=13.0

7. Скомпилируй библиотеку

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

8. Отредактируй файл config_infer_primary_yolo26.txt в соответствии с моделью (для YOLO26s с 80 классами).

   [property]
   ...
   onnx-file=yolo26s.onnx
   ...
   num-detected-classes=80
   ...
   parse-bbox-func-name=NvDsInferParseYolo
   ...

[property]
...
maintain-aspect-ratio=1
symmetric-padding=1
cluster-mode=4
...

9. Отредактируй файл deepstream_app_config.

   ...
   [primary-gie]
   ...
   config-file=config_infer_primary_yolo26.txt

10. Также можно изменить источник видео в файле deepstream_app_config. В этом примере загружается видеофайл по умолчанию.

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

Запусти инференс#

deepstream-app -c deepstream_app_config.txt

Калибровка INT8#

Чтобы использовать формат INT8 для инференса, выполни следующие шаги:

1. Задай переменную среды OPENCV.

   export OPENCV=1

2. Скомпилируй библиотеку

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

3. Для набора данных COCO скачай val2017, распакуй архив и перемести файлы в папку DeepStream-Yolo.

4. Создай каталог для калибровочных изображений.

   mkdir calibration

5. Выполни следующую команду, чтобы выбрать 1000 случайных изображений из набора данных COCO для калибровки.

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done

6. Создай файл calibration.txt со всеми выбранными изображениями.

   realpath calibration/*jpg > calibration.txt

7. Задай переменные среды.

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1

8. Обнови файл config_infer_primary_yolo26.txt.

   Было

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...

   Стало

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...

Запусти инференс INT8#

Выполни ту же команду, чтобы создать движок INT8 и запустить инференс:

deepstream-app -c deepstream_app_config.txt

Настройка нескольких потоков#

Чтобы настроить несколько потоков в одном приложении DeepStream, внеси следующие изменения в файл deepstream_app_config.txt:

1. Измени количество строк и столбцов, чтобы создать сетку отображения с учётом нужного количества потоков. Например, для 4 потоков можно добавить 2 строки и 2 столбца.

   [tiled-display]
   rows=2
   columns=2

2. Добавь отдельную группу [sourceN] для каждого потока, указав для каждой группы собственные uri и num-sources=1.

   [source0]
   enable=1
   type=3
   uri=file:///path/to/video1.mp4
   num-sources=1
   
   [source1]
   enable=1
   type=3
   uri=file:///path/to/video2.mp4
   num-sources=1
   
   [source2]
   enable=1
   type=3
   uri=file:///path/to/video3.mp4
   num-sources=1
   
   [source3]
   enable=1
   type=3
   uri=file:///path/to/video4.mp4
   num-sources=1

Запусти инференс с несколькими потоками#

Выполни ту же команду, чтобы запустить все потоки в мозаичном режиме отображения:

deepstream-app -c deepstream_app_config.txt

Результаты тестирования#

В следующих результатах тестирования показана производительность моделей YOLO11 при разных уровнях точности TensorRT с размером входного изображения 640x640 на NVIDIA Jetson Orin NX 16GB. Для YOLO26 используется тот же процесс экспорта и инференса через DeepStream, который описан выше.

Сравнительный график#

Подробная сравнительная таблица#

Благодарности#

Это руководство изначально подготовили наши друзья из Seeed Studio — Lakshantha и Elaine.

Часто задаваемые вопросы#