Ultralytics YOLOv8 на NVIDIA Jetson с помощью DeepStream SDK и TensorRT

В этом руководстве подробно описано развертывание Ultralytics YOLOv8 на устройствах NVIDIA Jetson с помощью DeepStream SDK и TensorRT. Здесь мы используем TensorRT , чтобы максимизировать производительность вычислений на платформе Jetson.

Что такое NVIDIA DeepStream?

NVIDIA DeepStream SDK - это полный набор инструментов потоковой аналитики на базе GStreamer для обработки мультисенсорных данных, видео, аудио и понимания изображений на основе ИИ. Он идеально подходит для разработчиков ИИ, партнеров по программному обеспечению, стартапов и OEM-производителей, создающих приложения и сервисы IVA (Intelligent Video Analytics). Теперь ты можешь создавать конвейеры потоковой обработки, включающие нейронные сети и другие сложные задачи обработки, такие как отслеживание, кодирование/декодирование видео и рендеринг видео. Такие конвейеры позволяют анализировать видео, изображения и данные датчиков в реальном времени. Многоплатформенная поддержка DeepStream позволяет тебе быстрее и проще разрабатывать приложения и сервисы искусственного интеллекта зрения в локальной сети, на границе и в облаке.

Пререквизиты

Прежде чем вы начнете следовать этому руководству:

• Загляни в нашу документацию " Руководство по быстрому старту: NVIDIA Jetson с Ultralytics YOLOv8 , чтобы настроить твое устройство NVIDIA Jetson с Ultralytics YOLOv8

• Установи DeepStream SDK в соответствии с версией JetPack

  • Для JetPack 4.6.4 установи DeepStream 6.0.1
  • Для JetPack 5.1.3 установи DeepStream 6.3

Конфигурация DeepStream для YOLOv8

Здесь мы используем репозиторий marcoslucianops/DeepStream-Yolo GitHub, который включает поддержку NVIDIA DeepStream SDK для моделей YOLO . Мы ценим усилия marcoslucianops за его вклад!

1. Установка зависимостей

   pip install cmake
   pip install onnxsim
   

2. Клонируйте следующий репозиторий

   git clone https://github.com/marcoslucianops/DeepStream-Yolo
   cd DeepStream-Yolo
   

3. Загрузи Ultralytics YOLOv8 модель обнаружения (.pt) по своему выбору из YOLOv8 релизов. Здесь мы используем yolov8s.pt.

   wget https://github.com/ultralytics/assets/releases/download/v8.2.0/yolov8s.pt
   

   Примечание

   Ты также можешь использовать пользовательскую обученную модель YOLOv8 .

4. Преобразовать модель в ONNX

   python3 utils/export_yoloV8.py -w yolov8s.pt
   

   Передайте приведенные ниже аргументы приведенной выше команде

   Для DeepStream 6.0.1 используйте опсет 12 или ниже. Опсет по умолчанию равен 16.

   --opset 12
   

   Изменение размера вывода (по умолчанию: 640)

   -s SIZE
   --size SIZE
   -s HEIGHT WIDTH
   --size HEIGHT WIDTH
   

   Пример для 1280:

   -s 1280
   or
   -s 1280 1280
   

   Для упрощения ONNX модель (DeepStream >= 6.0)

   --simplify
   

   Использование динамического размера пакета (DeepStream >= 6.1)

   --dynamic
   

   Чтобы использовать статический размер пакета (например, для batch-size = 4)

   --batch 4
   

5. Установите версию CUDA в соответствии с установленной версией JetPack

   Для JetPack 4.6.4:

   export CUDA_VER=10.2
   

   Для JetPack 5.1.3:

   export CUDA_VER=11.4
   

6. Скомпилируйте библиотеку

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo
   

7. Отредактируйте файл config_infer_primary_yoloV8.txt в соответствии с вашей моделью (для YOLOv8s с 80 классами)

   [property]
   ...
   onnx-file=yolov8s.onnx
   ...
   num-detected-classes=80
   ...
   

8. Отредактируйте файл deepstream_app_config файл

   ...
   [primary-gie]
   ...
   config-file=config_infer_primary_yoloV8.txt
   

9. Вы также можете изменить источник видео в deepstream_app_config файл. Здесь загружается видеофайл по умолчанию

   ...
   [source0]
   ...
   uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4
   

Вывод запуска

deepstream-app -c deepstream_app_config.txt

Калибровка INT8

Если ты хочешь использовать точность INT8 для выводов, то тебе нужно выполнить следующие шаги

1. Набор OPENCV Переменная окружения

   export OPENCV=1
   

2. Скомпилируйте библиотеку

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo
   

3. Чтобы получить набор данных COCO, загрузите val2017Извлеки и перемести в DeepStream-Yolo папка

4. Создание нового каталога для калибровочных изображений

   mkdir calibration
   

5. Выполните следующую команду, чтобы выбрать 1000 случайных изображений из набора данных COCO для выполнения калибровки

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do \
       cp ${jpg} calibration/; \
   done
   

   Примечание

   NVIDIA рекомендует использовать не менее 500 изображений, чтобы добиться хорошей точности. В данном примере для большей точности выбрано 1000 изображений (больше изображений = больше точность). Ты можешь установить значение от head -1000. Например, для 2000 изображений, head -2000. Этот процесс может занять много времени.

6. Создайте файл calibration.txt файл со всеми выбранными изображениями

   realpath calibration/*jpg > calibration.txt
   

7. Задание переменных среды

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1
   

   Примечание

   Чем выше значение INT8_CALIB_BATCH_SIZE, тем выше точность и скорость калибровки. Установите его в соответствии с памятью графического процессора.

8. Обновите файл config_infer_primary_yoloV8.txt файл

   С сайта

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...
   

   На

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...
   

Вывод запуска

deepstream-app -c deepstream_app_config.txt

Настройка MultiStream

Чтобы настроить несколько потоков в одном приложении Deepstream, можно внести следующие изменения в файл deepstream_app_config.txt файл

1. Измените строки и столбцы, чтобы создать отображение сетки в соответствии с количеством потоков, которые вы хотите иметь. Например, для 4 потоков мы можем добавить 2 строки и 2 столбца.

   [tiled-display]
   rows=2
   columns=2
   

2. Набор num-sources=4 и добавьте uri из всех 4 потоков

   [source0]
   enable=1
   type=3
   uri=<path_to_video>
   uri=<path_to_video>
   uri=<path_to_video>
   uri=<path_to_video>
   num-sources=4
   

Вывод запуска

deepstream-app -c deepstream_app_config.txt

Результаты бенчмарков

В следующей таблице описано, как YOLOv8s Модели работают при разных TensorRT уровни точности с размером входных данных 640x640 на NVIDIA Jetson Orin NX 16GB.

Благодарности

Это руководство изначально было создано нашими друзьями из Seeed Studio, Лакшантой и Элейн.

Комментарии