DeepStream SDK 및 TensorRT를 사용하는 NVIDIA Jetson의 Ultralytics YOLO26#

이 종합 가이드는 DeepStream SDK 및 TensorRT를 사용하여 NVIDIA Jetson 디바이스에 Ultralytics YOLO26을 배포하는 방법을 자세히 안내합니다. 여기서는 TensorRT를 사용하여 Jetson 플랫폼에서 추론 성능을 극대화합니다.

이 가이드에서는 YOLO26용 DeepStream 구성, INT8 calibration, 멀티 스트림 설정 및 벤치마크 결과를 단계별로 설명합니다.

NVIDIA DeepStream이란 무엇인가요?#

NVIDIA의 DeepStream SDK는 AI 기반 멀티 센서 처리, 비디오, 오디오 및 이미지 이해를 위한 GStreamer 기반의 종합 스트리밍 분석 툴킷입니다. 지능형 비디오 분석(IVA) 앱과 서비스를 구축하는 비전 AI 개발자, 소프트웨어 파트너, 스타트업 및 OEM에 적합합니다. 이제 신경망과 추적, 비디오 인코딩/디코딩, 비디오 렌더링 같은 복잡한 처리 작업을 통합한 스트림 처리 파이프라인을 만들 수 있습니다. 이러한 파이프라인을 통해 비디오, 이미지 및 센서 데이터에 대한 실시간 분석이 가능합니다. DeepStream의 멀티 플랫폼 지원은 온프레미스, 엣지 및 클라우드에서 비전 AI 애플리케이션과 서비스를 더 빠르고 쉽게 개발할 수 있도록 합니다.

필수 조건#

이 가이드를 시작하기 전에 다음을 수행합니다.

• 문서를 참조하여 NVIDIA Jetson 디바이스에 Ultralytics YOLO26을 설정합니다. 빠른 시작 가이드: NVIDIA Jetson 및 Ultralytics YOLO26
• JetPack 버전에 맞게 DeepStream SDK를 설치합니다.
  • JetPack 4.6.4의 경우 DeepStream 6.0.1을 설치합니다.
  • JetPack 5.1.3의 경우 DeepStream 6.3을 설치합니다.
  • JetPack 6.1의 경우 DeepStream 7.1을 설치합니다.
  • JetPack 7.1의 경우 DeepStream 9.0을 설치합니다.

YOLO26용 DeepStream 구성#

여기서는 YOLO 모델에 대한 NVIDIA DeepStream SDK 지원이 포함된 marcoslucianops/DeepStream-Yolo GitHub repository를 사용합니다. marcoslucianops의 기여와 노력에 감사드립니다!

1. 필요한 종속 항목과 함께 Ultralytics 설치

   pip install ultralytics onnx onnxslim

2. DeepStream-Yolo repository 복제

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo

3. YOLO26 project에서 원하는 Ultralytics YOLO26 detection model(.pt)을 다운로드합니다. 여기서는 yolo26s.pt를 사용합니다.

   wget https://github.com/ultralytics/assets/releases/download/v8.4.0/yolo26s.pt

4. 모델을 ONNX로 변환하고 DeepStream이 클래스 이름을 읽어오는 labels.txt 파일을 작성합니다.

   from ultralytics import YOLO
   
   model = YOLO("yolo26s.pt")
   model.export(format="onnx", nms=False, agnostic_nms=True)  # creates 'yolo26s.onnx'
   with open("labels.txt", "w") as f:
       f.write("\n".join(model.names.values()))

5. 생성된 .onnx 모델 파일과 labels.txt 파일을 DeepStream-Yolo 폴더로 복사합니다.

   cp yolo26s.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo

6. 설치된 JetPack 버전에 맞게 CUDA 버전을 설정합니다.

   JetPack 4.6.4의 경우:

   export CUDA_VER=10.2

   JetPack 5.1.3의 경우:

   export CUDA_VER=11.4

   JetPack 6.1의 경우:

   export CUDA_VER=12.6

   JetPack 7.1의 경우:

   export CUDA_VER=13.0

7. 라이브러리 컴파일

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

8. 모델에 맞게 config_infer_primary_yolo26.txt 파일을 편집합니다(YOLO26s, 80개 클래스의 경우).

   [property]
   ...
   onnx-file=yolo26s.onnx
   ...
   num-detected-classes=80
   ...
   parse-bbox-func-name=NvDsInferParseYolo
   ...

[property]
...
maintain-aspect-ratio=1
symmetric-padding=1
cluster-mode=4
...

9. deepstream_app_config 파일 편집

   ...
   [primary-gie]
   ...
   config-file=config_infer_primary_yolo26.txt

10. deepstream_app_config 파일에서 비디오 소스를 변경할 수도 있습니다. 여기서는 기본 비디오 파일이 로드됩니다.

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

추론 실행#

deepstream-app -c deepstream_app_config.txt

INT8 Calibration#

추론에 INT8 정밀도를 사용하려면 다음 단계를 따라야 합니다.

1. OPENCV 환경 변수를 설정합니다.

   export OPENCV=1

2. 라이브러리 컴파일

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

3. COCO dataset의 경우 val2017을 다운로드하고 압축을 해제한 후 DeepStream-Yolo 폴더로 이동합니다.

4. Calibration images용 새 디렉터리를 만듭니다.

   mkdir calibration

5. COCO dataset에서 무작위 이미지 1000개를 선택하여 calibration을 실행하려면 다음을 실행합니다.

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done

6. 선택한 모든 이미지로 calibration.txt 파일을 생성합니다.

   realpath calibration/*jpg > calibration.txt

7. 환경 변수 설정

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1

8. config_infer_primary_yolo26.txt 파일 업데이트

   변경 전

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...

   변경 후

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...

INT8 추론 실행#

동일한 명령을 실행하여 INT8 engine을 빌드하고 추론을 시작합니다.

deepstream-app -c deepstream_app_config.txt

MultiStream 설정#

단일 DeepStream 애플리케이션에서 여러 스트림을 설정하려면 deepstream_app_config.txt 파일을 다음과 같이 변경합니다.

1. 사용할 스트림 수에 맞게 행과 열을 변경하여 그리드 디스플레이를 구성합니다. 예를 들어 스트림 4개에는 행 2개와 열 2개를 추가할 수 있습니다.

   [tiled-display]
   rows=2
   columns=2

2. 각 스트림에 별도의 [sourceN] 그룹을 추가하고, 각 그룹에 고유한 uri 및 num-sources=1를 설정합니다.

   [source0]
   enable=1
   type=3
   uri=file:///path/to/video1.mp4
   num-sources=1
   
   [source1]
   enable=1
   type=3
   uri=file:///path/to/video2.mp4
   num-sources=1
   
   [source2]
   enable=1
   type=3
   uri=file:///path/to/video3.mp4
   num-sources=1
   
   [source3]
   enable=1
   type=3
   uri=file:///path/to/video4.mp4
   num-sources=1

멀티 스트림 추론 실행#

동일한 명령을 실행하여 타일 형식 디스플레이에서 모든 스트림을 시작합니다.

deepstream-app -c deepstream_app_config.txt

벤치마크 결과#

다음 벤치마크는 NVIDIA Jetson Orin NX 16GB에서 입력 크기 640x640으로 다양한 TensorRT 정밀도 수준에서 YOLO11 모델이 수행하는 방식을 요약합니다. YOLO26은 위에서 설명한 것과 동일한 DeepStream export 및 추론 워크플로를 사용합니다.

비교 차트#

상세 비교 표#

감사의 말#

이 가이드는 처음에 Seeed Studio의 동료인 Lakshantha와 Elaine이 작성했습니다.

FAQ#