DeepStream SDK 및 TensorRT를 사용한 NVIDIA Jetson의 Ultralytics YOLO26#

이 종합 가이드에서는 DeepStream SDK와 TensorRT를 사용하여 NVIDIA Jetson 장치에 Ultralytics YOLO26을 배포하는 방법을 자세히 안내합니다. 여기서는 TensorRT를 사용하여 Jetson 플랫폼의 추론 성능을 극대화합니다.

이 가이드에서는 YOLO26용 DeepStream 구성, INT8 보정, 멀티 스트림 설정, 벤치마크 결과를 안내합니다.

NVIDIA DeepStream이란 무엇인가요?#

NVIDIA의 DeepStream SDK는 AI 기반 멀티 센서 처리, 비디오, 오디오 및 이미지 이해를 위한 GStreamer 기반의 종합 스트리밍 분석 툴킷입니다. 지능형 비디오 분석(IVA) 앱과 서비스를 구축하는 비전 AI 개발자, 소프트웨어 파트너, 스타트업 및 OEM에 적합합니다. 이제 신경망과 추적, 비디오 인코딩/디코딩, 비디오 렌더링 등의 복잡한 처리 작업을 통합하는 스트림 처리 파이프라인을 만들 수 있습니다. 이러한 파이프라인을 통해 비디오, 이미지 및 센서 데이터를 실시간으로 분석할 수 있습니다. DeepStream은 멀티 플랫폼을 지원하므로 온프레미스, 엣지 및 클라우드에서 비전 AI 애플리케이션과 서비스를 더 빠르고 쉽게 개발할 수 있습니다.

사전 요구 사항#

이 가이드를 시작하기 전에 다음을 수행하세요.

• NVIDIA Jetson 장치에서 Ultralytics YOLO26을 설정하려면 설명서의 빠른 시작 가이드: NVIDIA Jetson에서 Ultralytics YOLO26 사용하기를 참조하세요.
• JetPack 버전에 맞는 DeepStream SDK를 설치하세요.
  • JetPack 4.6.4의 경우 DeepStream 6.0.1을 설치하세요.
  • JetPack 5.1.3의 경우 DeepStream 6.3을 설치하세요.
  • JetPack 6.1의 경우 DeepStream 7.1을 설치하세요.
  • JetPack 7.1의 경우 DeepStream 9.0을 설치하세요.

YOLO26용 DeepStream 구성#

여기서는 YOLO 모델을 위한 NVIDIA DeepStream SDK 지원이 포함된 GitHub 저장소인 marcoslucianops/DeepStream-Yolo를 사용합니다. 기여해 주신 marcoslucianops의 노고에 감사드립니다!

1. 필요한 종속 항목과 함께 Ultralytics를 설치하세요.

   pip install ultralytics onnx onnxslim

2. DeepStream-Yolo 저장소를 복제하세요.

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo

3. YOLO26 프로젝트에서 원하는 Ultralytics YOLO26 객체 감지 모델(.pt)을 다운로드하세요. 여기서는 yolo26s.pt를 사용합니다.

   wget https://github.com/ultralytics/assets/releases/download/v8.4.0/yolo26s.pt

4. 모델을 ONNX로 변환하고 DeepStream이 클래스 이름을 읽어 올 labels.txt 파일을 작성하세요.

   from ultralytics import YOLO
   
   model = YOLO("yolo26s.pt")
   model.export(format="onnx", nms=False, agnostic_nms=True)  # creates 'yolo26s.onnx'
   with open("labels.txt", "w") as f:
       f.write("\n".join(model.names.values()))

5. 생성된 .onnx 모델 파일과 labels.txt 파일을 DeepStream-Yolo 폴더에 복사하세요.

   cp yolo26s.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo

6. 설치된 JetPack 버전에 따라 CUDA 버전을 설정하세요.

   JetPack 4.6.4의 경우:

   export CUDA_VER=10.2

   JetPack 5.1.3의 경우:

   export CUDA_VER=11.4

   JetPack 6.1의 경우:

   export CUDA_VER=12.6

   JetPack 7.1의 경우:

   export CUDA_VER=13.0

7. 라이브러리를 컴파일하세요.

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

8. 모델에 맞게 config_infer_primary_yolo26.txt 파일을 편집하세요(클래스 80개인 YOLO26s의 경우).

   [property]
   ...
   onnx-file=yolo26s.onnx
   ...
   num-detected-classes=80
   ...
   parse-bbox-func-name=NvDsInferParseYolo
   ...

[property]
...
maintain-aspect-ratio=1
symmetric-padding=1
cluster-mode=4
...

9. deepstream_app_config 파일을 편집하세요.

   ...
   [primary-gie]
   ...
   config-file=config_infer_primary_yolo26.txt

10. deepstream_app_config 파일에서 비디오 소스를 변경할 수도 있습니다. 여기서는 기본 비디오 파일을 불러옵니다.

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

추론 실행#

deepstream-app -c deepstream_app_config.txt

INT8 보정#

추론에 INT8 정밀도를 사용하려면 다음 단계를 따르세요.

1. OPENCV 환경 변수를 설정하세요.

   export OPENCV=1

2. 라이브러리를 컴파일하세요.

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

3. COCO 데이터셋의 경우 val2017을 다운로드하고 압축을 푼 다음 DeepStream-Yolo 폴더로 이동하세요.

4. 보정 이미지를 위한 새 디렉터리를 만드세요.

   mkdir calibration

5. 보정을 실행하기 위해 COCO 데이터셋에서 무작위 이미지 1000개를 선택하려면 다음 명령을 실행하세요.

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done

6. 선택한 이미지를 모두 포함하는 calibration.txt 파일을 만드세요.

   realpath calibration/*jpg > calibration.txt

7. 환경 변수를 설정하세요.

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1

8. config_infer_primary_yolo26.txt 파일을 업데이트하세요.

   변경 전

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...

   변경 후

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...

INT8 추론 실행#

동일한 명령을 실행하여 INT8 엔진을 빌드하고 추론을 시작하세요.

deepstream-app -c deepstream_app_config.txt

멀티 스트림 설정#

하나의 DeepStream 애플리케이션에서 여러 스트림을 설정하려면 deepstream_app_config.txt 파일을 다음과 같이 변경하세요.

1. 사용할 스트림 수에 맞춰 행과 열을 변경하여 격자 표시를 구성하세요. 예를 들어 스트림 4개를 사용한다면 행 2개와 열 2개를 추가하면 됩니다.

   [tiled-display]
   rows=2
   columns=2

2. 각 스트림에 별도의 [sourceN] 그룹을 추가하고, 각 그룹에 자체 uri 및 num-sources=1를 지정하세요.

   [source0]
   enable=1
   type=3
   uri=file:///path/to/video1.mp4
   num-sources=1
   
   [source1]
   enable=1
   type=3
   uri=file:///path/to/video2.mp4
   num-sources=1
   
   [source2]
   enable=1
   type=3
   uri=file:///path/to/video3.mp4
   num-sources=1
   
   [source3]
   enable=1
   type=3
   uri=file:///path/to/video4.mp4
   num-sources=1

멀티 스트림 추론 실행#

동일한 명령을 실행하여 타일 형식의 디스플레이에서 모든 스트림을 시작하세요.

deepstream-app -c deepstream_app_config.txt

벤치마크 결과#

다음 벤치마크는 NVIDIA Jetson Orin NX 16GB에서 입력 크기 640x640을 사용하고 TensorRT 정밀도 수준을 달리했을 때 YOLO11 모델의 성능을 요약합니다. YOLO26은 위에서 설명한 것과 동일한 DeepStream 내보내기 및 추론 워크플로를 사용합니다.

비교 차트#

상세 비교 표#

감사의 말#

이 가이드는 Seeed Studio의 동료인 Lakshantha와 Elaine이 처음 작성했습니다.

자주 묻는 질문#