NVIDIA Jetson에서 DeepStream SDK와 TensorRT를 활용한 Ultralytics YOLO26#

이 종합 가이드는 DeepStream SDK와 TensorRT를 사용하여 NVIDIA Jetson 기기에 Ultralytics YOLO26을 배포하는 상세한 절차를 안내합니다. 여기서는 Jetson 플랫폼에서의 추론 성능을 극대화하기 위해 TensorRT를 사용합니다.

본 가이드는 DeepStream configuration for YOLO26, INT8 calibration, multi-stream setup, 그리고 benchmark results에 대해 다룹니다.

NVIDIA DeepStream이란 무엇입니까?#

NVIDIA's DeepStream SDK는 AI 기반 다중 센서 처리, 비디오, 오디오 및 이미지 이해를 위해 GStreamer를 기반으로 구축된 완전한 스트리밍 분석 툴킷입니다. IVA(지능형 비디오 분석) 앱과 서비스를 구축하는 비전 AI 개발자, 소프트웨어 파트너, 스타트업 및 OEM에 이상적입니다. 이제 neural networks 및 추적, 비디오 인코딩/디코딩, 비디오 렌더링과 같은 기타 복잡한 처리 작업을 통합하는 스트림 처리 파이프라인을 생성할 수 있습니다. 이러한 파이프라인은 비디오, 이미지 및 센서 데이터에 대한 실시간 분석을 가능하게 합니다. DeepStream의 멀티 플랫폼 지원은 온프레미스, 엣지, 클라우드에서 비전 AI 애플리케이션과 서비스를 더 빠르고 쉽게 개발할 수 있는 방법을 제공합니다.

사전 요구 사항#

본 가이드를 시작하기 전에:

• 문서인 Quick Start Guide: NVIDIA Jetson with Ultralytics YOLO26을 방문하여 NVIDIA Jetson 기기에 Ultralytics YOLO26을 설정하세요.
• JetPack 버전에 따라 DeepStream SDK를 설치합니다.
  • JetPack 4.6.4의 경우, DeepStream 6.0.1을 설치합니다.
  • JetPack 5.1.3의 경우, DeepStream 6.3을 설치합니다.
  • JetPack 6.1의 경우, DeepStream 7.1을 설치합니다.
  • JetPack 7.1의 경우, DeepStream 9.0을 설치합니다.

YOLO26을 위한 DeepStream 구성#

여기서는 YOLO 모델에 대한 NVIDIA DeepStream SDK 지원을 포함하는 marcoslucianops/DeepStream-Yolo GitHub 저장소를 사용하고 있습니다. 기여해 주신 marcoslucianops의 노력에 감사드립니다!

1. 필요한 종속성과 함께 Ultralytics 설치

   cd ~
   pip install -U pip
   git clone https://github.com/ultralytics/ultralytics
   cd ultralytics
   pip install -e ".[export]" onnxslim

2. DeepStream-Yolo 리포지토리 복제

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo

3. DeepStream-Yolo/utils 디렉터리에서 export_yolo26.py 파일을 ultralytics 폴더로 복사합니다.

   cp ~/DeepStream-Yolo/utils/export_yolo26.py ~/ultralytics
   cd ultralytics

4. YOLO26 project에서 원하는 Ultralytics YOLO26 감지 모델(.pt)을 다운로드합니다. 여기서는 yolo26s.pt를 사용합니다.

   wget https://github.com/ultralytics/assets/releases/download/v8.4.0/yolo26s.pt

5. 모델을 ONNX로 변환

   python3 export_yolo26.py -w yolo26s.pt

--opset 12

-s SIZE
--size SIZE
-s HEIGHT WIDTH
--size HEIGHT WIDTH

-s 1280
or
-s 1280 1280

--simplify

--dynamic

--batch 4

6. 생성된 .onnx 모델 파일과 labels.txt 파일을 DeepStream-Yolo 폴더로 복사합니다.

   cp yolo26s.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo

7. 설치된 JetPack 버전에 따라 CUDA 버전 설정

   JetPack 4.6.4의 경우:

   export CUDA_VER=10.2

   JetPack 5.1.3의 경우:

   export CUDA_VER=11.4

   JetPack 6.1의 경우:

   export CUDA_VER=12.6

8. 라이브러리 컴파일

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

9. 모델에 따라 config_infer_primary_yolo26.txt 파일을 편집합니다(80개 클래스의 YOLO26s용).

   [property]
   ...
   onnx-file=yolo26s.onnx
   ...
   num-detected-classes=80
   ...
   parse-bbox-func-name=NvDsInferParseYolo
   ...

[property]
...
maintain-aspect-ratio=1
symmetric-padding=1
cluster-mode=4
...

10. deepstream_app_config 파일을 편집합니다.

    ...
    [primary-gie]
    ...
    config-file=config_infer_primary_yolo26.txt

11. deepstream_app_config 파일에서 비디오 소스를 변경할 수도 있습니다. 여기서는 기본 비디오 파일이 로드됩니다.

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

추론 실행#

deepstream-app -c deepstream_app_config.txt

INT8 보정#

추론에 INT8 정밀도를 사용하려면 아래 단계를 따라야 합니다:

1. OPENCV 환경 변수를 설정합니다.

   export OPENCV=1

2. 라이브러리 컴파일

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

3. COCO 데이터셋의 경우 val2017을 다운로드하고 압축을 해제한 후 DeepStream-Yolo 폴더로 이동합니다.

4. 보정 이미지를 위한 새 디렉터리 생성

   mkdir calibration

5. 다음 명령을 실행하여 COCO 데이터세트에서 무작위 이미지 1000개를 선택하여 보정을 실행하십시오.

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done

6. 선택한 모든 이미지가 포함된 calibration.txt 파일을 생성합니다.

   realpath calibration/*jpg > calibration.txt

7. 환경 변수 설정

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1

8. config_infer_primary_yolo26.txt 파일을 업데이트합니다.

   기존

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...

   변경

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...

INT8 추론 실행#

동일한 명령을 실행하여 INT8 엔진을 빌드하고 추론을 시작하십시오:

deepstream-app -c deepstream_app_config.txt

멀티 스트림 설정#

단일 DeepStream 애플리케이션 아래에서 여러 스트림을 설정하려면 deepstream_app_config.txt 파일에 다음과 같이 변경을 수행하십시오:

1. 원하는 스트림 수에 맞춰 격자 디스플레이를 구성할 행과 열을 변경하십시오. 예를 들어, 4개의 스트림의 경우 2행 2열을 추가할 수 있습니다.

   [tiled-display]
   rows=2
   columns=2

2. 각 스트림마다 각각 고유한 uri 및 num-sources=1를 포함하는 별도의 [sourceN] 그룹을 추가합니다.

   [source0]
   enable=1
   type=3
   uri=file:///path/to/video1.mp4
   num-sources=1
   
   [source1]
   enable=1
   type=3
   uri=file:///path/to/video2.mp4
   num-sources=1
   
   [source2]
   enable=1
   type=3
   uri=file:///path/to/video3.mp4
   num-sources=1
   
   [source3]
   enable=1
   type=3
   uri=file:///path/to/video4.mp4
   num-sources=1

멀티 스트림 추론 실행#

타일 디스플레이에서 모든 스트림을 시작하려면 동일한 명령을 실행하십시오:

deepstream-app -c deepstream_app_config.txt

벤치마크 결과#

다음 benchmarks은 NVIDIA Jetson Orin NX 16GB에서 640x640 입력 크기로 서로 다른 TensorRT 정밀도 수준에서 YOLO11 모델이 수행하는 성능을 요약합니다. YOLO26은 위에서 설명한 것과 동일한 DeepStream 내보내기 및 추론 워크플로를 사용합니다.

비교 차트#

상세 비교 표#

감사의 말#

본 가이드는 Seeed Studio의 Lakshantha와 Elaine이 초기 작성하였습니다.

FAQ#

NVIDIA Jetson 장치에서 Ultralytics YOLO26을 어떻게 설정합니까?#

NVIDIA Jetson 기기에서 Ultralytics YOLO26을 설정하려면 먼저 JetPack 버전과 호환되는 DeepStream SDK를 설치해야 합니다. Quick Start Guide에 있는 단계별 가이드에 따라 YOLO26 배포를 위해 NVIDIA Jetson을 구성하십시오.

NVIDIA Jetson에서 YOLO26과 함께 TensorRT를 사용하는 이점은 무엇입니까?#

YOLO26과 함께 TensorRT를 사용하면 추론용 모델이 최적화되어 NVIDIA Jetson 기기에서 지연 시간이 크게 줄어들고 처리량이 향상됩니다. TensorRT는 레이어 융합, 정밀도 캘리브레이션, 커널 자동 튜닝을 통해 고성능, 저지연 deep learning 추론을 제공합니다. 이는 더 빠르고 효율적인 실행으로 이어지며, 특히 비디오 분석 및 자율주행 기기와 같은 실시간 애플리케이션에 유용합니다.

서로 다른 NVIDIA Jetson 하드웨어에서 DeepStream SDK와 함께 Ultralytics YOLO26을 실행할 수 있습니까?#

네, DeepStream SDK 및 TensorRT와 함께 Ultralytics YOLO26을 배포하기 위한 가이드는 전체 NVIDIA Jetson 라인업에서 호환됩니다. 여기에는 JetPack 5.1.3이 탑재된 Jetson Orin NX 16GB 및 JetPack 4.6.4가 탑재된 Jetson Nano 4GB와 같은 기기가 포함됩니다. 자세한 단계는 DeepStream Configuration for YOLO26 섹션을 참조하십시오.

DeepStream을 위해 YOLO26 모델을 어떻게 ONNX로 변환할 수 있습니까?#

DeepStream 배포를 위해 YOLO26 모델을 ONNX 형식으로 변환하려면 DeepStream-Yolo 저장소의 utils/export_yolo26.py 스크립트를 사용합니다.

명령어 예시는 다음과 같습니다:

python3 utils/export_yolo26.py -w yolo26s.pt --opset 12 --simplify

모델 변환에 대한 자세한 내용은 model export section을 확인하세요.

DeepStream에서 YOLO26으로 INT8 추론을 어떻게 실행합니까?#

INT8 추론을 실행하려면 대표 이미지 세트에서 모델을 보정하고 DeepStream 설정을 INT8 모드로 전환합니다. COCO val2017 이미지를 다운로드하고 약 1000개의 보정 이미지를 선택한 후 INT8_CALIB_IMG_PATH 및 INT8_CALIB_BATCH_SIZE 환경 변수를 설정하고, config_infer_primary_yolo26.txt를 model-engine-file=model_b1_gpu0_int8.engine, int8-calib-file=calib.table, network-mode=1로 업데이트합니다. 전체 단계는 INT8 보정(INT8 Calibration) 섹션을 참고하세요. INT8은 현재 TensorRT 8.x가 필요합니다.

Jetson에서 DeepStream을 사용하여 여러 카메라 스트림을 어떻게 실행합니까?#

단일 DeepStream 애플리케이션에서 여러 스트림을 처리하려면 deepstream_app_config.txt 파일을 편집하여 타일 디스플레이 그리드를 추가하고 각 소스 URI를 나열합니다. 그리드를 빌드하기 위해 [tiled-display] 아래에 rows과 columns를 설정하고, 각 스트림마다 고유한 uri 및 num-sources=1을 가진 별도의 [sourceN] 그룹을 추가한 뒤 스트림 수에 맞게 그리드를 조정합니다. 전체 예제는 다중 스트림 설정(MultiStream Setup) 섹션을 참고하세요.

NVIDIA Jetson Orin NX에서의 YOLO 성능 벤치마크는 어떻습니까?#

NVIDIA Jetson Orin NX 16GB에서의 YOLO11 모델 성능은 TensorRT 정밀도 수준에 따라 다릅니다. 예를 들어, YOLO11s 모델은 다음을 달성합니다:

• FP32 정밀도: 14.53 ms/im, 68.8 FPS
• FP16 정밀도: 7.91 ms/im, 126 FPS
• INT8 정밀도: 6.05 ms/im, 165 FPS

이러한 벤치마크는 NVIDIA Jetson 하드웨어에서 TensorRT로 최적화된 YOLO11 모델을 사용하는 것의 효율성과 역량을 강조합니다. 자세한 내용은 Benchmark Results 섹션을 참조하세요.