Ultralytics YOLO11 NVIDIA 에서 DeepStream SDK를 사용하는 Jetson 및 TensorRT

Watch: 다음을 사용하여 Jetson Nano에서 DeepStream SDK로 여러 스트림을 실행하는 방법 Ultralytics YOLO11

이 종합 가이드는 DeepStream SDK를 사용하여 NVIDIA Jetson 장치에 Ultralytics YOLO11 을 배포하는 방법에 대한 자세한 안내와 TensorRT 을 제공합니다. 여기서는 TensorRT 을 사용하여 Jetson 플랫폼에서 추론 성능을 최대화합니다.

NVIDIA DeepStream이란 무엇인가요?

NVIDIA의 DeepStream SDK는 AI 기반 멀티 센서 처리, 비디오, 오디오 및 이미지 이해를 위한 GStreamer 기반의 완벽한 스트리밍 분석 툴킷입니다. IVA(지능형 비디오 분석) 앱과 서비스를 구축하는 비전 AI 개발자, 소프트웨어 파트너, 스타트업 및 OEM에 이상적입니다. 이제 신경망과 추적, 비디오 인코딩/디코딩, 비디오 렌더링과 같은 기타 복잡한 처리 작업을 통합하는 스트림 처리 파이프라인을 만들 수 있습니다. 이러한 파이프라인을 통해 비디오, 이미지, 센서 데이터에 대한 실시간 분석이 가능합니다. 딥스트림의 멀티 플랫폼 지원은 온프레미스, 엣지, 클라우드에서 비전 AI 애플리케이션과 서비스를 더 빠르고 쉽게 개발할 수 있는 방법을 제공합니다.

전제 조건

이 가이드를 따르기 전에 먼저 확인하세요:

• 설명서 빠른 시작 가이드를 참조하십시오: NVIDIA Ultralytics YOLO11 을 사용하여 NVIDIA Jetson 장치를 설정하십시오. Ultralytics YOLO11

• JetPack 버전에 따라 DeepStream SDK를 설치합니다.

  • JetPack 4.6.4의 경우, DeepStream 6.0.1을 설치합니다 .
  • JetPack 5.1.3의 경우, DeepStream 6.3을 설치합니다.

딥스트림 구성 YOLO11

여기에서는 YOLO 모델에 대한 NVIDIA DeepStream SDK 지원을 포함하는 marcoslucianops/DeepStream-Yolo GitHub 리포지토리를 사용하고 있습니다. 기여해 주신 marcoslucianops의 노고에 감사드립니다!

1. 설치 종속성

   pip install cmake
   pip install onnxsim
   

2. 다음 리포지토리를 복제합니다.

   git clone https://github.com/marcoslucianops/DeepStream-Yolo
   cd DeepStream-Yolo
   

3. YOLO11 릴리스에서 원하는 탐지 모델(.pt)을 Ultralytics YOLO11 다운로드하세요. 여기서는 yolov8s.pt를 사용합니다.

   wget https://github.com/ultralytics/assets/releases/download/v8.2.0/yolov8s.pt
   

   참고

   사용자 지정 훈련된 YOLO11 모델을 사용할 수도 있습니다.

4. 모델로 변환 ONNX

   python3 utils/export_yoloV8.py -w yolov8s.pt
   

   위 명령에 아래 인수를 전달합니다.

   DeepStream 6.0.1의 경우, 옵셋 12 이하를 사용합니다. 기본 옵셋은 16입니다.

   --opset 12
   

   추론 크기를 변경하려면(기본값: 640) 다음과 같이 하세요.

   -s SIZE
   --size SIZE
   -s HEIGHT WIDTH
   --size HEIGHT WIDTH
   

   1280의 예입니다:

   -s 1280
   or
   -s 1280 1280
   

   ONNX 모델을 단순화하려면 (DeepStream >= 6.0)

   --simplify
   

   동적 배치 크기 사용(DeepStream >= 6.1)

   --dynamic
   

   정적 배치 크기를 사용하려면(예: 배치 크기 = 4) 다음과 같이 하세요.

   --batch 4
   

5. 설치된 JetPack 버전에 따라 CUDA 버전을 설정합니다.

   JetPack 4.6.4의 경우:

   export CUDA_VER=10.2
   

   JetPack 5.1.3의 경우:

   export CUDA_VER=11.4
   

6. 라이브러리 컴파일

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo
   

7. 편집 config_infer_primary_yoloV8.txt 파일(80개의 클래스가 있는 YOLOv8s 의 경우)

   [property]
   ...
   onnx-file=yolov8s.onnx
   ...
   num-detected-classes=80
   ...
   

8. 편집 deepstream_app_config 파일

   ...
   [primary-gie]
   ...
   config-file=config_infer_primary_yoloV8.txt
   

9. 다음에서 동영상 소스를 변경할 수도 있습니다. deepstream_app_config 파일을 선택합니다. 여기에 기본 비디오 파일이 로드됩니다.

   ...
   [source0]
   ...
   uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4
   

추론 실행

deepstream-app -c deepstream_app_config.txt

INT8 보정

추론에 INT8 정밀도를 사용하려면 다음 단계를 따라야 합니다.

1. 설정 OPENCV 환경 변수

   export OPENCV=1
   

2. 라이브러리 컴파일

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo
   

3. COCO 데이터 세트의 경우 val2017를 클릭하고 추출한 다음 DeepStream-Yolo 폴더

4. 보정 이미지를 위한 새 디렉터리 만들기

   mkdir calibration
   

5. 다음을 실행하여 COCO 데이터 세트에서 1000개의 무작위 이미지를 선택하여 보정을 실행합니다.

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do \
       cp ${jpg} calibration/; \
   done
   

   참고

   NVIDIA 는 좋은 정확도를 얻기 위해 최소 500개의 이미지를 권장합니다. 이 예에서는 더 나은 정확도를 얻기 위해 1000개의 이미지가 선택되었습니다(이미지가 많을수록 정확도가 높아짐). 머리 -1000에서 설정할 수 있습니다. 예를 들어 이미지가 2000개인 경우 -2000으로 설정합니다. 이 과정은 시간이 오래 걸릴 수 있습니다.

6. 생성하기 calibration.txt 파일에 선택한 모든 이미지가 포함된

   realpath calibration/*jpg > calibration.txt
   

7. 환경 변수 설정

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1
   

   참고

   INT8_CALIB_BATCH_SIZE 값이 높을수록 정확도가 높아지고 보정 속도가 빨라집니다. GPU 메모리에 맞게 설정하세요.

8. 업데이트 config_infer_primary_yoloV8.txt 파일

   에서

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...
   

   To

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...
   

추론 실행

deepstream-app -c deepstream_app_config.txt

멀티스트림 설정

단일 딥스트림 애플리케이션에서 여러 스트림을 설정하려면 다음과 같이 딥스트림 애플리케이션을 변경하면 됩니다. deepstream_app_config.txt 파일

1. 원하는 스트림 수에 따라 행과 열을 변경하여 그리드 표시를 만들 수 있습니다. 예를 들어 스트림이 4개인 경우 행 2개와 열 2개를 추가할 수 있습니다.

   [tiled-display]
   rows=2
   columns=2
   

2. 설정 num-sources=4 를 클릭하고 uri 4개의 스트림 중

   [source0]
   enable=1
   type=3
   uri=<path_to_video>
   uri=<path_to_video>
   uri=<path_to_video>
   uri=<path_to_video>
   num-sources=4
   

추론 실행

deepstream-app -c deepstream_app_config.txt

벤치마크 결과

YOLOv8s 다음 표는 TensorRT 모델의 다양한 정밀도 수준(입력 크기 640x640)에서 NVIDIA Jetson Orin NX 16GB의 성능을 요약한 것입니다.

감사

이 가이드는 시드 스튜디오의 친구인 락샨타와 일레인이 처음에 만들었습니다.

자주 묻는 질문

NVIDIA Jetson 장치에서 Ultralytics YOLO11 을 설정하려면 어떻게 합니까?

NVIDIA Jetson 장치에서 Ultralytics YOLO11 을 설정하려면 먼저 사용 중인 JetPack 버전과 호환되는 DeepStream SDK를 설치해야 합니다. 빠른 시작 가이드 의 단계별 가이드에 따라 YOLO11 배포를 위해 NVIDIA Jetson을 구성합니다.

NVIDIA Jetson에서 YOLO11 과 함께 TensorRT 을 사용하면 어떤 이점이 있나요?

YOLO11 과 함께 TensorRT 을 사용하면 추론을 위한 모델을 최적화하여 지연 시간을 크게 줄이고 처리량을 향상시킵니다. NVIDIA Jetson 장치에서 TensorRT 레이어 융합, 정밀 보정 및 커널 자동 튜닝을 통해 고성능, 저지연 딥 러닝 추론을 제공합니다. 이를 통해 더 빠르고 효율적으로 실행할 수 있으며, 특히 비디오 분석 및 자율 머신과 같은 실시간 애플리케이션에 유용합니다.

다른 NVIDIA Jetson 하드웨어에서 DeepStream SDK를 사용하여 Ultralytics YOLO11 실행할 수 있습니까?

예, 배포 가이드 Ultralytics YOLO11 와 DeepStream SDK 및 TensorRT 는 전체 NVIDIA Jetson 라인업에서 호환됩니다. 여기에는 젯팩 5.1.3이 설치된 젯슨 오린 NX 16GB 및 젯팩 4.6.4가 설치된 젯슨 나노 4GB와 같은 장치가 포함됩니다. 자세한 단계는 YOLO11 의 DeepStream 구성 섹션을 참조하십시오.

YOLO11 모델을 DeepStream용 ONNX 모델로 변환하려면 어떻게 해야 하나요?

YOLO11 모델을 DeepStream과 함께 배포할 수 있도록 ONNX 형식으로 변환하려면 utils/export_yoloV8.py 스크립트에서 DeepStream-Yolo 리포지토리에 저장합니다.

다음은 명령어 예시입니다:

python3 utils/export_yoloV8.py -w yolov8s.pt --opset 12 --simplify

모델 변환에 대한 자세한 내용은 모델 내보내기 섹션을 참조하세요.

NVIDIA 에서 YOLO 의 성능 벤치마크는 어떻게 되나요?

NVIDIA Jetson Orin NX 16GB의 YOLO11 모델의 성능은 TensorRT 정밀도 수준에 따라 다릅니다. 예를 들어, YOLOv8s 모델은 달성합니다:

• FP32 정밀도: 15.63ms/im, 64 FPS
• FP16 정밀도: 7.94ms/im, 126 FPS
• INT8 정밀도: 5.53ms/im, 181 FPS

TensorRT이 벤치마크는 NVIDIA Jetson 하드웨어에서 최적화된 YOLO11 모델 사용의 효율성과 성능을 강조합니다. 자세한 내용은 벤치마크 결과 섹션을 참조하세요.

5개월 전 생성됨 ✏️ 2개월 전 업데이트됨

댓글