Ultralytics YOLOv8 NVIDIA Jetson에서 DeepStream SDK 사용 및 TensorRT

이 종합 가이드에서는 DeepStream SDK 및 TensorRT 을 사용하여 NVIDIA Jetson 장치에 Ultralytics YOLOv8 을 배포하는 방법에 대해 자세히 설명합니다. 여기서는 TensorRT 을 사용하여 Jetson 플랫폼에서 추론 성능을 최대화합니다.

NVIDIA DeepStream이란 무엇입니까?

NVIDIA의 DeepStream SDK는 AI 기반 멀티 센서 처리, 비디오, 오디오 및 이미지 이해를 위한 GStreamer 기반의 완벽한 스트리밍 분석 툴킷입니다. IVA(지능형 비디오 분석) 앱과 서비스를 구축하는 비전 AI 개발자, 소프트웨어 파트너, 스타트업 및 OEM에 이상적입니다. 이제 신경망과 추적, 비디오 인코딩/디코딩, 비디오 렌더링과 같은 기타 복잡한 처리 작업을 통합하는 스트림 처리 파이프라인을 만들 수 있습니다. 이러한 파이프라인을 통해 비디오, 이미지, 센서 데이터에 대한 실시간 분석이 가능합니다. 딥스트림의 멀티 플랫폼 지원은 온프레미스, 엣지, 클라우드에서 비전 AI 애플리케이션과 서비스를 더 빠르고 쉽게 개발할 수 있는 방법을 제공합니다.

전제 조건

이 가이드를 따르기 전에:

• 설명서인 빠른 시작 가이드를 참조하세요: Ultralytics YOLOv8 을 사용하여 NVIDIA Jetson 장치를 설정하십시오. Ultralytics YOLOv8

• JetPack 버전에 따라 DeepStream SDK를 설치합니다.

  • JetPack 4.6.4의 경우, DeepStream 6.0.1을 설치합니다.
  • JetPack 5.1.3의 경우, DeepStream 6.3을 설치합니다.

에 대한 DeepStream 구성 YOLOv8

여기에서는 YOLO 모델에 대한 NVIDIA DeepStream SDK 지원을 포함하는 marcoslucianops/DeepStream-Yolo GitHub 저장소를 사용하고 있습니다. 기여해 주신 marcoslucianops의 노고에 감사드립니다!

1. 종속성 설치

   pip install cmake
   pip install onnxsim
   

2. 다음 리포지토리를 복제합니다.

   git clone https://github.com/marcoslucianops/DeepStream-Yolo
   cd DeepStream-Yolo
   

3. YOLOv8 릴리스에서 원하는 탐지 모델(.pt)을 Ultralytics YOLOv8 다운로드하세요. 여기서는 yolov8s.pt를 사용합니다.

   wget https://github.com/ultralytics/assets/releases/download/v8.2.0/yolov8s.pt
   

   참고

   사용자 지정 훈련된 YOLOv8 모델을 사용할 수도 있습니다.

4. 모델을 다음으로 변환 ONNX

   python3 utils/export_yoloV8.py -w yolov8s.pt
   

   위의 명령에 아래 인수를 전달하십시오.

   DeepStream 6.0.1의 경우 opset 12 이하를 사용합니다. 기본 opset은 16입니다.

   --opset 12
   

   추정 크기를 변경하려면(기본값: 640)

   -s SIZE
   --size SIZE
   -s HEIGHT WIDTH
   --size HEIGHT WIDTH
   

   1280의 예:

   -s 1280
   or
   -s 1280 1280
   

   단순화하려면 ONNX 모델(DeepStream >= 6.0)

   --simplify
   

   동적 배치 크기를 사용하려면(DeepStream >= 6.1)

   --dynamic
   

   정적 batch-size를 사용하려면(batch-size = 4의 예)

   --batch 4
   

5. 설치된 JetPack 버전에 따라 CUDA 버전을 설정합니다.

   JetPack 4.6.4의 경우:

   export CUDA_VER=10.2
   

   JetPack 5.1.3의 경우:

   export CUDA_VER=11.4
   

6. 라이브러리 컴파일

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo
   

7. 를 편집합니다. config_infer_primary_yoloV8.txt file 모델에 따라( YOLOv8s 80개 수업)

   [property]
   ...
   onnx-file=yolov8s.onnx
   ...
   num-detected-classes=80
   ...
   

8. 를 편집합니다. deepstream_app_config 파일

   ...
   [primary-gie]
   ...
   config-file=config_infer_primary_yoloV8.txt
   

9. 다음에서 비디오 소스를 변경할 수도 있습니다. deepstream_app_config 파일. 여기에 기본 비디오 파일이 로드됩니다

   ...
   [source0]
   ...
   uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4
   

추론 실행

deepstream-app -c deepstream_app_config.txt

INT8 보정

추론에 INT8 정밀도를 사용하려면 다음 단계를 따라야 합니다.

1. 집합 OPENCV 환경 변수(environment variable)

   export OPENCV=1
   

2. 라이브러리 컴파일

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo
   

3. COCO 데이터 세트의 경우 val2017를 클릭하고 추출한 다음 DeepStream-Yolo 폴더

4. 보정 이미지를 위한 새 디렉터리 만들기

   mkdir calibration
   

5. 다음을 실행하여 COCO 데이터 세트에서 보정을 실행할 1000개의 무작위 이미지를 선택합니다.

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do \
       cp ${jpg} calibration/; \
   done
   

   참고

   NVIDIA는 좋은 정확도를 얻으려면 최소 500개의 이미지를 권장합니다. 이 예제에서는 더 나은 정확도를 얻기 위해 1000개의 이미지가 선택되었습니다(이미지가 많을수록 정확도가 높아짐). 헤드 -1000에서 설정할 수 있습니다. 예를 들어 이미지가 2000개인 경우 -2000으로 설정합니다. 이 과정은 시간이 오래 걸릴 수 있습니다.

6. 를 만듭니다. calibration.txt 선택한 모든 이미지가 있는 파일

   realpath calibration/*jpg > calibration.txt
   

7. 환경 변수 설정

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1
   

   참고

   INT8_CALIB_BATCH_SIZE 값이 높을수록 정확도가 높아지고 교정 속도가 빨라집니다. GPU 메모리에 따라 설정하십시오.

8. 업데이트 config_infer_primary_yoloV8.txt 파일

   에서

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...
   

   To

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...
   

추론 실행

deepstream-app -c deepstream_app_config.txt

멀티스트림 설정

단일 딥스트림 애플리케이션에서 여러 스트림을 설정하려면 다음을 변경할 수 있습니다. deepstream_app_config.txt 파일

1. 행과 열을 변경하여 원하는 스트림 수에 따라 그리드 표시를 작성합니다. 예를 들어 4개의 스트림에 대해 2개의 행과 2개의 열을 추가할 수 있습니다.

   [tiled-display]
   rows=2
   columns=2
   

2. 집합 num-sources=4 그리고 추가 uri 4 개의 모든 스트림 중

   [source0]
   enable=1
   type=3
   uri=<path_to_video>
   uri=<path_to_video>
   uri=<path_to_video>
   uri=<path_to_video>
   num-sources=4
   

추론 실행

deepstream-app -c deepstream_app_config.txt

벤치마크 결과

다음 표에는 다음과 같은 방법이 요약되어 있습니다. YOLOv8s 모델은 다른 TensorRT NVIDIA Jetson Orin NX 16GB에서 입력 크기가 640x640인 정밀도 수준.

승인

이 가이드는 처음에 Seeed Studio, Lakshantha, Elaine의 친구들이 만들었습니다.

댓글