TensorRT 및 DeepStream SDK를 사용하여 NVIDIA Jetson에 배포합니다.

이 가이드에서는 학습된 모델을 NVIDIA Jetson 플랫폼에 배포하고 TensorRT 및 DeepStream SDK를 사용하여 추론을 수행하는 방법을 설명합니다. 여기서는 TensorRT 을 사용하여 Jetson 플랫폼에서 추론 성능을 극대화합니다.

하드웨어 검증

이 가이드는 다음 Jetson 장치에서 테스트 및 검증되었습니다.

• 젯슨 나노 모듈로 구축된 재컴퓨터 J1010을 보았습니다.
• 젯슨 자비에 NX 모듈로 구축된 재컴퓨터 J2021을 보았습니다.

시작하기 전에

여기에는 이 가이드에 필요한 CUDA, TensorRT 및 DeepStream SDK가 포함되어 있으므로 Jetson 장치에 모든 SDK 구성 요소 및 DeepStream SDK와 함께 JetPack SDK를 올바르게 설치했는지 확인합니다.

JetPack SDK는 하드웨어 가속 AI 엣지 개발을 위한 완벽한 개발 환경을 제공합니다. 모든 Jetson 모듈 및 개발자 키트는 JetPack SDK에서 지원됩니다.

설치 방법에는 크게 두 가지가 있습니다,

1. SD 카드 이미지 방법
2. NVIDIA SDK 관리자 방법

NVIDIA 공식 웹사이트에서 매우 자세한 설치 가이드를 찾을 수 있습니다. 위에서 언급한 재컴퓨터 J1010 및 재컴퓨터 J2021에 해당하는 가이드도 찾을 수 있습니다.

필요한 패키지 설치

• 1단계. Jetson 장치의 터미널에 액세스하여 pip를 설치하고 업그레이드합니다.

sudo apt update
sudo apt install -y python3-pip
pip3 install --upgrade pip

• 2단계. 다음 리포지토리를 복제합니다.

git clone https://github.com/ultralytics/yolov5

• 3단계 요구 사항.txt 열기

cd yolov5
vi requirements.txt

• 5단계. 다음 줄을 편집합니다. 여기서 먼저 i를 눌러 편집 모드로 들어가야 합니다. ESC를 누른 다음 :wq를 입력하여 저장하고 종료합니다.

# torch>=1.8.0
# torchvision>=0.9.0

참고: torch 및 torchvision은 나중에 설치될 예정이므로 지금은 제외됩니다.

• 6단계. 아래 종속성 설치

sudo apt install -y libfreetype6-dev

• 7단계. 필요한 패키지 설치

pip3 install -r requirements.txt

PyTorch 및 토치비전 설치

PyTorch 및 Torchvision은 ARM aarch64 아키텍처 기반의 Jetson 플랫폼에서 실행하기 위해 호환되지 않으므로 pip에서 설치할 수 없습니다. 따라서 미리 빌드된 PyTorch pip 휠을 수동으로 설치하고 소스에서 Torchvision을 컴파일/설치해야 합니다.

이 페이지를 방문하여 PyTorch 및 토치비전 링크에 모두 액세스하세요.

JetPack 4.6 이상에서 지원되는 버전은 다음과 같습니다.

PyTorch v1.10.0

JetPack 4.4(L4T R32.4.3) / JetPack 4.4.1(L4T R32.4.4) / JetPack 4.5(L4T R32.5.0) / JetPack 4.5.1(L4T R32.5.1)에서 지원 Python 3.6

• file_name: torch-1.10.0-cp36-cp36m-linux_aarch64.whl
• URL: https://nvidia.box.com/shared/static/fjtbno0vpo676a25cgvuqc1wty0fkkg6.whl

PyTorch v1.12.0

젯팩 5.0(L4T R34.1.0)/젯팩 5.0.1(L4T R34.1.1)/젯팩 5.0.2(L4T R35.1.0)에서 지원 Python 3.8

• file_name: torch-1.12.0a0+2c916ef.nv22.3-cp38-cp38-linux_aarch64.whl

• URL: https://developer.download.nvidia.com/compute/redist/jp/v50/pytorch/torch-1.12.0a0+2c916ef.nv22.3-cp38-cp38-linux_aarch64.whl

• 1단계. JetPack 버전에 따라 다음 형식으로 torch 을 설치합니다.

wget <URL> -O <file_name>
pip3 install <file_name>

예를 들어, 여기서는 JP4.6.1을 실행하고 있으므로 PyTorch v1.10.0을 선택합니다.

cd ~
sudo apt-get install -y libopenblas-base libopenmpi-dev
wget https://nvidia.box.com/shared/static/fjtbno0vpo676a25cgvuqc1wty0fkkg6.whl -O torch-1.10.0-cp36-cp36m-linux_aarch64.whl
pip3 install torch-1.10.0-cp36-cp36m-linux_aarch64.whl

• 2단계. 설치한 PyTorch 버전에 따라 토치비전을 설치합니다. 예를 들어 PyTorch v1.10.0을 선택했으므로 Torchvision v0.11.1을 선택해야 합니다.

sudo apt install -y libjpeg-dev zlib1g-dev
git clone --branch v0.11.1 https://github.com/pytorch/vision torchvision
cd torchvision
sudo python3 setup.py install

다음은 PyTorch 버전에 따라 설치해야 하는 해당 토치비전 버전 목록입니다:

• PyTorch v1.10 - 토치비전 V0.11.1
• PyTorch v1.12 - 토치비전 V0.13.0

딥스트림 구성 YOLOv5

• 1단계. 다음 리포지토리를 복제합니다.

cd ~
git clone https://github.com/marcoslucianops/DeepStream-Yolo

• 2단계. DeepStream-Yolo /utils에서 gen_wts_yoloV5.py를 다음 디렉토리에 복사합니다. yolov5 디렉토리

cp DeepStream-Yolo/utils/gen_wts_yoloV5.py yolov5

• 3단계. yolov5 리포지토리 내에서 YOLOv5 릴리스에서 pt 파일을 다운로드합니다(예: YOLOv5s 6.1).

cd yolov5
wget https://github.com/ultralytics/yolov5/releases/download/v6.1/yolov5s.pt

• 4단계. cfg 및 wts 파일 생성하기

python3 gen_wts_yoloV5.py -w yolov5s.pt

참고: 추론 크기 변경하기(기본값: 640)

-s SIZE
--size SIZE
-s HEIGHT WIDTH
--size HEIGHT WIDTH

Example for 1280:

-s 1280
or
-s 1280 1280

• 5단계. 생성된 cfg 및 wts 파일을 DeepStream-Yolo 폴더에 복사합니다.

cp yolov5s.cfg ~/DeepStream-Yolo
cp yolov5s.wts ~/DeepStream-Yolo

• 6단계. DeepStream-Yolo 폴더를 열고 라이브러리를 컴파일합니다.

cd ~/DeepStream-Yolo
CUDA_VER=11.4 make -C nvdsinfer_custom_impl_Yolo  # for DeepStream 6.1
CUDA_VER=10.2 make -C nvdsinfer_custom_impl_Yolo  # for DeepStream 6.0.1 / 6.0

• 7단계. 모델에 따라 config_infer_primary_yoloV5.txt 파일을 편집합니다.

[property]
...
custom-network-config=yolov5s.cfg
model-file=yolov5s.wts
...

• 8단계. deepstream_app_config 파일을 편집합니다.

...
[primary-gie]
...
config-file=config_infer_primary_yoloV5.txt

• 9단계. deepstream_app_config 파일에서 비디오 소스를 변경합니다. 아래에서 볼 수 있듯이 기본 비디오 파일이 로드됩니다.

...
[source0]
...
uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

추론 실행

deepstream-app -c deepstream_app_config.txt

위의 결과는 FP32 및 YOLOv5s 640x640의 Jetson Xavier NX에서 실행한 결과입니다. FPS가 30 정도임을 알 수 있습니다.

INT8 보정

추론에 INT8 정밀도를 사용하려면 다음 단계를 따라야 합니다.

• 1단계. OpenCV 설치

sudo apt-get install libopencv-dev

• 2단계. OpenCV를 지원하는 nvdsinfer_custom_impl_Yolo 라이브러리를 컴파일/다시 컴파일합니다.

cd ~/DeepStream-Yolo
CUDA_VER=11.4 OPENCV=1 make -C nvdsinfer_custom_impl_Yolo  # for DeepStream 6.1
CUDA_VER=10.2 OPENCV=1 make -C nvdsinfer_custom_impl_Yolo  # for DeepStream 6.0.1 / 6.0

• 3단계. COCO 데이터 세트의 경우, val2017을 다운로드하고 압축을 푼 후 DeepStream-Yolo 폴더로 이동합니다.

• 4단계. 보정 이미지를 위한 새 디렉터리 만들기

mkdir calibration

• 5단계. 다음을 실행하여 COCO 데이터 세트에서 1000개의 무작위 이미지를 선택하여 보정을 실행합니다.

for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do \
    cp ${jpg} calibration/; \
done

참고: NVIDIA는 좋은 정확도를 얻으려면 최소 500개의 이미지를 권장합니다. 이 예제에서는 더 나은 정확도를 얻기 위해 1000개의 이미지가 선택되었습니다(이미지가 많을수록 정확도가 높아짐). INT8_CALIB_BATCH_SIZE 값이 높을수록 정확도가 높아지고 보정 속도가 빨라집니다. GPU 메모리에 맞게 설정하세요. 헤드 -1000부터 설정할 수 있습니다. 예를 들어 이미지가 2000개인 경우 -2000을 설정합니다. 이 과정은 시간이 오래 걸릴 수 있습니다.

• 6단계. 선택한 모든 이미지가 포함된 calibration.txt 파일을 만듭니다.

realpath calibration/*jpg > calibration.txt

• 7단계. 환경 변수 설정

export INT8_CALIB_IMG_PATH=calibration.txt
export INT8_CALIB_BATCH_SIZE=1

• 8단계. config_infer_primary_yoloV5.txt 파일을 업데이트합니다.

에서

...
model-engine-file=model_b1_gpu0_fp32.engine
#int8-calib-file=calib.table
...
network-mode=0
...

To

...
model-engine-file=model_b1_gpu0_int8.engine
int8-calib-file=calib.table
...
network-mode=1
...

• 9단계. 추론 실행

deepstream-app -c deepstream_app_config.txt

위의 결과는 INT8 및 YOLOv5s 640x640으로 Jetson Xavier NX에서 실행한 결과입니다. FPS가 60 정도임을 알 수 있습니다.

벤치마크 결과

다음 표에는 Jetson Xavier NX에서 다양한 모델의 성능이 요약되어 있습니다.

추가

이 튜토리얼은 @lakshanthad와 Elaine의 친구들이 작성했습니다.

댓글