Ultralytics YOLO11 NVIDIA 에서 DeepStream SDK를 사용하는 Jetson 및 TensorRT

Watch: 다음을 사용하여 Jetson Nano에서 DeepStream SDK로 여러 스트림을 실행하는 방법 Ultralytics YOLO11

이 종합 가이드는 DeepStream SDK를 사용하여 NVIDIA Jetson 장치에 Ultralytics YOLO11 을 배포하는 방법에 대한 자세한 안내와 TensorRT 을 제공합니다. 여기서는 TensorRT 을 사용하여 Jetson 플랫폼에서 추론 성능을 최대화합니다.

NVIDIA DeepStream이란 무엇인가요?

NVIDIA의 DeepStream SDK는 AI 기반 멀티 센서 처리, 비디오, 오디오 및 이미지 이해를 위한 GStreamer 기반의 완벽한 스트리밍 분석 툴킷입니다. IVA(지능형 비디오 분석) 앱과 서비스를 구축하는 비전 AI 개발자, 소프트웨어 파트너, 스타트업 및 OEM에 이상적입니다. 이제 신경망과 추적, 비디오 인코딩/디코딩, 비디오 렌더링과 같은 기타 복잡한 처리 작업을 통합하는 스트림 처리 파이프라인을 만들 수 있습니다. 이러한 파이프라인을 통해 비디오, 이미지, 센서 데이터에 대한 실시간 분석이 가능합니다. 딥스트림의 멀티 플랫폼 지원은 온프레미스, 엣지, 클라우드에서 비전 AI 애플리케이션과 서비스를 더 빠르고 쉽게 개발할 수 있는 방법을 제공합니다.

전제 조건

이 가이드를 따르기 전에 먼저 확인하세요:

• 설명서 빠른 시작 가이드를 참조하십시오: NVIDIA Ultralytics YOLO11 을 사용하여 NVIDIA Jetson 장치를 설정하십시오. Ultralytics YOLO11

• JetPack 버전에 따라 DeepStream SDK를 설치합니다.

  • JetPack 4.6.4의 경우, DeepStream 6.0.1을 설치합니다 .
  • JetPack 5.1.3의 경우, DeepStream 6.3을 설치합니다.
  • For JetPack 6.1, install DeepStream 7.1

딥스트림 구성 YOLO11

여기에서는 YOLO 모델에 대한 NVIDIA DeepStream SDK 지원을 포함하는 marcoslucianops/DeepStream-Yolo GitHub 리포지토리를 사용하고 있습니다. 기여해 주신 marcoslucianops의 노고에 감사드립니다!

1. Install Ultralytics with necessary dependencies

   cd ~
   pip install -U pip
   git clone https://github.com/ultralytics/ultralytics
   cd ultralytics
   pip install -e ".[export]" onnxslim
   

2. Clone the DeepStream-Yolo repository

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo
   

3. Copy the export_yoloV8.py file from DeepStream-Yolo/utils directory to the ultralytics 폴더

   cp ~/DeepStream-Yolo/utils/export_yoloV8.py ~/ultralytics
   cd ultralytics
   

   참고

   export_yoloV8.py works for both YOLOv8 and YOLO11 models.

4. Download Ultralytics YOLO11 detection model (.pt) of your choice from YOLO11 releases. Here we use yolo11s.pt.

   wget https://github.com/ultralytics/assets/releases/download/v8.3.0/yolo11s.pt
   

   참고

   사용자 지정 훈련된 YOLO11 모델을 사용할 수도 있습니다.

5. 모델로 변환 ONNX

   python3 export_yoloV8.py -w yolo11s.pt
   

   위 명령에 아래 인수를 전달합니다.

   DeepStream 6.0.1의 경우, 옵셋 12 이하를 사용합니다. 기본 옵셋은 16입니다.

   --opset 12
   

   추론 크기를 변경하려면(기본값: 640) 다음과 같이 하세요.

   -s SIZE
   --size SIZE
   -s HEIGHT WIDTH
   --size HEIGHT WIDTH
   

   1280의 예입니다:

   -s 1280
   or
   -s 1280 1280
   

   ONNX 모델을 단순화하려면 (DeepStream >= 6.0)

   --simplify
   

   동적 배치 크기 사용(DeepStream >= 6.1)

   --dynamic
   

   정적 배치 크기를 사용하려면(예: 배치 크기 = 4) 다음과 같이 하세요.

   --batch 4
   

6. Copy the generated .onnx model file and labels.txt file to the DeepStream-Yolo 폴더

   cp yolo11s.pt.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo
   

7. 설치된 JetPack 버전에 따라 CUDA 버전을 설정합니다.

   JetPack 4.6.4의 경우:

   export CUDA_VER=10.2
   

   JetPack 5.1.3의 경우:

   export CUDA_VER=11.4
   

   For Jetpack 6.1:

   export CUDA_VER=12.6
   

8. 라이브러리 컴파일

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo
   

9. 편집 config_infer_primary_yoloV8.txt file according to your model (for YOLO11s with 80 classes)

   [property]
   ...
   onnx-file=yolo11s.pt.onnx
   ...
   num-detected-classes=80
   ...
   

10. 편집 deepstream_app_config 파일

    ...
    [primary-gie]
    ...
    config-file=config_infer_primary_yoloV8.txt
    

11. 다음에서 동영상 소스를 변경할 수도 있습니다. deepstream_app_config 파일을 선택합니다. 여기에 기본 비디오 파일이 로드됩니다.

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4
    

추론 실행

deepstream-app -c deepstream_app_config.txt

INT8 보정

추론에 INT8 정밀도를 사용하려면 다음 단계를 따라야 합니다.

1. 설정 OPENCV 환경 변수

   export OPENCV=1
   

2. 라이브러리 컴파일

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo
   

3. COCO 데이터 세트의 경우 val2017를 클릭하고 추출한 다음 DeepStream-Yolo 폴더

4. 보정 이미지를 위한 새 디렉터리 만들기

   mkdir calibration
   

5. 다음을 실행하여 COCO 데이터 세트에서 1000개의 무작위 이미지를 선택하여 보정을 실행합니다.

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do \
       cp ${jpg} calibration/; \
   done
   

   참고

   NVIDIA 는 좋은 정확도를 얻기 위해 최소 500개의 이미지를 권장합니다. 이 예에서는 더 나은 정확도를 얻기 위해 1000개의 이미지가 선택되었습니다(이미지가 많을수록 정확도가 높아짐). 머리 -1000에서 설정할 수 있습니다. 예를 들어 이미지가 2000개인 경우 -2000으로 설정합니다. 이 과정은 시간이 오래 걸릴 수 있습니다.

6. 생성하기 calibration.txt 파일에 선택한 모든 이미지가 포함된

   realpath calibration/*jpg > calibration.txt
   

7. 환경 변수 설정

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1
   

   참고

   INT8_CALIB_BATCH_SIZE 값이 높을수록 정확도가 높아지고 보정 속도가 빨라집니다. GPU 메모리에 맞게 설정하세요.

8. 업데이트 config_infer_primary_yoloV8.txt 파일

   에서

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...
   

   To

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...
   

추론 실행

deepstream-app -c deepstream_app_config.txt

멀티스트림 설정

단일 딥스트림 애플리케이션에서 여러 스트림을 설정하려면 다음과 같이 딥스트림 애플리케이션을 변경하면 됩니다. deepstream_app_config.txt 파일

1. 원하는 스트림 수에 따라 행과 열을 변경하여 그리드 표시를 만들 수 있습니다. 예를 들어 스트림이 4개인 경우 행 2개와 열 2개를 추가할 수 있습니다.

   [tiled-display]
   rows=2
   columns=2
   

2. 설정 num-sources=4 를 클릭하고 uri 4개의 스트림 중

   [source0]
   enable=1
   type=3
   uri=<path_to_video>
   uri=<path_to_video>
   uri=<path_to_video>
   uri=<path_to_video>
   num-sources=4
   

추론 실행

deepstream-app -c deepstream_app_config.txt

벤치마크 결과

The following benchmarks summarizes how YOLO11 models perform at different TensorRT precision levels with an input size of 640x640 on NVIDIA Jetson Orin NX 16GB.

비교 차트

상세 비교 표

감사

이 가이드는 시드 스튜디오의 친구인 락샨타와 일레인이 처음에 만들었습니다.

자주 묻는 질문

NVIDIA Jetson 장치에서 Ultralytics YOLO11 을 설정하려면 어떻게 합니까?

NVIDIA Jetson 장치에서 Ultralytics YOLO11 을 설정하려면 먼저 사용 중인 JetPack 버전과 호환되는 DeepStream SDK를 설치해야 합니다. 빠른 시작 가이드 의 단계별 가이드에 따라 YOLO11 배포를 위해 NVIDIA Jetson을 구성합니다.

NVIDIA Jetson에서 YOLO11 과 함께 TensorRT 을 사용하면 어떤 이점이 있나요?

YOLO11 과 함께 TensorRT 을 사용하면 추론을 위한 모델을 최적화하여 지연 시간을 크게 줄이고 처리량을 향상시킵니다. NVIDIA Jetson 장치에서 TensorRT 레이어 융합, 정밀 보정 및 커널 자동 튜닝을 통해 고성능, 저지연 딥 러닝 추론을 제공합니다. 이를 통해 더 빠르고 효율적으로 실행할 수 있으며, 특히 비디오 분석 및 자율 머신과 같은 실시간 애플리케이션에 유용합니다.

다른 NVIDIA Jetson 하드웨어에서 DeepStream SDK를 사용하여 Ultralytics YOLO11 실행할 수 있습니까?

예, 배포 가이드 Ultralytics YOLO11 와 DeepStream SDK 및 TensorRT 는 전체 NVIDIA Jetson 라인업에서 호환됩니다. 여기에는 젯팩 5.1.3이 설치된 젯슨 오린 NX 16GB 및 젯팩 4.6.4가 설치된 젯슨 나노 4GB와 같은 장치가 포함됩니다. 자세한 단계는 YOLO11 의 DeepStream 구성 섹션을 참조하십시오.

YOLO11 모델을 DeepStream용 ONNX 모델로 변환하려면 어떻게 해야 하나요?

YOLO11 모델을 DeepStream과 함께 배포할 수 있도록 ONNX 형식으로 변환하려면 utils/export_yoloV8.py 스크립트에서 DeepStream-Yolo 리포지토리에 저장합니다.

다음은 명령어 예시입니다:

python3 utils/export_yoloV8.py -w yolo11s.pt --opset 12 --simplify

모델 변환에 대한 자세한 내용은 모델 내보내기 섹션을 참조하세요.

NVIDIA 에서 YOLO 의 성능 벤치마크는 어떻게 되나요?

The performance of YOLO11 models on NVIDIA Jetson Orin NX 16GB varies based on TensorRT precision levels. For example, YOLO11s models achieve:

• FP32 Precision: 14.6 ms/im, 68.5 FPS
• FP16 정밀도: 7.94ms/im, 126 FPS
• INT8 Precision: 5.95 ms/im, 168 FPS

TensorRT이 벤치마크는 NVIDIA Jetson 하드웨어에서 최적화된 YOLO11 모델 사용의 효율성과 성능을 강조합니다. 자세한 내용은 벤치마크 결과 섹션을 참조하세요.

📅 6 개월 전에 생성됨 ✏️ 3 일 전 업데이트 됨

댓글