TensorRT YOLOv8 모델용 내보내기

Deploying computer vision models in high-performance environments can require a format that maximizes speed and efficiency. This is especially true when you are deploying your model on NVIDIA GPUs.

By using the TensorRT export format, you can enhance your Ultralytics YOLOv8 models for swift and efficient inference on NVIDIA hardware. This guide will give you easy-to-follow steps for the conversion process and help you make the most of NVIDIA's advanced technology in your deep learning projects.

TensorRT

TensorRT, developed by NVIDIA, is an advanced software development kit (SDK) designed for high-speed deep learning inference. It's well-suited for real-time applications like object detection.

이 툴킷은 딥 러닝 모델을 NVIDIA GPU에 최적화하여 더 빠르고 효율적인 작업을 가능하게 합니다. TensorRT 모델은 레이어 융합, 정밀 보정(INT8 및 FP16), 동적 tensor 메모리 관리 및 커널 자동 튜닝과 같은 기술을 포함하는 TensorRT 최적화를 거칩니다. 딥 러닝 모델을 TensorRT 형식으로 변환하면 개발자는 NVIDIA GPU의 잠재력을 완전히 실현할 수 있습니다.

TensorRT is known for its compatibility with various model formats, including TensorFlow, PyTorch, and ONNX, providing developers with a flexible solution for integrating and optimizing models from different frameworks. This versatility enables efficient model deployment across diverse hardware and software environments.

TensorRT 모델의 주요 기능

TensorRT 모델은 고속 딥 러닝 추론의 효율성과 효과에 기여하는 다양한 주요 기능을 제공합니다:

• 정밀 보정: TensorRT 에서는 정밀 보정을 지원하여 특정 정확도 요건에 맞게 모델을 미세 조정할 수 있습니다. 여기에는 허용 가능한 정확도 수준을 유지하면서 추론 속도를 더욱 높일 수 있는 INT8 및 FP16과 같은 감소된 정밀도 형식에 대한 지원이 포함됩니다.

• Layer Fusion: The TensorRT optimization process includes layer fusion, where multiple layers of a neural network are combined into a single operation. This reduces computational overhead and improves inference speed by minimizing memory access and computation.

• 동적 Tensor 메모리 관리: TensorRT 추론 중 tensor 메모리 사용량을 효율적으로 관리하여 메모리 오버헤드를 줄이고 메모리 할당을 최적화합니다. 그 결과 GPU 메모리 사용률이 더욱 효율적입니다.

• 자동 커널 튜닝: TensorRT 자동 커널 튜닝을 적용하여 모델의 각 레이어에 가장 최적화된 GPU 커널을 선택합니다. 이 적응형 접근 방식은 모델이 GPU 의 계산 능력을 최대한 활용할 수 있도록 합니다.

배포 옵션 TensorRT

YOLOv8 모델을 TensorRT 형식으로 내보내는 코드를 살펴보기 전에 TensorRT 모델이 일반적으로 사용되는 위치를 이해해 보겠습니다.

TensorRT 는 여러 가지 배포 옵션을 제공하며, 각 옵션은 통합 용이성, 성능 최적화, 유연성 간의 균형을 다르게 유지합니다:

• Deploying within TensorFlow: This method integrates TensorRT into TensorFlow, allowing optimized models to run in a familiar TensorFlow environment. It's useful for models with a mix of supported and unsupported layers, as TF-TRT can handle these efficiently.

• 독립형 TensorRT 런타임 API: 세분화된 제어 기능을 제공하여 성능이 중요한 애플리케이션에 이상적입니다. 더 복잡하지만 지원되지 않는 연산자를 사용자 지정으로 구현할 수 있습니다.

• NVIDIA Triton 추론 서버: 다양한 프레임워크의 모델을 지원하는 옵션입니다. 특히 클라우드 또는 에지 추론에 적합하며, 동시 모델 실행 및 모델 분석과 같은 기능을 제공합니다.

YOLOv8 모델로 내보내기 TensorRT

YOLOv8 모델을 TensorRT 형식으로 변환하여 실행 효율성을 개선하고 성능을 최적화할 수 있습니다.

설치

필요한 패키지를 설치하려면 실행합니다:

# Install the required package for YOLOv8
pip install ultralytics

설치 과정과 관련된 자세한 지침과 모범 사례는 YOLOv8 설치 가이드를 참조하세요. YOLOv8 에 필요한 패키지를 설치하는 동안 문제가 발생하면 일반적인 문제 가이드를 참조하여 해결 방법과 팁을 확인하세요.

사용법

사용 지침을 살펴보기 전에 Ultralytics 에서 제공하는 다양한 YOLOv8 모델을 확인하세요. 프로젝트 요구 사항에 가장 적합한 모델을 선택하는 데 도움이 될 것입니다.

from ultralytics import YOLO

# Load the YOLOv8 model
model = YOLO("yolov8n.pt")

# Export the model to TensorRT format
model.export(format="engine")  # creates 'yolov8n.engine'

# Load the exported TensorRT model
tensorrt_model = YOLO("yolov8n.engine")

# Run inference
results = tensorrt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLOv8n PyTorch model to TensorRT format
yolo export model=yolov8n.pt format=engine  # creates 'yolov8n.engine''

# Run inference with the exported model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

내보내기 프로세스에 대한 자세한 내용은 내보내기 관련 문서 페이지(Ultralytics )를 참조하세요.

INT8 정량화를 사용하여 TensorRT 내보내기

Exporting Ultralytics YOLO models using TensorRT with INT8 precision executes post-training quantization (PTQ). TensorRT uses calibration for PTQ, which measures the distribution of activations within each activation tensor as the YOLO model processes inference on representative input data, and then uses that distribution to estimate scale values for each tensor. Each activation tensor that is a candidate for quantization has an associated scale that is deduced by a calibration process.

암시적으로 양자화된 네트워크를 처리할 때 TensorRT 은 계층 실행 시간을 최적화하기 위해 기회주의적으로 INT8을 사용합니다. 레이어가 INT8에서 더 빠르게 실행되고 데이터 입력 및 출력에 양자화 스케일이 할당된 경우, 해당 레이어에 INT8 정밀도를 가진 커널이 할당되고, 그렇지 않은 경우 TensorRT 는 해당 레이어의 실행 시간이 더 빠른 것을 기준으로 커널에 대해 FP32 또는 FP16의 정밀도를 선택하게 됩니다.

INT8 내보내기 구성

사용 시 제공되는 인수 내보내기 Ultralytics YOLO 모델의 경우 크게 는 내보낸 모델의 성능에 영향을 줍니다. 또한 사용 가능한 장치 리소스에 따라 선택해야 하지만 기본 인수는 다음과 같습니다. should 대부분의 작업 Ampere(또는 최신 버전) NVIDIA 외장형 GPU. 사용되는 보정 알고리즘은 "ENTROPY_CALIBRATION_2" 에서 사용 가능한 옵션에 대한 자세한 내용을 확인할 수 있습니다. TensorRT 개발자 가이드에서. Ultralytics 테스트 결과 "ENTROPY_CALIBRATION_2" 가 최선의 선택이었으며 내보내기는 이 알고리즘을 사용하도록 고정되어 있습니다.

• workspace : 모델 가중치를 변환하는 동안 디바이스 메모리 할당의 크기(GiB 단위)를 제어합니다.

  • 조정 workspace 값에 따라 보정 요구 사항과 리소스 가용성에 따라 조정할 수 있습니다. 더 큰 workspace may increase calibration time, it allows TensorRT to explore a wider range of optimization tactics, potentially enhancing model performance and accuracy. Conversely, a smaller workspace 를 사용하면 보정 시간을 줄일 수 있지만 최적화 전략이 제한되어 정량화된 모델의 품질에 영향을 미칠 수 있습니다.

  • 기본값은 workspace=4 (기가바이트)를 초과하는 경우 보정이 충돌(경고 없이 종료)하는 경우 이 값을 늘려야 할 수 있습니다.

  • TensorRT 보고합니다 UNSUPPORTED_STATE 의 값을 내보내는 동안 workspace 의 값이 장치에서 사용할 수 있는 메모리보다 크면 workspace 를 낮춰야 합니다.

  • 만약 workspace 가 최대 값으로 설정되어 있고 보정에 실패/충돌하는 경우 다음 값을 줄이는 것을 고려하십시오. imgsz 그리고 batch 를 사용하여 메모리 요구 사항을 줄일 수 있습니다.

  • INT8에 대한 보정은 각 디바이스마다 다르며, 보정을 위해 '하이엔드' GPU 를 차용하면 다른 디바이스에서 추론을 실행할 때 성능이 저하될 수 있다는 점을 기억하세요.

• batch : 추론에 사용할 최대 배치 크기입니다. 추론 중에는 더 작은 배치를 사용할 수 있지만 추론은 지정된 것보다 큰 배치는 허용하지 않습니다.

NVIDIA 의 실험 결과, INT8 정량화 보정을 통해 모델의 데이터를 대표하는 500개 이상의 보정 이미지를 사용할 것을 권장했습니다. 이는 가이드라인일 뿐 hard 요구 사항 및 데이터 세트의 성능을 잘 발휘하는 데 필요한 것이 무엇인지 실험해 보아야 합니다. INT8 캘리브레이션에는 TensorRT 을 사용한 캘리브레이션 데이터가 필요하므로 반드시 data 인수를 사용할 때 int8=True TensorRT 를 클릭하고 data="my_dataset.yaml"의 이미지를 사용합니다. 유효성 검사 를 사용하여 보정합니다. 값이 전달되지 않은 경우 data 로 내보내는 경우 INT8 정량화를 사용하여 TensorRT 로 내보내면 기본값은 다음 중 하나를 사용하는 것입니다. 모델 작업에 기반한 "작은" 예제 데이터 세트 를 반환합니다.

from ultralytics import YOLO

model = YOLO("yolov8n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    int8=True,
    data="coco.yaml",  # (4)!
)

# Load the exported TensorRT INT8 model
model = YOLO("yolov8n.engine", task="detect")

# Run inference
result = model.predict("https://ultralytics.com/images/bus.jpg")

# Export a YOLOv8n PyTorch model to TensorRT format with INT8 quantization
yolo export model=yolov8n.pt format=engine batch=8 workspace=4 int8=True data=coco.yaml  # creates 'yolov8n.engine''

# Run inference with the exported TensorRT quantized model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

TensorRT INT8과 함께 YOLO 사용의 장점

• 모델 크기 감소: FP32에서 INT8로 양자화하면 모델 크기가 4배(디스크 또는 메모리)로 줄어들어 다운로드 시간이 단축되고, 스토리지 요구 사항이 낮아지며, 모델 배포 시 메모리 공간을 줄일 수 있습니다.

• 전력 소비 감소: INT8 수출용 YOLO 모델의 정밀 연산 감소는 특히 배터리로 구동되는 장치의 경우 FP32 모델에 비해 전력 소비가 적습니다.

• 추론 속도 향상: TensorRT 은 대상 하드웨어에 맞게 모델을 최적화하여 잠재적으로 GPU, 임베디드 장치 및 가속기에서 더 빠른 추론 속도를 이끌어냅니다.

TensorRT INT8과 YOLO 사용의 단점

• 평가 지표가 감소합니다: 더 낮은 정밀도를 사용하면 mAP, Precision, Recall 또는 모델 성능을 평가하는 데 사용되는 기타 메트릭 는 다소 악화될 가능성이 높습니다. 자세한 내용은 성능 결과 섹션 의 차이점을 비교하려면 mAP50 그리고 mAP50-95 다양한 기기의 작은 샘플에서 INT8로 내보낼 때 사용합니다.

• 개발 시간 증가: 데이터 세트와 디바이스에 대한 INT8 캘리브레이션의 '최적' 설정을 찾으려면 상당한 양의 테스트가 필요할 수 있습니다.

• 하드웨어 종속성: 보정 및 성능 향상은 하드웨어에 따라 크게 달라질 수 있으며 모델 가중치는 이전할 수 없습니다.

Ultralytics YOLO TensorRT 수출 실적

NVIDIA A100

소비자용 GPU

임베디드 디바이스

평가 방법

아래 섹션을 확장하여 이러한 모델을 내보내고 테스트한 방법에 대한 정보를 확인하세요.

from ultralytics import YOLO

model = YOLO("yolov8n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, half=True)

# TensorRT INT8 with calibration `data` (i.e. COCO, ImageNet, or DOTAv1 for appropriate model task)
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, int8=True, data="coco8.yaml"
)

import cv2

from ultralytics import YOLO

model = YOLO("yolov8n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 of the same image
        verbose=False,
        device="cuda",
    )

from ultralytics import YOLO

model = YOLO("yolov8n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet, or DOTAv1 for appropriate model task
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

내보낸 YOLOv8 TensorRT 모델 배포

Ultralytics YOLOv8 모델을 TensorRT 형식으로 성공적으로 내보냈으면 이제 배포할 준비가 되었습니다. 다양한 설정에서 TensorRT 모델을 배포하는 방법에 대한 자세한 지침은 다음 리소스를 참조하세요:

• Triton 서버와 함께 Ultralytics 배포: NVIDIA 의 Triton 추론(이전 TensorRT 추론) 서버를 Ultralytics YOLO 모델과 함께 사용하는 방법에 대한 가이드입니다.

• 를 사용하여 심층 신경망 배포 NVIDIA TensorRT: 이 문서에서는 NVIDIA TensorRT 을 사용하여 GPU 기반 배포 플랫폼에 심층 신경망을 효율적으로 배포하는 방법을 설명합니다.

• NVIDIA-기반 PC를 위한 엔드투엔드 AI: NVIDIA TensorRT 배포: 이 블로그 게시물에서는 NVIDIA-기반 PC에서 AI 모델을 최적화하고 배포하기 위한 NVIDIA TensorRT 의 사용에 대해 설명합니다.

• NVIDIA TensorRT 에 대한 깃허브 저장소:: NVIDIA TensorRT 의 소스 코드와 문서가 포함된 공식 GitHub 리포지토리입니다.

요약

이 가이드에서는 Ultralytics YOLOv8 모델을 NVIDIA 의 TensorRT 모델 형식으로 변환하는 데 중점을 두었습니다. 이 변환 단계는 YOLOv8 모델의 효율성과 속도를 개선하여 보다 효과적이고 다양한 배포 환경에 적합하게 만드는 데 매우 중요합니다.

사용법에 대한 자세한 내용은 TensorRT 공식 문서를 참조하세요.

추가 통합에 대해 궁금한 점이 있다면 Ultralytics YOLOv8 통합 가이드 페이지에서 다양한 리소스와 인사이트를 확인할 수 있습니다.

자주 묻는 질문

YOLOv8 모델을 TensorRT 형식으로 변환하려면 어떻게 해야 하나요?

최적화된 NVIDIA GPU 추론을 위해 Ultralytics YOLOv8 모델을 TensorRT 형식으로 변환하려면 다음 단계를 따르세요:

1. 필요한 패키지를 설치합니다:

   pip install ultralytics
   

2. YOLOv8 모델을 내보냅니다:

   from ultralytics import YOLO
   
   model = YOLO("yolov8n.pt")
   model.export(format="engine")  # creates 'yolov8n.engine'
   
   # Run inference
   model = YOLO("yolov8n.engine")
   results = model("https://ultralytics.com/images/bus.jpg")
   

자세한 내용은 YOLOv8 설치 가이드 및 내보내기 설명서를 참조하세요.

YOLOv8 모델에 TensorRT 을 사용하면 어떤 이점이 있나요?

YOLOv8 모델을 최적화하기 위해 TensorRT 을 사용하면 몇 가지 이점이 있습니다:

• 추론 속도 향상: TensorRT 모델 레이어를 최적화하고 정밀 보정(INT8 및 FP16)을 사용하여 정확도를 크게 떨어뜨리지 않으면서 추론 속도를 높입니다.
• 메모리 효율성: TensorRT 은 tensor 메모리를 동적으로 관리하여 오버헤드를 줄이고 GPU 메모리 사용률을 개선합니다.
• 레이어 퓨전: 여러 레이어를 단일 작업으로 결합하여 계산 복잡성을 줄입니다.
• 커널 자동 튜닝: 각 모델 레이어에 최적화된 GPU 커널을 자동으로 선택하여 최대 성능을 보장합니다.

자세한 내용은 TensorRT 에서 자세한 기능을 살펴보고 TensorRT 개요 섹션을 참조하세요.

YOLOv8 모델에 TensorRT 으로 INT8 정량화를 사용할 수 있나요?

예, INT8 정량화와 함께 TensorRT 모델을 사용하여 YOLOv8 모델을 내보낼 수 있습니다. 이 과정에는 훈련 후 정량화(PTQ) 및 보정이 포함됩니다:

1. INT8로 내보내기:

   from ultralytics import YOLO
   
   model = YOLO("yolov8n.pt")
   model.export(format="engine", batch=8, workspace=4, int8=True, data="coco.yaml")
   

2. 추론을 실행합니다:

   from ultralytics import YOLO
   
   model = YOLO("yolov8n.engine", task="detect")
   result = model.predict("https://ultralytics.com/images/bus.jpg")
   

자세한 내용은 INT8 정량화를 사용하여 TensorRT 내보내기 섹션을 참조하세요.

NVIDIA Triton 추론 서버에 YOLOv8 TensorRT 모델을 배포하려면 어떻게 해야 하나요?

NVIDIA Triton 추론 서버에 YOLOv8 TensorRT 모델을 배포하는 작업은 다음 리소스를 사용하여 수행할 수 있습니다:

• Triton 서버와 함께 Ultralytics YOLOv8 배포: Triton 추론 서버 설정 및 사용에 대한 단계별 안내.
• NVIDIA Triton 추론 서버 문서: 자세한 배포 옵션 및 구성에 대한 공식 NVIDIA 문서를 참조하세요.

이 가이드는 다양한 배포 환경에서 YOLOv8 모델을 효율적으로 통합하는 데 도움이 됩니다.

TensorRT 으로 내보낸 YOLOv8 모델에서는 어떤 성능 개선이 관찰되나요?

TensorRT 의 성능 향상은 사용하는 하드웨어에 따라 달라질 수 있습니다. 다음은 몇 가지 일반적인 벤치마크입니다:

• NVIDIA A100:

  • FP32 추론: ~0.52ms/이미지
  • FP16 추론: ~0.34ms/이미지
  • INT8 추론: ~0.28ms/이미지
  • INT8 정밀도로 맵은 약간 감소했지만 속도는 크게 향상되었습니다.

• 소비자용 GPU(예: RTX 3080):

  • FP32 추론: ~1.06ms/이미지
  • FP16 추론: ~0.62ms/이미지
  • INT8 추론: ~0.52ms/이미지

다양한 하드웨어 구성에 대한 자세한 성능 벤치마크는 성능 섹션에서 확인할 수 있습니다.

TensorRT 성능에 대한 보다 포괄적인 인사이트는 Ultralytics 문서와 성능 분석 보고서를 참조하세요.

📅 Created 8 months ago ✏️ Updated 10 days ago

댓글