TensorRT Export for YOLO11 Models

고성능 환경에서 컴퓨터 비전 모델을 배포하려면 속도와 효율성을 극대화하는 형식이 필요할 수 있습니다. NVIDIA GPU에 모델을 배포하는 경우 특히 그렇습니다.

By using the TensorRT export format, you can enhance your Ultralytics YOLO11 models for swift and efficient inference on NVIDIA hardware. This guide will give you easy-to-follow steps for the conversion process and help you make the most of NVIDIA's advanced technology in your deep learning projects.

TensorRT

TensorRT에서 개발한 NVIDIA 은 고속 딥러닝 추론을 위해 설계된 고급 소프트웨어 개발 키트(SDK)입니다. 객체 감지와 같은 실시간 애플리케이션에 적합합니다.

이 툴킷은 딥 러닝 모델을 NVIDIA GPU에 최적화하여 더 빠르고 효율적인 작업을 가능하게 합니다. TensorRT 모델은 레이어 융합, 정밀 보정(INT8 및 FP16), 동적 tensor 메모리 관리 및 커널 자동 튜닝과 같은 기술을 포함하는 TensorRT 최적화를 거칩니다. 딥 러닝 모델을 TensorRT 형식으로 변환하면 개발자는 NVIDIA GPU의 잠재력을 완전히 실현할 수 있습니다.

TensorRT 를 포함한 다양한 모델 형식과의 호환성으로 유명하며 TensorFlow, PyTorch, ONNX 등 다양한 프레임워크의 모델을 통합하고 최적화할 수 있는 유연한 솔루션을 개발자에게 제공합니다. 이러한 다용도성 덕분에 다양한 하드웨어 및 소프트웨어 환경에서 효율적으로 모델을 배포할 수 있습니다.

TensorRT 모델의 주요 기능

TensorRT 모델은 고속 딥 러닝 추론의 효율성과 효과에 기여하는 다양한 주요 기능을 제공합니다:

• 정밀 보정: TensorRT 에서는 정밀 보정을 지원하여 특정 정확도 요건에 맞게 모델을 미세 조정할 수 있습니다. 여기에는 허용 가능한 정확도 수준을 유지하면서 추론 속도를 더욱 높일 수 있는 INT8 및 FP16과 같은 감소된 정밀도 형식에 대한 지원이 포함됩니다.

• 레이어 퓨전: TensorRT 최적화 프로세스에는 신경망의 여러 계층을 단일 연산으로 결합하는 계층 융합이 포함됩니다. 이렇게 하면 메모리 액세스 및 계산을 최소화하여 계산 오버헤드를 줄이고 추론 속도를 향상시킬 수 있습니다.

• 동적 Tensor 메모리 관리: TensorRT 추론 중 tensor 메모리 사용량을 효율적으로 관리하여 메모리 오버헤드를 줄이고 메모리 할당을 최적화합니다. 그 결과 GPU 메모리 사용률이 더욱 효율적입니다.

• Automatic Kernel Tuning: TensorRT applies automatic kernel tuning to select the most optimized GPU kernel for each layer of the model. This adaptive approach ensures that the model takes full advantage of the GPUs computational power.

배포 옵션 TensorRT

Before we look at the code for exporting YOLO11 models to the TensorRT format, let's understand where TensorRT models are normally used.

TensorRT 는 여러 가지 배포 옵션을 제공하며, 각 옵션은 통합 용이성, 성능 최적화, 유연성 간의 균형을 다르게 유지합니다:

• TensorFlow 내에 배포: 이 방법은 TensorRT 을 TensorFlow 에 통합하여 익숙한 TensorFlow 환경에서 최적화된 모델을 실행할 수 있도록 합니다. 지원되는 레이어와 지원되지 않는 레이어가 혼합된 모델에 유용하며, TF-TRT는 이를 효율적으로 처리할 수 있습니다.

• 독립형 TensorRT 런타임 API: 세분화된 제어 기능을 제공하여 성능이 중요한 애플리케이션에 이상적입니다. 더 복잡하지만 지원되지 않는 연산자를 사용자 지정으로 구현할 수 있습니다.

• NVIDIA Triton 추론 서버: 다양한 프레임워크의 모델을 지원하는 옵션입니다. 특히 클라우드 또는 에지 추론에 적합하며, 동시 모델 실행 및 모델 분석과 같은 기능을 제공합니다.

Exporting YOLO11 Models to TensorRT

You can improve execution efficiency and optimize performance by converting YOLO11 models to TensorRT format.

설치

필요한 패키지를 설치하려면 실행합니다:

# Install the required package for YOLO11
pip install ultralytics

설치 과정과 관련된 자세한 지침과 모범 사례는 YOLO11 설치 가이드를 참조하세요. YOLO11 에 필요한 패키지를 설치하는 동안 문제가 발생하면 일반적인 문제 가이드를 참조하여 해결 방법과 팁을 확인하세요.

사용법

사용 지침을 살펴보기 전에 Ultralytics 에서 제공하는 다양한 YOLO11 모델을 확인하세요. 프로젝트 요구 사항에 가장 적합한 모델을 선택하는 데 도움이 될 것입니다.

from ultralytics import YOLO

# Load the YOLO11 model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT format
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
tensorrt_model = YOLO("yolo11n.engine")

# Run inference
results = tensorrt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine  # creates 'yolo11n.engine''

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

내보내기 프로세스에 대한 자세한 내용은 내보내기 관련 문서 페이지(Ultralytics )를 참조하세요.

INT8 정량화를 사용하여 TensorRT 내보내기

INT8 정밀도로 TensorRT 를 사용하여 Ultralytics YOLO 모델을 내보내면 학습 후 정량화(PTQ)가 실행됩니다. TensorRT 는 PTQ에 대한 보정을 사용하여 YOLO 모델이 대표 입력 데이터에 대한 추론을 처리할 때 각 활성화 tensor 내의 활성화 분포를 측정한 다음 이 분포를 사용하여 각 tensor 에 대한 척도 값을 추정합니다. 정량화 후보인 각 활성화 tensor 에는 보정 프로세스를 통해 추론되는 관련 척도가 있습니다.

암시적으로 양자화된 네트워크를 처리할 때 TensorRT 은 계층 실행 시간을 최적화하기 위해 기회주의적으로 INT8을 사용합니다. 레이어가 INT8에서 더 빠르게 실행되고 데이터 입력 및 출력에 양자화 스케일이 할당된 경우, INT8 정밀도를 가진 커널이 해당 레이어에 할당되고, 그렇지 않은 경우 TensorRT 는 해당 레이어의 실행 시간이 더 빠른 것을 기준으로 커널에 대해 FP32 또는 FP16의 정밀도를 선택합니다.

INT8 내보내기 구성

사용 시 제공되는 인수 내보내기 Ultralytics YOLO 모델의 경우 크게 는 내보낸 모델의 성능에 영향을 줍니다. 또한 사용 가능한 장치 리소스에 따라 선택해야 하지만 기본 인수는 다음과 같습니다. should 대부분의 작업 Ampere(또는 최신 버전) NVIDIA 외장형 GPU. 사용되는 보정 알고리즘은 "ENTROPY_CALIBRATION_2" 에서 사용 가능한 옵션에 대한 자세한 내용을 확인할 수 있습니다. TensorRT 개발자 가이드에서. Ultralytics 테스트 결과 "ENTROPY_CALIBRATION_2" 가 최선의 선택이었으며 내보내기는 이 알고리즘을 사용하도록 고정되어 있습니다.

• workspace : 모델 가중치를 변환하는 동안 디바이스 메모리 할당의 크기(GiB 단위)를 제어합니다.

  • 조정 workspace 값에 따라 보정 요구 사항과 리소스 가용성에 따라 조정할 수 있습니다. 더 큰 workspace 를 사용하면 보정 시간이 늘어날 수 있지만 TensorRT 에서 더 넓은 범위의 최적화 전략을 탐색하여 잠재적으로 모델 성능을 향상시킬 수 있습니다. 정확성. 반대로, 더 작은 workspace 를 사용하면 보정 시간을 줄일 수 있지만 최적화 전략이 제한되어 정량화된 모델의 품질에 영향을 줄 수 있습니다.

  • 기본값은 workspace=None를 설정하면 TensorRT 메모리를 자동으로 할당할 수 있으며, 수동으로 구성할 경우 캘리브레이션이 충돌(경고 없이 종료)하는 경우 이 값을 늘려야 할 수 있습니다.

  • TensorRT 보고합니다 UNSUPPORTED_STATE 의 값을 내보내는 동안 workspace 의 값이 장치에서 사용할 수 있는 메모리보다 크면 workspace 를 낮추거나 None.

  • 만약 workspace 가 최대값으로 설정되어 있고 보정이 실패하거나 충돌하는 경우, 다음을 사용하는 것이 좋습니다. None 의 값을 줄이거나 자동 할당을 위해 imgsz 그리고 batch 를 사용하여 메모리 요구 사항을 줄일 수 있습니다.

  • INT8에 대한 보정은 각 디바이스에 따라 다르며, 보정을 위해 '고급' GPU 을 빌려서 사용하면 다른 디바이스에서 추론을 실행할 때 성능이 저하될 수 있다는 점을 기억하세요.

• batch : 추론에 사용할 최대 배치 크기입니다. 추론 중에는 더 작은 배치를 사용할 수 있지만 추론은 지정된 것보다 큰 배치는 허용하지 않습니다.

NVIDIA 의 실험 결과, INT8 정량화 보정을 통해 모델의 데이터를 대표하는 500개 이상의 보정 이미지를 사용할 것을 권장했습니다. 이는 가이드라인일 뿐 hard 요구 사항 및 데이터 세트의 성능을 잘 발휘하는 데 필요한 것이 무엇인지 실험해 보아야 합니다. INT8 캘리브레이션에는 TensorRT 을 사용한 캘리브레이션 데이터가 필요하므로 반드시 data 인수를 사용할 때 int8=True TensorRT 를 클릭하고 data="my_dataset.yaml"의 이미지를 사용합니다. 유효성 검사 를 사용하여 보정합니다. 값이 전달되지 않은 경우 data 로 내보내는 경우 INT8 정량화를 사용하여 TensorRT 로 내보내면 기본값은 다음 중 하나를 사용하는 것입니다. 모델 작업에 기반한 "작은" 예제 데이터 세트 를 반환합니다.

from ultralytics import YOLO

model = YOLO("yolov8n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    int8=True,
    data="coco.yaml",  # (4)!
)

# Load the exported TensorRT INT8 model
model = YOLO("yolov8n.engine", task="detect")

# Run inference
result = model.predict("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format with INT8 quantization
yolo export model=yolo11n.pt format=engine batch=8 workspace=4 int8=True data=coco.yaml  # creates 'yolov8n.engine''

# Run inference with the exported TensorRT quantized model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

TensorRT INT8과 함께 YOLO 사용의 장점

• 모델 크기 감소: FP32에서 INT8로 양자화하면 모델 크기가 4배(디스크 또는 메모리)로 줄어들어 다운로드 시간이 단축되고, 스토리지 요구 사항이 낮아지며, 모델 배포 시 메모리 공간을 줄일 수 있습니다.

• 전력 소비 감소: INT8 수출용 YOLO 모델의 정밀 연산 감소는 특히 배터리로 구동되는 장치의 경우 FP32 모델에 비해 전력 소비가 적습니다.

• 추론 속도 향상: TensorRT 은 대상 하드웨어에 맞게 모델을 최적화하여 잠재적으로 GPU, 임베디드 장치 및 가속기에서 더 빠른 추론 속도를 이끌어냅니다.

TensorRT INT8과 YOLO 사용의 단점

• 평가 지표가 감소합니다: 더 낮은 정밀도를 사용하면 mAP, Precision, Recall 또는 모델 성능을 평가하는 데 사용되는 기타 메트릭 는 다소 악화될 가능성이 높습니다. 자세한 내용은 성능 결과 섹션 의 차이점을 비교하려면 mAP50 그리고 mAP50-95 다양한 기기의 작은 샘플에서 INT8로 내보낼 때 사용합니다.

• 개발 시간 증가: 데이터 세트와 디바이스에 대한 INT8 캘리브레이션의 '최적' 설정을 찾으려면 상당한 양의 테스트가 필요할 수 있습니다.

• 하드웨어 종속성: 보정 및 성능 향상은 하드웨어에 따라 크게 달라질 수 있으며 모델 가중치는 이전할 수 없습니다.

Ultralytics YOLO TensorRT 수출 실적

NVIDIA A100

소비자용 GPU

임베디드 디바이스

평가 방법

아래 섹션을 확장하여 이러한 모델을 내보내고 테스트한 방법에 대한 정보를 확인하세요.

from ultralytics import YOLO

model = YOLO("yolov8n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, half=True)

# TensorRT INT8 with calibration `data` (i.e. COCO, ImageNet, or DOTAv1 for appropriate model task)
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, int8=True, data="coco8.yaml"
)

import cv2

from ultralytics import YOLO

model = YOLO("yolov8n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 of the same image
        verbose=False,
        device="cuda",
    )

from ultralytics import YOLO

model = YOLO("yolov8n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet, or DOTAv1 for appropriate model task
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

Deploying Exported YOLO11 TensorRT Models

Having successfully exported your Ultralytics YOLO11 models to TensorRT format, you're now ready to deploy them. For in-depth instructions on deploying your TensorRT models in various settings, take a look at the following resources:

• Triton 서버와 함께 Ultralytics 배포: NVIDIA 의 Triton 추론(이전 TensorRT 추론) 서버를 Ultralytics YOLO 모델과 함께 사용하는 방법에 대한 가이드입니다.

• 를 사용하여 심층 신경망 배포 NVIDIA TensorRT: 이 문서에서는 NVIDIA TensorRT 을 사용하여 GPU 기반 배포 플랫폼에 심층 신경망을 효율적으로 배포하는 방법을 설명합니다.

• NVIDIA-기반 PC를 위한 엔드투엔드 AI: NVIDIA TensorRT 배포: 이 블로그 게시물에서는 NVIDIA-기반 PC에서 AI 모델을 최적화하고 배포하기 위한 NVIDIA TensorRT 의 사용에 대해 설명합니다.

• NVIDIA TensorRT 에 대한 깃허브 저장소:: NVIDIA TensorRT 의 소스 코드와 문서가 포함된 공식 GitHub 리포지토리입니다.

요약

In this guide, we focused on converting Ultralytics YOLO11 models to NVIDIA's TensorRT model format. This conversion step is crucial for improving the efficiency and speed of YOLO11 models, making them more effective and suitable for diverse deployment environments.

사용법에 대한 자세한 내용은 TensorRT 공식 문서를 참조하세요.

If you're curious about additional Ultralytics YOLO11 integrations, our integration guide page provides an extensive selection of informative resources and insights.

자주 묻는 질문

How do I convert YOLO11 models to TensorRT format?

To convert your Ultralytics YOLO11 models to TensorRT format for optimized NVIDIA GPU inference, follow these steps:

1. 필요한 패키지를 설치합니다:

   pip install ultralytics
   

2. Export your YOLO11 model:

   from ultralytics import YOLO
   
   model = YOLO("yolo11n.pt")
   model.export(format="engine")  # creates 'yolov8n.engine'
   
   # Run inference
   model = YOLO("yolo11n.engine")
   results = model("https://ultralytics.com/images/bus.jpg")
   

For more details, visit the YOLO11 Installation guide and the export documentation.

What are the benefits of using TensorRT for YOLO11 models?

Using TensorRT to optimize YOLO11 models offers several benefits:

• 추론 속도 향상: TensorRT 모델 레이어를 최적화하고 정밀 보정(INT8 및 FP16)을 사용하여 정확도를 크게 떨어뜨리지 않으면서 추론 속도를 높입니다.
• 메모리 효율성: TensorRT 은 tensor 메모리를 동적으로 관리하여 오버헤드를 줄이고 GPU 메모리 사용률을 개선합니다.
• 레이어 퓨전: 여러 레이어를 단일 작업으로 결합하여 계산 복잡성을 줄입니다.
• 커널 자동 튜닝: 각 모델 레이어에 최적화된 GPU 커널을 자동으로 선택하여 최대 성능을 보장합니다.

자세한 내용은 TensorRT 에서 자세한 기능을 살펴보고 TensorRT 개요 섹션을 참조하세요.

Can I use INT8 quantization with TensorRT for YOLO11 models?

Yes, you can export YOLO11 models using TensorRT with INT8 quantization. This process involves post-training quantization (PTQ) and calibration:

1. INT8로 내보내기:

   from ultralytics import YOLO
   
   model = YOLO("yolov8n.pt")
   model.export(format="engine", batch=8, workspace=4, int8=True, data="coco.yaml")
   

2. 추론을 실행합니다:

   from ultralytics import YOLO
   
   model = YOLO("yolov8n.engine", task="detect")
   result = model.predict("https://ultralytics.com/images/bus.jpg")
   

자세한 내용은 INT8 정량화를 사용하여 TensorRT 내보내기 섹션을 참조하세요.

How do I deploy YOLO11 TensorRT models on an NVIDIA Triton Inference Server?

Deploying YOLO11 TensorRT models on an NVIDIA Triton Inference Server can be done using the following resources:

• Triton 서버와 함께 Ultralytics YOLOv8 배포: Triton 추론 서버 설정 및 사용에 대한 단계별 안내.
• NVIDIA Triton 추론 서버 문서: 자세한 배포 옵션 및 구성에 대한 공식 NVIDIA 문서를 참조하세요.

이 가이드는 다양한 배포 환경에서 YOLOv8 모델을 효율적으로 통합하는 데 도움이 됩니다.

TensorRT 으로 내보낸 YOLOv8 모델에서는 어떤 성능 개선이 관찰되나요?

TensorRT 의 성능 향상은 사용하는 하드웨어에 따라 달라질 수 있습니다. 다음은 몇 가지 일반적인 벤치마크입니다:

• NVIDIA A100:

  • FP32 추론: ~0.52ms/이미지
  • FP16 추론: ~0.34ms/이미지
  • INT8 추론: ~0.28ms/이미지
  • INT8 정밀도로 맵은 약간 감소했지만 속도는 크게 향상되었습니다.

• 소비자용 GPU(예: RTX 3080):

  • FP32 추론: ~1.06ms/이미지
  • FP16 추론: ~0.62ms/이미지
  • INT8 추론: ~0.52ms/이미지

다양한 하드웨어 구성에 대한 자세한 성능 벤치마크는 성능 섹션에서 확인할 수 있습니다.

TensorRT 성능에 대한 보다 포괄적인 인사이트는 Ultralytics 문서와 성능 분석 보고서를 참조하세요.

11개월 전 생성됨 ✏️ 10 일 전 업데이트 됨

댓글