TensorRT YOLOv8 모델용 내보내기

고성능 환경에서 컴퓨터 비전 모델을 배포하려면 속도와 효율성을 극대화하는 형식이 필요할 수 있습니다. 이는 특히 NVIDIA GPU에 모델을 배포할 때 더욱 그렇습니다.

TensorRT 내보내기 형식을 사용하면 모델을 향상시킬 수 있습니다. Ultralytics YOLOv8 모델을 향상시켜 NVIDIA 하드웨어에서 빠르고 효율적으로 추론할 수 있습니다. 이 가이드는 변환 프로세스에 대해 쉽게 따라할 수 있는 단계를 제공하며 딥 러닝 프로젝트에서 NVIDIA의 고급 기술을 최대한 활용할 수 있도록 도와줍니다.

TensorRT

TensorRT는 NVIDIA에서 개발한 고속 딥 러닝 추론을 위해 설계된 고급 소프트웨어 개발 키트(SDK)입니다. 물체 감지와 같은 실시간 애플리케이션에 적합합니다.

TensorRT 모델은 레이어 퓨전, 정밀 보정(INT8 및 FP16), 동적 tensor 메모리 관리 및 커널 자동 튜닝과 같은 기술을 포함하는 TensorRT 최적화를 거칩니다. 딥 러닝 모델을 TensorRT 형식으로 변환하면 개발자는 NVIDIA GPU의 잠재력을 완전히 실현할 수 있습니다.

TensorRT 는 TensorFlow, PyTorch, ONNX 등 다양한 모델 형식과의 호환성으로 잘 알려져 있으며, 개발자에게 다양한 프레임워크의 모델을 통합하고 최적화할 수 있는 유연한 솔루션을 제공합니다. 이러한 다용도성 덕분에 다양한 하드웨어 및 소프트웨어 환경에서 효율적으로 모델을 배포할 수 있습니다.

TensorRT 모델의 주요 기능

TensorRT 모델은 고속 딥 러닝 추론의 효율성과 효과에 기여하는 다양한 주요 기능을 제공합니다:

• 정밀 보정: TensorRT 에서는 정밀 보정을 지원하여 특정 정확도 요건에 맞게 모델을 미세 조정할 수 있습니다. 여기에는 허용 가능한 정확도 수준을 유지하면서 추론 속도를 더욱 높일 수 있는 INT8 및 FP16과 같은 감소된 정밀도 형식에 대한 지원이 포함됩니다.

• 레이어 퓨전: TensorRT 최적화 프로세스에는 신경망의 여러 계층을 단일 연산으로 결합하는 계층 융합이 포함됩니다. 이렇게 하면 메모리 액세스 및 계산을 최소화하여 계산 오버헤드를 줄이고 추론 속도를 향상시킬 수 있습니다.

• 동적 Tensor 메모리 관리: TensorRT 추론 중 tensor 메모리 사용량을 효율적으로 관리하여 메모리 오버헤드를 줄이고 메모리 할당을 최적화합니다. 그 결과 GPU 메모리 사용률이 더욱 효율적입니다.

• 자동 커널 튜닝: TensorRT 자동 커널 튜닝을 적용하여 모델의 각 레이어에 가장 최적화된 GPU 커널을 선택합니다. 이 적응형 접근 방식은 모델이 GPU의 연산 능력을 최대한 활용할 수 있도록 합니다.

배포 옵션 TensorRT

YOLOv8 모델을 TensorRT 형식으로 내보내는 코드를 살펴보기 전에 TensorRT 모델이 일반적으로 사용되는 위치를 이해해 보겠습니다.

TensorRT 는 여러 가지 배포 옵션을 제공하며, 각 옵션은 통합 용이성, 성능 최적화, 유연성 간의 균형을 다르게 유지합니다:

• TensorFlow 내에 배포: 이 방법은 TensorRT 을 TensorFlow 에 통합하여 익숙한 TensorFlow 환경에서 최적화된 모델을 실행할 수 있도록 합니다. 지원되는 레이어와 지원되지 않는 레이어가 혼합된 모델에 유용하며, TF-TRT는 이를 효율적으로 처리할 수 있습니다.

• 독립형 TensorRT 런타임 API: 세분화된 제어 기능을 제공하여 성능이 중요한 애플리케이션에 이상적입니다. 더 복잡하지만 지원되지 않는 연산자를 사용자 지정으로 구현할 수 있습니다.

• NVIDIA Triton 추론 서버: 다양한 프레임워크의 모델을 지원하는 옵션입니다. 특히 클라우드 또는 엣지 추론에 적합하며, 동시 모델 실행 및 모델 분석과 같은 기능을 제공합니다.

YOLOv8 모델로 내보내기 TensorRT

YOLOv8 모델을 TensorRT 형식으로 변환하여 실행 효율성을 개선하고 성능을 최적화할 수 있습니다.

설치

필요한 패키지를 설치하려면 실행합니다:

# Install the required package for YOLOv8
pip install ultralytics

설치 과정과 관련된 자세한 지침과 모범 사례는 YOLOv8 설치 가이드를 참조하세요. YOLOv8 에 필요한 패키지를 설치하는 동안 문제가 발생하면 일반적인 문제 가이드를 참조하여 해결 방법과 팁을 확인하세요.

사용법

사용 지침을 살펴보기 전에 Ultralytics 에서 제공하는 다양한 YOLOv8 모델을 확인하세요. 프로젝트 요구 사항에 가장 적합한 모델을 선택하는 데 도움이 될 것입니다.

from ultralytics import YOLO

# Load the YOLOv8 model
model = YOLO('yolov8n.pt')

# Export the model to TensorRT format
model.export(format='engine')  # creates 'yolov8n.engine'

# Load the exported TensorRT model
tensorrt_model = YOLO('yolov8n.engine')

# Run inference
results = tensorrt_model('https://ultralytics.com/images/bus.jpg')

# Export a YOLOv8n PyTorch model to TensorRT format
yolo export model=yolov8n.pt format=engine  # creates 'yolov8n.engine''

# Run inference with the exported model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

내보내기 프로세스에 대한 자세한 내용은 내보내기 관련 문서 페이지(Ultralytics )를 참조하세요.

INT8 정량화를 사용하여 TensorRT 내보내기

INT8 정밀도로 TensorRT 를 사용하여 Ultralytics YOLO 모델을 내보내면 훈련 후 정량화(PTQ)가 실행됩니다. TensorRT 는 PTQ에 대한 보정을 사용하여 YOLO 모델이 대표 입력 데이터에 대한 추론을 처리할 때 각 활성화 tensor 내의 활성화 분포를 측정한 다음 이 분포를 사용하여 각 tensor 에 대한 척도 값을 추정합니다. 정량화 후보인 각 활성화 tensor 에는 보정 프로세스를 통해 추론되는 관련 척도가 있습니다.

암시적으로 양자화된 네트워크를 처리할 때 TensorRT 은 계층 실행 시간을 최적화하기 위해 기회주의적으로 INT8을 사용합니다. 레이어가 INT8에서 더 빠르게 실행되고 데이터 입력 및 출력에 양자화 스케일이 할당된 경우, 해당 레이어에 INT8 정밀도를 가진 커널이 할당되고, 그렇지 않은 경우 TensorRT 는 해당 레이어의 실행 시간이 더 빠른 것을 기준으로 커널에 대해 FP32 또는 FP16의 정밀도를 선택하게 됩니다.

INT8 내보내기 구성

사용 시 제공되는 인수 내보내기 Ultralytics YOLO 모델의 경우 크게 는 내보낸 모델의 성능에 영향을 줍니다. 또한 사용 가능한 장치 리소스에 따라 선택해야 하지만 기본 인수는 다음과 같습니다. should 대부분의 작업 Ampere(또는 최신) NVIDIA 외장형 GPU. 사용되는 보정 알고리즘은 "ENTROPY_CALIBRATION_2" 에서 사용 가능한 옵션에 대한 자세한 내용을 확인할 수 있습니다. TensorRT 개발자 가이드에서. Ultralytics 테스트 결과 "ENTROPY_CALIBRATION_2" 가 최선의 선택이었으며 내보내기는 이 알고리즘을 사용하도록 고정되어 있습니다.

• workspace : 모델 가중치를 변환하는 동안 디바이스 메모리 할당의 크기(GiB 단위)를 제어합니다.

  • 를 사용하는 것을 목표로 합니다. 최소 workspace 값이 필요하므로 더 많은 값이 필요한 알고리즘을 테스트하는 것을 방지합니다. workspace 를 TensorRT 빌더에서 고려하지 않도록 합니다. 값을 더 높게 설정하면 workspace 취할 수 있습니다 상당히 오래 를 클릭하여 보정하고 내보낼 수 있습니다.

  • 기본값은 workspace=4 (기가바이트)를 초과하는 경우 보정이 충돌(경고 없이 종료)하는 경우 이 값을 늘려야 할 수 있습니다.

  • TensorRT 보고합니다 UNSUPPORTED_STATE 의 값을 내보내는 동안 workspace 의 값이 장치에서 사용할 수 있는 메모리보다 크면 workspace 를 낮춰야 합니다.

  • 만약 workspace 가 최대 값으로 설정되어 있고 보정에 실패/충돌하는 경우 다음 값을 줄이는 것을 고려하십시오. imgsz 그리고 batch 를 사용하여 메모리 요구 사항을 줄일 수 있습니다.

  • INT8에 대한 보정은 각 디바이스마다 다르며, 보정을 위해 '하이엔드' GPU를 빌리면 다른 디바이스에서 추론을 실행할 때 성능이 저하될 수 있다는 점을 기억하세요.

• batch : 추론에 사용할 최대 배치 크기입니다. 추론 중에는 더 작은 배치를 사용할 수 있지만 추론은 지정된 것보다 큰 배치는 허용하지 않습니다.

  참고

  보정하는 동안 두 배의 batch 크기가 사용됩니다. 작은 배치를 사용하면 보정 중에 스케일링이 부정확해질 수 있습니다. 이는 프로세스가 보이는 데이터를 기반으로 조정하기 때문입니다. 작은 배치는 전체 범위의 값을 캡처하지 못하여 최종 보정에 문제가 발생할 수 있습니다. batch 크기가 자동으로 두 배가 됩니다. 배치 크기를 지정하지 않은 경우 batch=1에서 보정이 실행됩니다. batch=1 * 2 를 사용하여 보정 스케일링 오류를 줄일 수 있습니다.

NVIDIA의 실험 결과, 모델의 데이터를 대표하는 500개 이상의 캘리브레이션 이미지와 INT8 정량화 캘리브레이션을 사용할 것을 권장했습니다. 이는 가이드라인일 뿐 hard 요구 사항 및 데이터 세트의 성능을 잘 발휘하는 데 필요한 것이 무엇인지 실험해 보아야 합니다. INT8 캘리브레이션에는 TensorRT 을 사용한 캘리브레이션 데이터가 필요하므로 반드시 data 인수를 사용할 때 int8=True TensorRT 를 클릭하고 data="my_dataset.yaml"의 이미지를 사용합니다. 유효성 검사 를 사용하여 보정합니다. 값이 전달되지 않은 경우 data 로 내보내는 경우 INT8 정량화를 사용하여 TensorRT 로 내보내면 기본값은 다음 중 하나를 사용하는 것입니다. 모델 작업에 기반한 "작은" 예제 데이터 세트 를 반환합니다.

from ultralytics import YOLO

model = YOLO("yolov8n.pt")
model.export(
    format="engine",
    dynamic=True, #(1)!
    batch=8, #(2)!
    workspace=4, #(3)!
    int8=True,
    data="coco.yaml", #(4)!
)

model = YOLO("yolov8n.engine", task="detect") # load the model

TensorRT INT8과 함께 YOLO 사용의 장점

• 모델 크기 감소: FP32에서 INT8로 양자화하면 모델 크기가 4배(디스크 또는 메모리)로 줄어들어 다운로드 시간이 단축되고, 스토리지 요구 사항이 낮아지며, 모델 배포 시 메모리 공간을 줄일 수 있습니다.

• 전력 소비 감소: INT8 수출용 YOLO 모델의 정밀 연산 감소는 특히 배터리로 구동되는 장치의 경우 FP32 모델에 비해 전력 소비가 적습니다.

• 추론 속도 향상: TensorRT 은 대상 하드웨어에 맞게 모델을 최적화하여 잠재적으로 GPU, 임베디드 장치 및 가속기에서 더 빠른 추론 속도를 이끌어냅니다.

TensorRT INT8과 YOLO 사용의 단점

• 평가 지표가 감소합니다: 더 낮은 정밀도를 사용하면 mAP, Precision, Recall 또는 모델 성능을 평가하는 데 사용되는 기타 메트릭 는 다소 악화될 가능성이 높습니다. 자세한 내용은 성능 결과 섹션 의 차이점을 비교하려면 mAP50 그리고 mAP50-95 다양한 기기의 작은 샘플에서 INT8로 내보낼 때 사용합니다.

• 개발 시간 증가: 데이터 세트와 디바이스에 대한 INT8 캘리브레이션의 '최적' 설정을 찾으려면 상당한 양의 테스트가 필요할 수 있습니다.

• 하드웨어 종속성: 보정 및 성능 향상은 하드웨어에 따라 크게 달라질 수 있으며 모델 가중치는 이전할 수 없습니다.

Ultralytics YOLO TensorRT 수출 실적

NVIDIA A100

소비자용 GPU

임베디드 디바이스

평가 방법

아래 섹션을 확장하여 이러한 모델을 내보내고 테스트한 방법에 대한 정보를 확인하세요.

from ultralytics import YOLO

model = YOLO("yolov8n.pt")

# TensorRT FP32
out = model.export(
    format="engine",
    imgsz:640,
    dynamic:True,
    verbose:False,
    batch:8,
    workspace:2
)

# TensorRT FP16
out = model.export(
    format="engine",
    imgsz:640,
    dynamic:True,
    verbose:False,
    batch:8,
    workspace:2,
    half=True
)

# TensorRT INT8
out = model.export(
    format="engine",
    imgsz:640,
    dynamic:True,
    verbose:False,
    batch:8,
    workspace:2,
    int8=True,
    data:"data.yaml"  # COCO, ImageNet, or DOTAv1 for appropriate model task
)

import cv2
from ultralytics import YOLO

model = YOLO("yolov8n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 of the same image
        verbose=False,
        device="cuda"
    )

from ultralytics import YOLO

model = YOLO("yolov8n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet, or DOTAv1 for appropriate model task
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda"
)

내보낸 YOLOv8 TensorRT 모델 배포

Ultralytics YOLOv8 모델을 TensorRT 형식으로 성공적으로 내보냈으면 이제 배포할 준비가 되었습니다. 다양한 설정에서 TensorRT 모델을 배포하는 방법에 대한 자세한 지침은 다음 리소스를 참조하세요:

• Triton 서버와 함께 Ultralytics 배포: Ultralytics YOLO 모델과 함께 사용하기 위한 NVIDIA의 Triton 추론(이전 TensorRT 추론) 서버 사용 방법에 대한 가이드입니다.

• NVIDIA로 딥 뉴럴 네트워크 배포하기 TensorRT: 이 문서에서는 NVIDIA TensorRT 를 사용하여 GPU 기반 배포 플랫폼에 딥 뉴럴 네트워크를 효율적으로 배포하는 방법을 설명합니다.

• NVIDIA 기반 PC를 위한 엔드투엔드 AI: NVIDIA TensorRT 배포: 이 블로그 게시물은 NVIDIA 기반 PC에서 AI 모델을 최적화하고 배포하기 위한 NVIDIA TensorRT 의 사용에 대해 설명합니다.

• NVIDIA용 깃허브 리포지토리 TensorRT:: NVIDIA의 소스 코드와 문서가 포함된 공식 GitHub 저장소입니다 TensorRT.

요약

이 가이드에서는 Ultralytics YOLOv8 모델을 NVIDIA의 TensorRT 모델 형식으로 변환하는 데 중점을 두었습니다. 이 변환 단계는 YOLOv8 모델의 효율성과 속도를 개선하여 보다 효과적이고 다양한 배포 환경에 적합하게 만드는 데 중요합니다.

사용법에 대한 자세한 내용은 TensorRT 공식 문서를 참조하세요.

추가 통합에 대해 궁금한 점이 있다면 Ultralytics YOLOv8 통합 가이드 페이지에서 유익한 리소스와 인사이트를 확인할 수 있습니다.

댓글