Triton 추론 서버 Ultralytics YOLOv8

Triton 추론 서버 (이전 명칭: TensorRT 추론 서버)는 NVIDIA에서 개발한 오픈 소스 소프트웨어 솔루션입니다. Triton 은 프로덕션 환경에서 대규모로 AI 모델을 배포하는 작업을 간소화합니다. Ultralytics YOLOv8 과 Triton 추론 서버를 통합하면 확장 가능한 고성능 딥 러닝 추론 워크로드를 배포할 수 있습니다. 이 가이드는 통합을 설정하고 테스트하는 단계를 제공합니다.

Watch: NVIDIA 시작하기 Triton 추론 서버.

Triton 추론 서버란 무엇인가요?

Triton 추론 서버는 프로덕션 환경에서 다양한 AI 모델을 배포하도록 설계되었습니다. TensorFlow , PyTorch, ONNX 런타임 등을 포함한 다양한 딥 러닝 및 머신 러닝 프레임워크를 지원합니다. 주요 사용 사례는 다음과 같습니다:

• 단일 서버 인스턴스에서 여러 모델을 서비스합니다.
• 서버 재시작 없이 동적 모델 로딩 및 언로딩.
• 앙상블 추론을 통해 여러 모델을 함께 사용하여 결과를 얻을 수 있습니다.
• A/B 테스트 및 롤링 업데이트를 위한 모델 버전 관리.

전제 조건

계속 진행하기 전에 다음 사전 요구 사항이 충족되는지 확인하세요:

• 머신에 Docker가 설치되어 있습니다.
• 설치 tritonclient:

  pip install tritonclient[all]
  

YOLOv8 에서 ONNX 형식으로 내보내기

모델을 Triton 에 배포하기 전에 ONNX 형식으로 내보내야 합니다. ONNX 형식은 서로 다른 딥 러닝 프레임워크 간에 모델을 전송할 수 있는 형식(Open Neural Network Exchange)입니다. 모델을 배포하기 전에 export 함수에서 YOLO 클래스:

from ultralytics import YOLO

# Load a model
model = YOLO('yolov8n.pt')  # load an official model

# Export the model
onnx_file = model.export(format='onnx', dynamic=True)

Triton 모델 리포지토리 설정

Triton 모델 저장소는 Triton 에서 모델에 액세스하고 로드할 수 있는 저장 위치입니다.

1. 필요한 디렉토리 구조를 만듭니다:

   from pathlib import Path
   
   # Define paths
   triton_repo_path = Path('tmp') / 'triton_repo'
   triton_model_path = triton_repo_path / 'yolo'
   
   # Create directories
   (triton_model_path / '1').mkdir(parents=True, exist_ok=True)
   

2. 내보낸 ONNX 모델을 Triton 리포지토리로 이동합니다:

   from pathlib import Path
   
   # Move ONNX model to Triton Model path
   Path(onnx_file).rename(triton_model_path / '1' / 'model.onnx')
   
   # Create config file
   (triton_model_path / 'config.pbtxt').touch()
   

Triton 추론 서버 실행

Docker를 사용하여 Triton 추론 서버를 실행합니다:

import subprocess
import time

from tritonclient.http import InferenceServerClient

# Define image https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver
tag = 'nvcr.io/nvidia/tritonserver:23.09-py3'  # 6.4 GB

# Pull the image
subprocess.call(f'docker pull {tag}', shell=True)

# Run the Triton server and capture the container ID
container_id = subprocess.check_output(
    f'docker run -d --rm -v {triton_repo_path}:/models -p 8000:8000 {tag} tritonserver --model-repository=/models',
    shell=True).decode('utf-8').strip()

# Wait for the Triton server to start
triton_client = InferenceServerClient(url='localhost:8000', verbose=False, ssl=False)

# Wait until model is ready
for _ in range(10):
    with contextlib.suppress(Exception):
        assert triton_client.is_model_ready(model_name)
        break
    time.sleep(1)

그런 다음 Triton 서버 모델을 사용하여 추론을 실행합니다:

from ultralytics import YOLO

# Load the Triton Server model
model = YOLO(f'http://localhost:8000/yolo', task='detect')

# Run inference on the server
results = model('path/to/image.jpg')

컨테이너를 정리합니다:

# Kill and remove the container at the end of the test
subprocess.call(f'docker kill {container_id}', shell=True)

위의 단계에 따라 Triton 추론 서버에서 Ultralytics YOLOv8 모델을 효율적으로 배포하고 실행하여 딥 러닝 추론 작업을 위한 확장 가능한 고성능 솔루션을 제공할 수 있습니다. 문제가 발생하거나 추가 질문이 있는 경우 공식 Triton 설명서를 참조하거나 Ultralytics 커뮤니티에 문의하여 지원을 받으세요.

댓글