Salta para o conteĂșdo

Triton Servidor de InferĂȘncia com Ultralytics YOLOv8

O Triton Inference Server (anteriormente conhecido como TensorRT Inference Server) Ă© uma solução de software de cĂłdigo aberto desenvolvida pela NVIDIA. Fornece uma solução de inferĂȘncia em nuvem optimizada para GPUs NVIDIA. Triton simplifica a implementação de modelos de IA em escala na produção. A integração do Ultralytics YOLOv8 com o Triton Inference Server permite-te implementar cargas de trabalho de inferĂȘncia de aprendizagem profunda escalĂĄveis e de elevado desempenho. Este guia fornece etapas para configurar e testar a integração.



Observa: Introdução ao Servidor de InferĂȘncia NVIDIA Triton .

O que Ă© o Triton Inference Server?

Triton O Servidor de InferĂȘncia foi concebido para implementar uma variedade de modelos de IA na produção. Suporta uma vasta gama de estruturas de aprendizagem profunda e de aprendizagem automĂĄtica, incluindo TensorFlow, PyTorch, ONNX Runtime, e muitas outras. Os seus principais casos de utilização sĂŁo:

  • Serve vĂĄrios modelos a partir de uma Ășnica instĂąncia de servidor.
  • Carrega e descarrega modelos dinĂąmicos sem reiniciar o servidor.
  • InferĂȘncia de conjunto, permitindo a utilização de vĂĄrios modelos em conjunto para obter resultados.
  • Modelo de versĂ”es para testes A/B e actualizaçÔes contĂ­nuas.

Pré-requisitos

Certifica-te de que tens os seguintes pré-requisitos antes de prosseguires:

  • Docker instalado na tua mĂĄquina.
  • Instala tritonclient:
    pip install tritonclient[all]
    

Exportar YOLOv8 para o formato ONNX

Antes de implementares o modelo em Triton, tens de o exportar para o formato ONNX . ONNX (Open Neural Network Exchange) Ă© um formato que permite a transferĂȘncia de modelos entre diferentes estruturas de aprendizagem profunda. Utiliza o formato export da função YOLO classe:

from ultralytics import YOLO

# Load a model
model = YOLO('yolov8n.pt')  # load an official model

# Export the model
onnx_file = model.export(format='onnx', dynamic=True)

Configura o repositĂłrio de modelos Triton

O Triton Model Repository Ă© um local de armazenamento onde o Triton pode aceder e carregar modelos.

  1. Cria a estrutura de directĂłrios necessĂĄria:

    from pathlib import Path
    
    # Define paths
    triton_repo_path = Path('tmp') / 'triton_repo'
    triton_model_path = triton_repo_path / 'yolo'
    
    # Create directories
    (triton_model_path / '1').mkdir(parents=True, exist_ok=True)
    
  2. Move o modelo ONNX exportado para o repositĂłrio Triton :

    from pathlib import Path
    
    # Move ONNX model to Triton Model path
    Path(onnx_file).rename(triton_model_path / '1' / 'model.onnx')
    
    # Create config file
    (triton_model_path / 'config.pbtxt').touch()
    

Executa Triton Servidor de InferĂȘncia

Executa o servidor de inferĂȘncia Triton utilizando o Docker:

import subprocess
import time

from tritonclient.http import InferenceServerClient

# Define image https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver
tag = 'nvcr.io/nvidia/tritonserver:23.09-py3'  # 6.4 GB

# Pull the image
subprocess.call(f'docker pull {tag}', shell=True)

# Run the Triton server and capture the container ID
container_id = subprocess.check_output(
    f'docker run -d --rm -v {triton_repo_path}:/models -p 8000:8000 {tag} tritonserver --model-repository=/models',
    shell=True).decode('utf-8').strip()

# Wait for the Triton server to start
triton_client = InferenceServerClient(url='localhost:8000', verbose=False, ssl=False)

# Wait until model is ready
for _ in range(10):
    with contextlib.suppress(Exception):
        assert triton_client.is_model_ready(model_name)
        break
    time.sleep(1)

Em seguida, executa a inferĂȘncia utilizando o modelo do servidor Triton :

from ultralytics import YOLO

# Load the Triton Server model
model = YOLO(f'http://localhost:8000/yolo', task='detect')

# Run inference on the server
results = model('path/to/image.jpg')

Limpa o contentor:

# Kill and remove the container at the end of the test
subprocess.call(f'docker kill {container_id}', shell=True)

Seguindo os passos acima, podes implementar e executar Ultralytics YOLOv8 modelos de forma eficiente no Triton Inference Server, fornecendo uma solução escalĂĄvel e de elevado desempenho para tarefas de inferĂȘncia de aprendizagem profunda. Se tiveres problemas ou outras dĂșvidas, consulta a documentação oficial Triton ou entra em contacto com a comunidade Ultralytics para obteres apoio.



Criado em 2023-11-12, Atualizado em 2024-02-03
Autores: glenn-jocher (5)

ComentĂĄrios