Triton Сервер выводов с Ultralytics YOLO11
СерверTriton Inference Server (ранее известный как TensorRT Inference Server) - это программное решение с открытым исходным кодом, разработанное компанией NVIDIA. Он представляет собой облачное решение для вычислений, оптимизированное для NVIDIA GPU. Triton упрощает развертывание моделей ИИ в масштабе производства. Интеграция Ultralytics YOLO11 с Triton Inference Server позволяет развернуть масштабируемые, высокопроизводительные рабочие нагрузки по анализу глубокого обучения. В этом руководстве описаны шаги по настройке и тестированию интеграции.
Смотреть: Начало работы с NVIDIA Triton Inference Server.
Что такое Triton Inference Server?
Triton Inference Server предназначен для развертывания различных моделей искусственного интеллекта в производстве. Он поддерживает широкий спектр фреймворков глубокого обучения и машинного обучения, включая TensorFlow, PyTorch, ONNX Runtime и многие другие. Его основными областями применения являются:
- Обслуживание нескольких моделей с одного экземпляра сервера.
- Динамическая загрузка и выгрузка моделей без перезапуска сервера.
- Ансамблевый вывод, позволяющий использовать несколько моделей для получения результатов.
- Версионирование модели для A/B-тестирования и скользящих обновлений.
Пререквизиты
Прежде чем приступить к работе, убедитесь, что у вас есть следующие необходимые условия:
- На вашей машине установлен Docker.
- Установите
tritonclient
:
Экспорт YOLO11 в формат ONNX
Перед развертыванием модели на Triton ее необходимо экспортировать в формат ONNX . ONNX (Open Neural Network Exchange) - это формат, который позволяет передавать модели между различными фреймворками глубокого обучения. Используйте export
функция из YOLO
класс:
from ultralytics import YOLO
# Load a model
model = YOLO("yolo11n.pt") # load an official model
# Retreive metadata during export
metadata = []
def export_cb(exporter):
metadata.append(exporter.metadata)
model.add_callback("on_export_end", export_cb)
# Export the model
onnx_file = model.export(format="onnx", dynamic=True)
Настройка репозитория моделей Triton
Репозиторий моделей Triton - это место хранения, где Triton может получить доступ к моделям и загрузить их.
-
Создайте необходимую структуру каталогов:
-
Переместите экспортированную модель ONNX в хранилище Triton :
from pathlib import Path # Move ONNX model to Triton Model path Path(onnx_file).rename(triton_model_path / "1" / "model.onnx") # Create config file (triton_model_path / "config.pbtxt").touch() # (Optional) Enable TensorRT for GPU inference # First run will be slow due to TensorRT engine conversion data = """ optimization { execution_accelerators { gpu_execution_accelerator { name: "tensorrt" parameters { key: "precision_mode" value: "FP16" } parameters { key: "max_workspace_size_bytes" value: "3221225472" } parameters { key: "trt_engine_cache_enable" value: "1" } parameters { key: "trt_engine_cache_path" value: "/models/yolo/1" } } } } parameters { key: "metadata" value: { string_value: "%s" } } """ % metadata[0] with open(triton_model_path / "config.pbtxt", "w") as f: f.write(data)
Запуск Triton Inference Server
Запустите сервер Triton Inference Server с помощью Docker:
import contextlib
import subprocess
import time
from tritonclient.http import InferenceServerClient
# Define image https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver
tag = "nvcr.io/nvidia/tritonserver:24.09-py3" # 8.57 GB
# Pull the image
subprocess.call(f"docker pull {tag}", shell=True)
# Run the Triton server and capture the container ID
container_id = (
subprocess.check_output(
f"docker run -d --rm --gpus 0 -v {triton_repo_path}:/models -p 8000:8000 {tag} tritonserver --model-repository=/models",
shell=True,
)
.decode("utf-8")
.strip()
)
# Wait for the Triton server to start
triton_client = InferenceServerClient(url="localhost:8000", verbose=False, ssl=False)
# Wait until model is ready
for _ in range(10):
with contextlib.suppress(Exception):
assert triton_client.is_model_ready(model_name)
break
time.sleep(1)
Затем выполните вывод с помощью модели Triton Server:
from ultralytics import YOLO
# Load the Triton Server model
model = YOLO("http://localhost:8000/yolo", task="detect")
# Run inference on the server
results = model("path/to/image.jpg")
Очистите контейнер:
# Kill and remove the container at the end of the test
subprocess.call(f"docker kill {container_id}", shell=True)
Выполнив описанные выше шаги, вы сможете эффективно развернуть и запустить Ultralytics YOLO11 модели на Triton Inference Server, обеспечив масштабируемое и высокопроизводительное решение для задач глубокого обучения. Если у вас возникнут проблемы или дополнительные вопросы, обратитесь к официальной документации Triton или обратитесь за поддержкой к сообществу Ultralytics .
ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ
Как настроить Ultralytics YOLO11 с NVIDIA Triton Inference Server?
Настройка Ultralytics YOLO11 с NVIDIA Triton Inference Server включает в себя несколько ключевых шагов:
-
Экспорт YOLO11 в формат ONNX :
-
Настройте репозиторий моделей Triton :
from pathlib import Path # Define paths model_name = "yolo" triton_repo_path = Path("tmp") / "triton_repo" triton_model_path = triton_repo_path / model_name # Create directories (triton_model_path / "1").mkdir(parents=True, exist_ok=True) Path(onnx_file).rename(triton_model_path / "1" / "model.onnx") (triton_model_path / "config.pbtxt").touch()
-
Запустите сервер Triton :
import contextlib import subprocess import time from tritonclient.http import InferenceServerClient # Define image https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver tag = "nvcr.io/nvidia/tritonserver:24.09-py3" subprocess.call(f"docker pull {tag}", shell=True) container_id = ( subprocess.check_output( f"docker run -d --rm --gpus 0 -v {triton_repo_path}/models -p 8000:8000 {tag} tritonserver --model-repository=/models", shell=True, ) .decode("utf-8") .strip() ) triton_client = InferenceServerClient(url="localhost:8000", verbose=False, ssl=False) for _ in range(10): with contextlib.suppress(Exception): assert triton_client.is_model_ready(model_name) break time.sleep(1)
Эта настройка поможет вам эффективно развернуть модели YOLO11 в масштабе на сервере Triton Inference Server для высокопроизводительного вывода моделей ИИ.
Какие преимущества дает использование Ultralytics YOLO11 с NVIDIA Triton Inference Server?
Интеграция Ultralytics YOLO11 с NVIDIA Triton Inference Server дает несколько преимуществ:
- Масштабируемый AI Inference: Triton позволяет обслуживать несколько моделей с одного экземпляра сервера, поддерживая динамическую загрузку и выгрузку моделей, что делает его высокомасштабируемым для различных рабочих нагрузок AI.
- Высокая производительность: Оптимизированный для графических процессоров NVIDIA , сервер Triton Inference Server обеспечивает высокую скорость операций вывода, что идеально подходит для приложений реального времени, таких как обнаружение объектов.
- Ансамбль и версионирование моделей: режим ансамбля Triton позволяет объединить несколько моделей для улучшения результатов, а версионирование моделей поддерживает A/B-тестирование и скользящие обновления.
Подробные инструкции по настройке и запуску YOLO11 с помощью Triton можно найти в руководстве по настройке.
Почему я должен экспортировать свою модель YOLO11 в формат ONNX перед использованием Triton Inference Server?
Использование формата ONNX (Open Neural Network Exchange) для вашей Ultralytics YOLO11 перед развертыванием модели на NVIDIA Triton Inference Server дает несколько ключевых преимуществ:
- Совместимость: формат ONNX поддерживает передачу данных между различными фреймворками глубокого обучения (такими как PyTorch, TensorFlow), обеспечивая более широкую совместимость.
- Оптимизация: Многие среды развертывания, включая Triton, оптимизированы для ONNX, что позволяет быстрее делать выводы и повышает производительность.
- Простота развертывания: ONNX широко поддерживается различными фреймворками и платформами, что упрощает процесс развертывания в различных операционных системах и аппаратных конфигурациях.
Чтобы экспортировать модель, используйте:
from ultralytics import YOLO
model = YOLO("yolo11n.pt")
onnx_file = model.export(format="onnx", dynamic=True)
Для завершения процесса можно выполнить шаги, описанные в руководстве по экспорту.
Могу ли я выполнить вывод с помощью модели Ultralytics YOLO11 на сервере Triton Inference Server?
Да, вы можете запускать вычисления с помощью Ultralytics YOLO11 модели на NVIDIA Triton Inference Server. После того как ваша модель установлена в Triton Model Repository и сервер запущен, вы можете загружать и запускать расчеты на вашей модели следующим образом:
from ultralytics import YOLO
# Load the Triton Server model
model = YOLO("http://localhost:8000/yolo", task="detect")
# Run inference on the server
results = model("path/to/image.jpg")
Подробное руководство по настройке и запуску сервера Triton с YOLO11 см. в разделе "Запуск сервера triton ".
Как Ultralytics YOLO11 сопоставляется с TensorFlow и PyTorch моделями для развертывания?
Ultralytics YOLO11 предлагает несколько уникальных преимуществ по сравнению с моделями развертывания TensorFlow и PyTorch :
- Производительность в реальном времени: Оптимизированный для задач обнаружения объектов в реальном времени, YOLO11 обеспечивает современную точность и скорость, что делает его идеальным для приложений, требующих анализа видео в реальном времени.
- Простота использования: YOLO11 легко интегрируется с Triton Inference Server и поддерживает различные форматы экспорта (ONNX, TensorRT, CoreML), что делает его гибким для различных сценариев развертывания.
- Расширенные возможности: YOLO11 включает такие функции, как динамическая загрузка моделей, версионирование моделей и ансамблевый вывод, что очень важно для масштабируемых и надежных развертываний ИИ.
Для получения более подробной информации сравните варианты развертывания в руководстве по развертыванию модели.