Triton Inference Server с Ultralytics YOLO26#

Настройка Ultralytics YOLO26 с NVIDIA Triton Inference Server включает несколько основных шагов:

1. Экспорт YOLO26 в формат ONNX:

   from ultralytics import YOLO
   
   # Load a model
   model = YOLO("yolo26n.pt")  # load an official model
   
   # Export the model to ONNX format
   onnx_file = model.export(format="onnx", dynamic=True)

2. Настройка репозитория моделей Triton:

   from pathlib import Path
   
   # Define paths
   model_name = "yolo"
   triton_repo_path = Path("tmp") / "triton_repo"
   triton_model_path = triton_repo_path / model_name
   
   # Create directories
   (triton_model_path / "1").mkdir(parents=True, exist_ok=True)
   Path(onnx_file).rename(triton_model_path / "1" / "model.onnx")
   (triton_model_path / "config.pbtxt").touch()

3. Запуск Triton Server:

   import contextlib
   import subprocess
   import time
   
   from tritonclient.http import InferenceServerClient
   
   # Define image https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver
   tag = "nvcr.io/nvidia/tritonserver:26.02-py3"
   
   runtime = "docker"  # set to "podman" to use Podman
   subprocess.call(f"{runtime} pull {tag}", shell=True)
   
   # CDI GPU request works identically on Docker and Podman
   gpu_flags = "--device nvidia.com/gpu=all"
   
   container_name = "triton_server"
   subprocess.call(
       f"{runtime} run -d --rm --name {container_name} {gpu_flags} -v {triton_repo_path.absolute()}:/models:z -p 8000:8000 {tag} tritonserver --model-repository=/models",
       shell=True,
   )
   
   triton_client = InferenceServerClient(url="127.0.0.1:8000", verbose=False, ssl=False)
   
   for _ in range(10):
       with contextlib.suppress(Exception):
           assert triton_client.is_model_ready(model_name)
           break
       time.sleep(1)

Эта настройка поможет эффективно развертывать модели Ultralytics YOLO26 в большом масштабе на Triton Inference Server для высокопроизводительного инференса AI-моделей.

Интеграция Ultralytics YOLO26 с NVIDIA Triton Inference Server дает несколько преимуществ:

• Масштабируемый инференс AI: Triton позволяет обслуживать несколько моделей из одного экземпляра сервера, поддерживает динамическую загрузку и выгрузку моделей и благодаря этому хорошо масштабируется для различных AI-нагрузок.
• Высокая производительность: оптимизированный для NVIDIA GPU Triton Inference Server обеспечивает высокую скорость инференса и отлично подходит для приложений реального времени, таких как обнаружение объектов.
• Ансамбли и версионирование моделей: режим ансамблей Triton позволяет объединять несколько моделей для улучшения результатов, а версионирование моделей поддерживает A/B-тестирование и поэтапные обновления.
• Автоматическая пакетная обработка: Triton автоматически объединяет несколько запросов на инференс, значительно повышая пропускную способность и сокращая задержку.
• Упрощенное развертывание: постепенная оптимизация AI-рабочих процессов без необходимости полностью перестраивать систему, что упрощает эффективное масштабирование.

Подробные инструкции по настройке и запуску Ultralytics YOLO26 с Triton см. в разделах Настройка Triton Inference Server и Запуск инференса.

Использование формата ONNX (обмен открытыми нейросетевыми моделями) для модели Ultralytics YOLO26 перед ее развертыванием на NVIDIA Triton Inference Server дает несколько ключевых преимуществ:

• Совместимость: формат ONNX поддерживает перенос между различными фреймворками глубокого обучения (например, PyTorch и TensorFlow), обеспечивая более широкую совместимость.
• Оптимизация: многие среды развертывания, включая Triton, оптимизированы для ONNX, что обеспечивает более быстрый инференс и лучшую производительность.
• Простота развертывания: ONNX широко поддерживается различными фреймворками и платформами, что упрощает процесс развертывания в разных операционных системах и аппаратных конфигурациях.
• Независимость от фреймворка: после преобразования в ONNX модель больше не привязана к исходному фреймворку и становится более переносимой.
• Стандартизация: ONNX предоставляет стандартизированное представление, которое помогает устранить проблемы совместимости между различными AI-фреймворками.

Для экспорта модели используй:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
onnx_file = model.export(format="onnx", dynamic=True)

Чтобы завершить процесс, следуй инструкциям в руководстве по интеграции ONNX.

Да, ты можешь запускать инференс модели Ultralytics YOLO26 на NVIDIA Triton Inference Server. После настройки модели в репозитории моделей Triton и запуска сервера ты можешь загрузить модель и выполнить ее инференс следующим образом:

from ultralytics import YOLO

# Load the Triton Server model
model = YOLO("http://127.0.0.1:8000/yolo", task="detect")

# Run inference on the server
results = model("path/to/image.jpg")

Такой подход позволяет использовать оптимизации Triton, сохраняя привычный интерфейс Ultralytics YOLO.

Ultralytics YOLO26 предоставляет несколько уникальных преимуществ по сравнению с моделями TensorFlow и PyTorch при развертывании:

• Производительность в реальном времени: оптимизированная для задач обнаружения объектов в реальном времени, Ultralytics YOLO26 обеспечивает лучшую в своем классе точность и скорость, что делает ее идеальной для приложений, требующих анализа видеопотока в реальном времени.
• Простота использования: Ultralytics YOLO26 бесшовно интегрируется с Triton Inference Server и поддерживает различные форматы экспорта (ONNX, TensorRT), обеспечивая гибкость в разных сценариях развертывания.
• Расширенные возможности: развертывание через Triton добавляет динамическую загрузку моделей, версионирование моделей и ансамблевый вывод, которые критически важны для масштабируемых и надежных развертываний ИИ.
• Упрощенный API: API Ultralytics предоставляет единообразный интерфейс для различных целевых сред развертывания, сокращая время обучения и разработки.
• Оптимизация для периферийных устройств: модели Ultralytics YOLO26 разработаны с учетом развертывания на периферии и обеспечивают отличную производительность даже на устройствах с ограниченными ресурсами.

Подробнее о вариантах развертывания см. в руководстве по экспорту моделей.