Triton Inference Server с Ultralytics YOLO26#

Настройка Ultralytics YOLO26 с NVIDIA Triton Inference Server состоит из нескольких основных шагов:

1. Экспортируй YOLO26 в формат ONNX:

   from ultralytics import YOLO
   
   # Загрузить модель
   model = YOLO("yolo26n.pt")  # загрузить официальную модель
   
   # Экспортировать модель в формат ONNX
   onnx_file = model.export(format="onnx", dynamic=True)

2. Настрой репозиторий моделей Triton:

   from pathlib import Path
   
   # Определи пути
   model_name = "yolo"
   triton_repo_path = Path("tmp") / "triton_repo"
   triton_model_path = triton_repo_path / model_name
   
   # Создай каталоги
   (triton_model_path / "1").mkdir(parents=True, exist_ok=True)
   Path(onnx_file).rename(triton_model_path / "1" / "model.onnx")
   (triton_model_path / "config.pbtxt").touch()

3. Запусти Triton Server:

   import contextlib
   import subprocess
   import time
   
   from tritonclient.http import InferenceServerClient
   
   # Define image https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver
   tag = "nvcr.io/nvidia/tritonserver:26.02-py3"
   
   runtime = "docker"  # set to "podman" to use Podman
   subprocess.call(f"{runtime} pull {tag}", shell=True)
   
   # CDI GPU request works identically on Docker and Podman
   gpu_flags = "--device nvidia.com/gpu=all"
   
   container_name = "triton_server"
   subprocess.call(
       f"{runtime} run -d --rm --name {container_name} {gpu_flags} -v {triton_repo_path.absolute()}:/models:z -p 8000:8000 {tag} tritonserver --model-repository=/models",
       shell=True,
   )
   
   triton_client = InferenceServerClient(url="127.0.0.1:8000", verbose=False, ssl=False)
   
   for _ in range(10):
       with contextlib.suppress(Exception):
           assert triton_client.is_model_ready(model_name)
           break
       time.sleep(1)

Эта настройка поможет эффективно развертывать модели Ultralytics YOLO26 на Triton Inference Server в большом масштабе для высокопроизводительного инференса моделей ИИ.

Интеграция Ultralytics YOLO26 с NVIDIA Triton Inference Server даёт ряд преимуществ:

• Масштабируемый инференс ИИ: Triton позволяет обслуживать несколько моделей в одном экземпляре сервера и динамически загружать и выгружать модели, обеспечивая высокую масштабируемость для различных задач ИИ.
• Высокая производительность: Triton Inference Server оптимизирован для GPU NVIDIA и обеспечивает высокую скорость инференса, что особенно важно для приложений реального времени, таких как детекция объектов.
• Ансамбли и версионирование моделей: ансамблевый режим Triton позволяет объединять несколько моделей для улучшения результатов, а версионирование моделей поддерживает A/B-тестирование и поэтапные обновления.
• Автоматическое пакетирование: Triton автоматически объединяет несколько запросов на инференс, значительно повышая пропускную способность и снижая задержку.
• Упрощённое развертывание: постепенная оптимизация рабочих процессов ИИ без необходимости полностью перестраивать систему упрощает эффективное масштабирование.

Подробные инструкции по настройке и запуску Ultralytics YOLO26 с Triton см. в разделах Настройка Triton Inference Server и Запуск инференса.

Использование формата ONNX (Open Neural Network Exchange) для модели Ultralytics YOLO26 перед развертыванием на NVIDIA Triton Inference Server даёт несколько важных преимуществ:

• Совместимость: формат ONNX поддерживает перенос между разными фреймворками глубокого обучения (например, PyTorch и TensorFlow), обеспечивая более широкую совместимость.
• Оптимизация: многие среды развертывания, включая Triton, оптимизированы для ONNX, что позволяет ускорить инференс и повысить производительность.
• Простота развертывания: ONNX широко поддерживается различными фреймворками и платформами, упрощая развертывание в разных операционных системах и конфигурациях оборудования.
• Независимость от фреймворка: после преобразования в ONNX модель больше не привязана к исходному фреймворку и становится более переносимой.
• Стандартизация: ONNX обеспечивает стандартизованное представление, которое помогает устранить проблемы совместимости между разными фреймворками ИИ.

Чтобы экспортировать модель, используй:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
onnx_file = model.export(format="onnx", dynamic=True)

Чтобы завершить процесс, следуй инструкциям в руководстве по интеграции ONNX.

Да, ты можешь запускать инференс модели Ultralytics YOLO26 на NVIDIA Triton Inference Server. После настройки модели в репозитории моделей Triton и запуска сервера загрузи модель и запусти инференс следующим образом:

from ultralytics import YOLO

# Загрузи модель Triton Server
model = YOLO("http://127.0.0.1:8000/yolo", task="detect")

# Запусти инференс на сервере
results = model("path/to/image.jpg")

Такой подход позволяет использовать оптимизации Triton и при этом работать со знакомым интерфейсом Ultralytics YOLO.

Ultralytics YOLO26 обладает рядом уникальных преимуществ по сравнению с моделями TensorFlow и PyTorch при развертывании:

• Производительность в реальном времени: Ultralytics YOLO26 оптимизирована для задач обнаружения объектов в реальном времени и обеспечивает передовые показатели точности и скорости, что делает её идеальным решением для приложений, которым нужна аналитика видео в реальном времени.
• Простота использования: Ultralytics YOLO26 легко интегрируется с Triton Inference Server и поддерживает различные форматы экспорта (ONNX, TensorRT), поэтому подходит для самых разных сценариев развертывания.
• Расширенные возможности: обслуживание через Triton обеспечивает динамическую загрузку моделей, управление версиями моделей и ансамблевый инференс — важные функции для масштабируемого и надежного развертывания ИИ.
• Упрощенный API: API Ultralytics предоставляет единый интерфейс для разных целевых платформ развертывания, сокращая время на освоение и разработку.
• Оптимизация для периферийных устройств: модели Ultralytics YOLO26 разрабатываются с учетом развертывания на периферийных устройствах и показывают отличную производительность даже на устройствах с ограниченными ресурсами.

Подробнее о вариантах развертывания читай в руководстве по экспорту моделей.