Triton Inference Server с Ultralytics YOLO26#

Настройка Ultralytics YOLO26 с NVIDIA Triton Inference Server включает в себя несколько ключевых шагов:

1. Экспорт YOLO26 в формат ONNX:

   from ultralytics import YOLO
   
   # Load a model
   model = YOLO("yolo26n.pt")  # load an official model
   
   # Export the model to ONNX format
   onnx_file = model.export(format="onnx", dynamic=True)

2. Настройка репозитория моделей Triton:

   from pathlib import Path
   
   # Define paths
   model_name = "yolo"
   triton_repo_path = Path("tmp") / "triton_repo"
   triton_model_path = triton_repo_path / model_name
   
   # Create directories
   (triton_model_path / "1").mkdir(parents=True, exist_ok=True)
   Path(onnx_file).rename(triton_model_path / "1" / "model.onnx")
   (triton_model_path / "config.pbtxt").touch()

3. Запуск сервера Triton:

   import contextlib
   import subprocess
   import time
   
   from tritonclient.http import InferenceServerClient
   
   # Define image https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver
   tag = "nvcr.io/nvidia/tritonserver:26.02-py3"
   
   runtime = "docker"  # set to "podman" to use Podman
   subprocess.call(f"{runtime} pull {tag}", shell=True)
   
   # CDI GPU request works identically on Docker and Podman
   gpu_flags = "--device nvidia.com/gpu=all"
   
   container_name = "triton_server"
   subprocess.call(
       f"{runtime} run -d --rm --name {container_name} {gpu_flags} -v {triton_repo_path.absolute()}:/models:z -p 8000:8000 {tag} tritonserver --model-repository=/models",
       shell=True,
   )
   
   triton_client = InferenceServerClient(url="127.0.0.1:8000", verbose=False, ssl=False)
   
   for _ in range(10):
       with contextlib.suppress(Exception):
           assert triton_client.is_model_ready(model_name)
           break
       time.sleep(1)

Эта настройка поможет тебе эффективно развертывать модели Ultralytics YOLO26 в масштабе на Triton Inference Server для высокопроизводительного инференса моделей ИИ.

Интеграция Ultralytics YOLO26 с NVIDIA Triton Inference Server предоставляет несколько преимуществ:

• Масштабируемый вывод ИИ: Triton позволяет обслуживать несколько моделей с одного экземпляра сервера, поддерживает динамическую загрузку и выгрузку моделей, что делает его легко масштабируемым для различных нагрузок ИИ.
• Высокая производительность: оптимизированный для графических процессоров NVIDIA, Triton Inference Server обеспечивает высокоскоростные операции инференса, что идеально подходит для приложений реального времени, таких как обнаружение объектов.
• Ансамблевое и версионное управление моделями: ансамблевый режим Triton позволяет объединять несколько моделей для улучшения результатов, а его версионирование поддерживает A/B-тестирование и постепенные обновления.
• Автоматическое пакетирование: Triton автоматически группирует несколько запросов на вывод вместе, значительно увеличивая пропускную способность и снижая задержку.
• Упрощенное развертывание: Постепенная оптимизация рабочих процессов ИИ без необходимости полной переработки системы, что упрощает эффективное масштабирование.

Подробные инструкции по настройке и запуск Ultralytics YOLO26 с Triton см. в разделах Настройка Triton Inference Server и Запуск инференса.

Использование формата ONNX (Open Neural Network Exchange) для модели Ultralytics YOLO26 перед ее развертыванием на NVIDIA Triton Inference Server дает несколько ключевых преимуществ:

• Совместимость: формат ONNX поддерживает передачу данных между различными фреймворками глубокого обучения (такими как PyTorch, TensorFlow), обеспечивая более широкую совместимость.
• Оптимизация: многие среды развертывания, включая Triton, оптимизированы под ONNX, что обеспечивает более быстрый вывод и лучшую производительность.
• Простота развертывания: ONNX широко поддерживается различными фреймворками и платформами, что упрощает процесс развертывания в разных операционных системах и конфигурациях оборудования.
• Независимость от фреймворка: после преобразования в ONNX твоя модель больше не привязана к исходному фреймворку, что делает ее более портативной.
• Стандартизация: ONNX предоставляет стандартизированное представление, которое помогает преодолеть проблемы совместимости между различными ИИ-фреймворками.

Для экспорта модели используй:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
onnx_file = model.export(format="onnx", dynamic=True)

Ты можешь выполнить шаги из руководства по интеграции ONNX, чтобы завершить процесс.

Да, ты можешь выполнять инференс с использованием модели Ultralytics YOLO26 на NVIDIA Triton Inference Server. Как только твоя модель будет настроена в репозитории моделей Triton и сервер запущен, ты сможешь загрузить модель и запустить инференс следующим образом:

from ultralytics import YOLO

# Load the Triton Server model
model = YOLO("http://127.0.0.1:8000/yolo", task="detect")

# Run inference on the server
results = model("path/to/image.jpg")

Этот подход позволяет тебе использовать преимущества оптимизации Triton, применяя при этом привычный интерфейс Ultralytics YOLO.

Ultralytics YOLO26 предлагает несколько уникальных преимуществ по сравнению с моделями TensorFlow и PyTorch для развертывания:

• Производительность в реальном времени: оптимизированный для задач обнаружения объектов в реальном времени, Ultralytics YOLO26 обеспечивает передовую точность и скорость, что делает его идеальным для приложений, требующих аналитики видео в реальном времени.
• Простота использования: Ultralytics YOLO26 легко интегрируется с Triton Inference Server и поддерживает различные форматы экспорта (ONNX, TensorRT), что делает его гибким для различных сценариев развертывания.
• Расширенные функции: Ultralytics YOLO26 включает в себя такие функции, как динамическая загрузка моделей, версионирование моделей и ансамблевый инференс, которые имеют решающее значение для масштабируемых и надежных развертываний ИИ.
• Упрощенный API: Ultralytics API предоставляет согласованный интерфейс для различных целей развертывания, снижая кривую обучения и время разработки.
• Оптимизация под периферийные устройства: модели Ultralytics YOLO26 создаются с расчетом на периферийное развертывание, предлагая отличную производительность даже на устройствах с ограниченными ресурсами.

Для получения более подробной информации сравни варианты развертывания в руководстве по экспорту моделей.