Triton Inference Server với Ultralytics YOLO26#

Thiết lập Ultralytics YOLO26 với NVIDIA Triton Inference Server bao gồm một số bước chính:

1. Xuất YOLO26 sang định dạng ONNX:

   from ultralytics import YOLO
   
   # Load a model
   model = YOLO("yolo26n.pt")  # load an official model
   
   # Export the model to ONNX format
   onnx_file = model.export(format="onnx", dynamic=True)

2. Thiết lập Triton Model Repository:

   from pathlib import Path
   
   # Define paths
   model_name = "yolo"
   triton_repo_path = Path("tmp") / "triton_repo"
   triton_model_path = triton_repo_path / model_name
   
   # Create directories
   (triton_model_path / "1").mkdir(parents=True, exist_ok=True)
   Path(onnx_file).rename(triton_model_path / "1" / "model.onnx")
   (triton_model_path / "config.pbtxt").touch()

3. Chạy Triton Server:

   import contextlib
   import subprocess
   import time
   
   from tritonclient.http import InferenceServerClient
   
   # Define image https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver
   tag = "nvcr.io/nvidia/tritonserver:26.02-py3"
   
   runtime = "docker"  # set to "podman" to use Podman
   subprocess.call(f"{runtime} pull {tag}", shell=True)
   
   # CDI GPU request works identically on Docker and Podman
   gpu_flags = "--device nvidia.com/gpu=all"
   
   container_name = "triton_server"
   subprocess.call(
       f"{runtime} run -d --rm --name {container_name} {gpu_flags} -v {triton_repo_path.absolute()}:/models:z -p 8000:8000 {tag} tritonserver --model-repository=/models",
       shell=True,
   )
   
   triton_client = InferenceServerClient(url="127.0.0.1:8000", verbose=False, ssl=False)
   
   for _ in range(10):
       with contextlib.suppress(Exception):
           assert triton_client.is_model_ready(model_name)
           break
       time.sleep(1)

Quá trình thiết lập này có thể giúp bạn triển khai hiệu quả các mô hình Ultralytics YOLO26 ở quy mô lớn trên Triton Inference Server để suy luận mô hình AI hiệu suất cao.

Tích hợp Ultralytics YOLO26 với NVIDIA Triton Inference Server mang lại một số lợi thế:

• Scalable AI Inference: Triton cho phép phục vụ nhiều model từ một instance server duy nhất, hỗ trợ tải và gỡ model linh hoạt, giúp mở rộng quy mô tốt cho các khối lượng công việc AI đa dạng.
• High Performance: Được tối ưu hóa cho GPU NVIDIA, Triton Inference Server đảm bảo các hoạt động suy luận tốc độ cao, hoàn hảo cho các ứng dụng thời gian thực như object detection.
• Ensemble và quản lý phiên bản model: Chế độ ensemble của Triton cho phép kết hợp nhiều model để cải thiện kết quả, và tính năng quản lý phiên bản model hỗ trợ A/B testing và cập nhật cuốn chiếu.
• Automatic Batching: Triton tự động nhóm nhiều yêu cầu inference lại với nhau, cải thiện đáng kể thông lượng và giảm độ trễ.
• Đơn giản hóa việc triển khai: Tối ưu hóa dần dần các luồng công việc AI mà không cần phải thay đổi toàn bộ hệ thống, giúp việc mở rộng quy mô hiệu quả hơn.

Để có hướng dẫn chi tiết về cách thiết lập và chạy Ultralytics YOLO26 với Triton, hãy xem Setting Up Triton Inference Server và Running Inference.

Sử dụng định dạng ONNX (Open Neural Network Exchange) cho mô hình Ultralytics YOLO26 của bạn trước khi triển khai nó trên NVIDIA Triton Inference Server mang lại một số lợi ích chính:

• Khả năng tương tác: Định dạng ONNX hỗ trợ chuyển đổi giữa các framework deep learning khác nhau (như PyTorch, TensorFlow), đảm bảo tính tương thích rộng hơn.
• Tối ưu hóa: Nhiều môi trường triển khai, bao gồm cả Triton, tối ưu hóa cho ONNX, cho phép inference nhanh hơn và hiệu năng tốt hơn.
• Dễ dàng triển khai: ONNX được hỗ trợ rộng rãi trên nhiều framework và nền tảng, giúp đơn giản hóa quy trình triển khai trên các hệ điều hành và cấu hình phần cứng khác nhau.
• Không phụ thuộc vào framework: Sau khi chuyển đổi sang ONNX, model của bạn không còn bị ràng buộc vào framework gốc, giúp nó trở nên linh hoạt hơn.
• Chuẩn hóa: ONNX cung cấp một biểu diễn chuẩn hóa giúp giải quyết các vấn đề tương thích giữa các framework AI khác nhau.

Để xuất model của bạn, hãy sử dụng:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
onnx_file = model.export(format="onnx", dynamic=True)

Bạn có thể làm theo các bước trong ONNX integration guide để hoàn tất quá trình.

Có, bạn có thể chạy suy luận bằng mô hình Ultralytics YOLO26 trên NVIDIA Triton Inference Server. Khi mô hình của bạn đã được thiết lập trong Triton Model Repository và máy chủ đang chạy, bạn có thể tải và chạy suy luận trên mô hình của mình như sau:

from ultralytics import YOLO

# Load the Triton Server model
model = YOLO("http://127.0.0.1:8000/yolo", task="detect")

# Run inference on the server
results = model("path/to/image.jpg")

Cách tiếp cận này cho phép bạn tận dụng các tối ưu hóa của Triton trong khi vẫn sử dụng giao diện Ultralytics YOLO quen thuộc.

Ultralytics YOLO26 mang lại một số ưu điểm độc đáo so với các mô hình TensorFlow và PyTorch để triển khai:

• Hiệu suất thời gian thực: Được tối ưu hóa cho các tác vụ phát hiện đối tượng thời gian thực, Ultralytics YOLO26 cung cấp độ chính xác và tốc độ tiên tiến, làm cho nó trở nên lý tưởng cho các ứng dụng yêu cầu phân tích video trực tiếp.
• Ease of Use: Ultralytics YOLO26 tích hợp liền mạch với Triton Inference Server và hỗ trợ đa dạng định dạng xuất (ONNX, TensorRT), giúp nó linh hoạt cho các kịch bản triển khai khác nhau.
• Advanced Features: Ultralytics YOLO26 bao gồm các tính năng như tải mô hình động, quản lý phiên bản mô hình và suy luận kết hợp (ensemble inference), những yếu tố rất quan trọng cho việc triển khai AI có khả năng mở rộng và đáng tin cậy.
• API đơn giản hóa: Ultralytics API cung cấp một giao diện nhất quán trên các mục tiêu triển khai khác nhau, giảm bớt quá trình học tập và thời gian phát triển.
• Edge Optimization: Các mô hình Ultralytics YOLO26 được thiết kế với tính năng triển khai ở biên (edge deployment) được đặt lên hàng đầu, mang lại hiệu suất tuyệt vời ngay cả trên các thiết bị bị giới hạn tài nguyên.

Để biết thêm chi tiết, hãy so sánh các tùy chọn triển khai trong model export guide.