Triton Inference Server với Ultralytics YOLO26#

Thiết lập Ultralytics YOLO26 với NVIDIA Triton Inference Server gồm một vài bước chính:

1. Export YOLO26 sang định dạng ONNX:

   from ultralytics import YOLO
   
   # Tải model
   model = YOLO("yolo26n.pt")  # tải model chính thức
   
   # # Xuất model sang định dạng ONNX
   onnx_file = model.export(format="onnx", dynamic=True)

2. Thiết lập Triton Model Repository:

   from pathlib import Path
   
   # # Xác định đường dẫn
   model_name = "yolo"
   triton_repo_path = Path("tmp") / "triton_repo"
   triton_model_path = triton_repo_path / model_name
   
   # # Tạo thư mục
   (triton_model_path / "1").mkdir(parents=True, exist_ok=True)
   Path(onnx_file).rename(triton_model_path / "1" / "model.onnx")
   (triton_model_path / "config.pbtxt").touch()

3. Chạy Triton Server:

   import contextlib
   import subprocess
   import time
   
   from tritonclient.http import InferenceServerClient
   
   # Define image https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver
   tag = "nvcr.io/nvidia/tritonserver:26.02-py3"
   
   runtime = "docker"  # set to "podman" to use Podman
   subprocess.call(f"{runtime} pull {tag}", shell=True)
   
   # CDI GPU request works identically on Docker and Podman
   gpu_flags = "--device nvidia.com/gpu=all"
   
   container_name = "triton_server"
   subprocess.call(
       f"{runtime} run -d --rm --name {container_name} {gpu_flags} -v {triton_repo_path.absolute()}:/models:z -p 8000:8000 {tag} tritonserver --model-repository=/models",
       shell=True,
   )
   
   triton_client = InferenceServerClient(url="127.0.0.1:8000", verbose=False, ssl=False)
   
   for _ in range(10):
       with contextlib.suppress(Exception):
           assert triton_client.is_model_ready(model_name)
           break
       time.sleep(1)

Thiết lập này có thể giúp bạn triển khai hiệu quả các model Ultralytics YOLO26 ở quy mô lớn trên Triton Inference Server để suy luận model AI hiệu năng cao.

Tích hợp Ultralytics YOLO26 với NVIDIA Triton Inference Server mang lại một số lợi ích:

• Suy luận AI có khả năng mở rộng: Triton cho phép phục vụ nhiều model từ một phiên bản server duy nhất, hỗ trợ tải và gỡ tải model linh hoạt, nhờ đó có khả năng mở rộng cao cho nhiều workload AI khác nhau.
• Hiệu năng cao: Được tối ưu hóa cho GPU NVIDIA, Triton Inference Server đảm bảo hoạt động suy luận tốc độ cao, phù hợp với các ứng dụng thời gian thực như object detection.
• Ensemble và quản lý phiên bản model: Chế độ ensemble của Triton cho phép kết hợp nhiều model để cải thiện kết quả, còn tính năng quản lý phiên bản model hỗ trợ kiểm thử A/B và cập nhật cuốn chiếu.
• Batching tự động: Triton tự động gom nhiều yêu cầu suy luận, giúp cải thiện đáng kể throughput và giảm độ trễ.
• Đơn giản hóa triển khai: Tối ưu hóa dần workflow AI mà không cần cải tổ toàn bộ hệ thống, giúp mở rộng quy mô hiệu quả hơn.

Để biết hướng dẫn chi tiết về cách thiết lập và chạy Ultralytics YOLO26 với Triton, hãy xem Thiết lập Triton Inference Server và Chạy suy luận.

Sử dụng định dạng Trao đổi Mạng Nơ-ron Mở (ONNX) cho model Ultralytics YOLO26 trước khi triển khai trên NVIDIA Triton Inference Server mang lại một số lợi ích chính:

• Khả năng tương tác: Định dạng ONNX hỗ trợ chuyển đổi giữa các framework deep learning khác nhau (chẳng hạn như PyTorch, TensorFlow), đảm bảo khả năng tương thích rộng hơn.
• Tối ưu hóa: Nhiều môi trường triển khai, bao gồm Triton, tối ưu hóa cho ONNX, giúp suy luận nhanh hơn và hiệu năng tốt hơn.
• Triển khai dễ dàng: ONNX được hỗ trợ rộng rãi trên nhiều framework và nền tảng, giúp đơn giản hóa quá trình triển khai trên nhiều hệ điều hành và cấu hình phần cứng.
• Độc lập với framework: Sau khi chuyển đổi sang ONNX, model không còn phụ thuộc vào framework ban đầu, giúp model dễ dàng chuyển đổi giữa các môi trường hơn.
• Chuẩn hóa: ONNX cung cấp một biểu diễn tiêu chuẩn giúp khắc phục các vấn đề tương thích giữa những framework AI khác nhau.

Để export model, hãy dùng:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
onnx_file = model.export(format="onnx", dynamic=True)

Bạn có thể làm theo các bước trong hướng dẫn tích hợp ONNX để hoàn tất quy trình.

Có, bạn có thể chạy inference bằng model Ultralytics YOLO26 trên NVIDIA Triton Inference Server. Sau khi thiết lập model trong Triton Model Repository và khởi chạy server, bạn có thể tải model và chạy inference như sau:

from ultralytics import YOLO

# # Tải model Triton Server
model = YOLO("http://127.0.0.1:8000/yolo", task="detect")

# # Chạy suy luận trên server
results = model("path/to/image.jpg")

Phương pháp này cho phép bạn tận dụng các tối ưu hóa của Triton trong khi vẫn sử dụng giao diện Ultralytics YOLO quen thuộc.

Ultralytics YOLO26 có một số ưu điểm riêng so với các model TensorFlow và PyTorch khi triển khai:

• Hiệu năng thời gian thực: Được tối ưu cho các tác vụ phát hiện đối tượng thời gian thực, Ultralytics YOLO26 mang lại độ chính xác và tốc độ tiên tiến, phù hợp với các ứng dụng cần phân tích video trực tiếp.
• Dễ sử dụng: Ultralytics YOLO26 tích hợp liền mạch với Triton Inference Server và hỗ trợ nhiều định dạng export (ONNX, TensorRT), giúp model linh hoạt trong nhiều kịch bản triển khai.
• Tính năng nâng cao: Phục vụ model qua Triton bổ sung khả năng tải model động, quản lý phiên bản model và inference kết hợp, những tính năng thiết yếu để triển khai AI có khả năng mở rộng và độ tin cậy cao.
• API đơn giản hóa: API Ultralytics cung cấp giao diện nhất quán trên các môi trường triển khai khác nhau, giảm thời gian làm quen và phát triển.
• Tối ưu hóa cho edge: Các model Ultralytics YOLO26 được thiết kế hướng đến triển khai edge, mang lại hiệu năng xuất sắc ngay cả trên thiết bị có tài nguyên hạn chế.

Để biết thêm chi tiết, hãy so sánh các tùy chọn triển khai trong hướng dẫn export model.