Triton Inference Server với Ultralytics YOLO26#

Việc thiết lập Ultralytics YOLO26 với NVIDIA Triton Inference Server gồm một số bước chính:

1. Export YOLO26 sang định dạng ONNX:

   from ultralytics import YOLO
   
   # Load a model
   model = YOLO("yolo26n.pt")  # load an official model
   
   # Export the model to ONNX format
   onnx_file = model.export(format="onnx", dynamic=True)

2. Thiết lập Triton Model Repository:

   from pathlib import Path
   
   # Define paths
   model_name = "yolo"
   triton_repo_path = Path("tmp") / "triton_repo"
   triton_model_path = triton_repo_path / model_name
   
   # Create directories
   (triton_model_path / "1").mkdir(parents=True, exist_ok=True)
   Path(onnx_file).rename(triton_model_path / "1" / "model.onnx")
   (triton_model_path / "config.pbtxt").touch()

3. Chạy Triton Server:

   import contextlib
   import subprocess
   import time
   
   from tritonclient.http import InferenceServerClient
   
   # Define image https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver
   tag = "nvcr.io/nvidia/tritonserver:26.02-py3"
   
   runtime = "docker"  # set to "podman" to use Podman
   subprocess.call(f"{runtime} pull {tag}", shell=True)
   
   # CDI GPU request works identically on Docker and Podman
   gpu_flags = "--device nvidia.com/gpu=all"
   
   container_name = "triton_server"
   subprocess.call(
       f"{runtime} run -d --rm --name {container_name} {gpu_flags} -v {triton_repo_path.absolute()}:/models:z -p 8000:8000 {tag} tritonserver --model-repository=/models",
       shell=True,
   )
   
   triton_client = InferenceServerClient(url="127.0.0.1:8000", verbose=False, ssl=False)
   
   for _ in range(10):
       with contextlib.suppress(Exception):
           assert triton_client.is_model_ready(model_name)
           break
       time.sleep(1)

Thiết lập này giúp bạn triển khai hiệu quả các model Ultralytics YOLO26 ở quy mô lớn trên Triton Inference Server để thực hiện inference model AI hiệu năng cao.

Việc tích hợp Ultralytics YOLO26 với NVIDIA Triton Inference Server mang lại một số lợi ích:

• Inference AI có khả năng mở rộng: Triton cho phép phục vụ nhiều model từ một instance server duy nhất, hỗ trợ load và unload model động, nhờ đó có khả năng mở rộng cao cho nhiều workload AI khác nhau.
• Hiệu năng cao: Được tối ưu hóa cho GPU NVIDIA, Triton Inference Server đảm bảo các tác vụ inference tốc độ cao, phù hợp với các ứng dụng thời gian thực như phát hiện đối tượng.
• Ensemble và versioning model: Chế độ ensemble của Triton cho phép kết hợp nhiều model để cải thiện kết quả, còn versioning model hỗ trợ kiểm thử A/B và cập nhật rolling.
• Batching tự động: Triton tự động gom nhiều request inference lại với nhau, cải thiện đáng kể throughput và giảm latency.
• Đơn giản hóa triển khai: Cho phép tối ưu hóa dần các workflow AI mà không cần đại tu toàn bộ hệ thống, giúp scale hiệu quả dễ dàng hơn.

Để xem hướng dẫn chi tiết về cách thiết lập và chạy Ultralytics YOLO26 với Triton, hãy xem Thiết lập Triton Inference Server và Chạy Inference.

Việc sử dụng định dạng ONNX (Trao đổi Mạng Nơ-ron Mở (ONNX)) cho model Ultralytics YOLO26 trước khi triển khai trên NVIDIA Triton Inference Server mang lại một số lợi ích chính:

• Khả năng tương tác: Định dạng ONNX hỗ trợ chuyển đổi giữa các framework deep learning khác nhau (chẳng hạn như PyTorch, TensorFlow), đảm bảo khả năng tương thích rộng hơn.
• Tối ưu hóa: Nhiều môi trường triển khai, bao gồm Triton, được tối ưu hóa cho ONNX, giúp inference nhanh hơn và đạt hiệu năng tốt hơn.
• Dễ triển khai: ONNX được hỗ trợ rộng rãi trên nhiều framework và nền tảng, đơn giản hóa quy trình triển khai trên nhiều hệ điều hành và cấu hình phần cứng.
• Độc lập framework: Sau khi được chuyển đổi sang ONNX, model không còn phụ thuộc vào framework ban đầu, giúp model có tính portability cao hơn.
• Tiêu chuẩn hóa: ONNX cung cấp một biểu diễn được tiêu chuẩn hóa, giúp giải quyết các vấn đề tương thích giữa những framework AI khác nhau.

Để export model, hãy sử dụng:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
onnx_file = model.export(format="onnx", dynamic=True)

Bạn có thể làm theo các bước trong hướng dẫn tích hợp ONNX để hoàn tất quy trình.

Có, bạn có thể chạy inference bằng model Ultralytics YOLO26 trên NVIDIA Triton Inference Server. Sau khi model được thiết lập trong Triton Model Repository và server đang chạy, bạn có thể load và chạy inference trên model như sau:

from ultralytics import YOLO

# Load the Triton Server model
model = YOLO("http://127.0.0.1:8000/yolo", task="detect")

# Run inference on the server
results = model("path/to/image.jpg")

Cách tiếp cận này cho phép bạn tận dụng các tối ưu hóa của Triton trong khi vẫn sử dụng interface Ultralytics YOLO quen thuộc.

Ultralytics YOLO26 mang lại một số lợi thế riêng so với các model TensorFlow và PyTorch khi triển khai:

• Hiệu năng thời gian thực: Được tối ưu hóa cho các tác vụ phát hiện đối tượng thời gian thực, Ultralytics YOLO26 cung cấp độ chính xác và tốc độ tiên tiến nhất, phù hợp với các ứng dụng yêu cầu phân tích video trực tiếp.
• Dễ sử dụng: Ultralytics YOLO26 tích hợp liền mạch với Triton Inference Server và hỗ trợ nhiều định dạng export (ONNX, TensorRT), mang lại sự linh hoạt cho nhiều kịch bản triển khai.
• Tính năng Nâng cao: Việc phục vụ mô hình thông qua Triton bổ sung tính năng tải mô hình động, quản lý phiên bản mô hình và suy luận tập hợp, những yếu tố cốt lõi cho các hệ thống triển khai AI có khả năng mở rộng và độ tin cậy cao.
• API đơn giản hóa: Ultralytics API cung cấp interface nhất quán trên các target triển khai khác nhau, rút ngắn thời gian làm quen và phát triển.
• Tối ưu hóa edge: Các model Ultralytics YOLO26 được thiết kế hướng đến việc triển khai trên edge, mang lại hiệu năng xuất sắc ngay cả trên các thiết bị có tài nguyên hạn chế.

Để biết thêm chi tiết, hãy so sánh các tùy chọn triển khai trong hướng dẫn export model.