Xuất mô hình YOLO26 sang TorchScript để triển khai nhanh#

Việc triển khai các mô hình computer vision trong môi trường C++ không có Python yêu cầu một biểu diễn tuần tự hóa di động. TorchScript cung cấp khả năng tương thích đó cho các ứng dụng LibTorch cũ.

Xuất sang TorchScript để tuần tự hóa các mô hình Ultralytics YOLO26 của bạn nhằm đảm bảo khả năng tương thích đa nền tảng và tối ưu hóa việc triển khai. Trong hướng dẫn này, chúng tôi sẽ hướng dẫn bạn cách xuất các mô hình YOLO26 sang định dạng TorchScript, giúp bạn dễ dàng sử dụng chúng trên nhiều ứng dụng hơn.

Tại sao bạn nên xuất sang TorchScript?#

Được phát triển bởi những người tạo ra PyTorch, TorchScript là một công cụ mạnh mẽ để tối ưu hóa và triển khai các mô hình PyTorch trên nhiều nền tảng khác nhau. Việc xuất các mô hình YOLO26 sang TorchScript là rất quan trọng để chuyển đổi từ nghiên cứu sang các ứng dụng thực tế. TorchScript, một phần của framework PyTorch, giúp quá trình chuyển đổi này diễn ra suôn sẻ hơn bằng cách cho phép các mô hình PyTorch được sử dụng trong các môi trường không hỗ trợ Python.

Quá trình này bao gồm hai kỹ thuật: tracing (theo vết) và scripting (viết kịch bản). Tracing ghi lại các thao tác trong quá trình thực thi mô hình, trong khi scripting cho phép định nghĩa các mô hình bằng cách sử dụng một tập con của Python. Những kỹ thuật này đảm bảo rằng các mô hình như YOLO26 vẫn có thể phát huy tác dụng ngay cả bên ngoài môi trường Python thông thường của chúng.

Các model TorchScript cũng có thể được tối ưu hóa thông qua các kỹ thuật như hợp nhất toán tử (operator fusion) và tinh chỉnh mức sử dụng bộ nhớ, đảm bảo hiệu suất thực thi cao. Một lợi thế khác của việc xuất sang TorchScript là khả năng tăng tốc thực thi model trên nhiều nền tảng phần cứng khác nhau. Nó tạo ra một bản biểu diễn độc lập, sẵn sàng cho môi trường production của model PyTorch của bạn, có thể tích hợp vào các môi trường C++.

Các tính năng chính của các mô hình TorchScript#

TorchScript, một phần quan trọng của hệ sinh thái PyTorch, cung cấp các tính năng mạnh mẽ để tối ưu hóa và triển khai các mô hình deep learning.

Dưới đây là các tính năng chính khiến TorchScript trở thành một công cụ giá trị cho các nhà phát triển:

• Thực thi đồ thị tĩnh (Static Graph Execution): TorchScript sử dụng biểu diễn đồ thị tĩnh của quá trình tính toán mô hình, khác với cách thực thi đồ thị động của PyTorch. Trong thực thi đồ thị tĩnh, đồ thị tính toán được định nghĩa và biên dịch một lần trước khi thực thi thực tế, dẫn đến hiệu suất tốt hơn trong quá trình suy luận (inference).

• Tuần tự hóa mô hình (Model Serialization): TorchScript cho phép bạn tuần tự hóa các mô hình PyTorch thành một định dạng độc lập với nền tảng. Các mô hình đã tuần tự hóa có thể được tải mà không cần mã nguồn Python gốc, cho phép triển khai trong các môi trường chạy (runtime) khác nhau.

• Biên dịch JIT (JIT Compilation): TorchScript sử dụng biên dịch Just-In-Time (JIT) để chuyển đổi các mô hình PyTorch thành một biểu diễn trung gian được tối ưu hóa. JIT biên dịch đồ thị tính toán của mô hình, cho phép thực thi hiệu quả trên các thiết bị mục tiêu.

• Chuyển đổi dần dần: TorchScript cung cấp phương pháp tiếp cận chuyển đổi dần dần, cho phép bạn tăng cường chuyển đổi từng phần mô hình PyTorch của mình sang TorchScript. Sự linh hoạt này đặc biệt hữu ích khi xử lý các mô hình phức tạp hoặc khi bạn muốn tối ưu hóa các phần cụ thể của mã.

Các tùy chọn triển khai trong TorchScript#

Trước khi xem xét mã để xuất mô hình YOLO26 sang định dạng TorchScript, hãy cùng tìm hiểu nơi các mô hình TorchScript thường được sử dụng.

TorchScript cung cấp các tùy chọn triển khai khác nhau cho các mô hình machine learning, chẳng hạn như:

• C++ API: Trường hợp sử dụng phổ biến nhất cho TorchScript là LibTorch C++ API, cho phép bạn tải và thực thi các mô hình TorchScript đã tối ưu hóa trực tiếp trong các ứng dụng C++. Điều này lý tưởng cho các môi trường sản xuất nơi Python có thể không phù hợp hoặc không có sẵn. C++ API cung cấp khả năng thực thi các mô hình TorchScript có độ trễ thấp và hiệu quả cao, tối đa hóa tiềm năng hiệu suất.

• Mobile Deployment: Đối với việc suy luận ngoại tuyến, độ trễ thấp và data privacy trên thiết bị di động, hãy sử dụng ExecuTorch, giải pháp thay thế của PyTorch cho TorchScript Mobile.

• Triển khai trên đám mây (Cloud Deployment): Các mô hình TorchScript có thể được triển khai trên các máy chủ dựa trên đám mây sử dụng các giải pháp như TorchServe. Nó cung cấp các tính năng như phiên bản mô hình, batching, và giám sát số liệu để triển khai có thể mở rộng trong các môi trường sản xuất. Triển khai đám mây với TorchScript có thể làm cho các mô hình của bạn có thể truy cập được thông qua API hoặc các dịch vụ web khác.

Các tác vụ được hỗ trợ#

Tính năng xuất TorchScript hỗ trợ tất cả bảy tác vụ của Ultralytics. Phân đoạn ngữ nghĩa và ước tính chiều sâu chỉ khả dụng với YOLO26, dòng duy nhất tích hợp sẵn các đầu ra đó.

Xuất sang TorchScript: Chuyển đổi mô hình YOLO26 của bạn#

Việc xuất các mô hình YOLO26 sang TorchScript giúp dễ dàng sử dụng chúng ở nhiều nơi khác nhau và giúp chúng chạy nhanh hơn và hiệu quả hơn. Điều này rất tuyệt vời cho bất kỳ ai muốn sử dụng các mô hình deep learning hiệu quả hơn trong các ứng dụng thực tế.

Cài đặt#

Để cài đặt gói cần thiết, hãy chạy:

# Install the required package for YOLO26
pip install ultralytics

Để biết hướng dẫn chi tiết và các thực tiễn tốt nhất liên quan đến quá trình cài đặt, hãy xem Hướng dẫn Cài đặt Ultralytics của chúng tôi. Trong quá trình cài đặt các gói cần thiết cho YOLO26, nếu bạn gặp bất kỳ khó khăn nào, hãy tham khảo Hướng dẫn các Vấn đề Thường gặp của chúng tôi để tìm giải pháp và mẹo.

Cách sử dụng#

Tất cả các Ultralytics YOLO26 models đều được thiết kế để hỗ trợ xuất ngay khi sử dụng, giúp bạn dễ dàng tích hợp chúng vào quy trình làm việc triển khai ưa thích của mình. Bạn có thể view the full list of supported export formats and configuration options để chọn thiết lập tốt nhất cho ứng dụng của mình.

Định dạng TorchScript hỗ trợ các chế độ Export, Predict và Validate. Hãy xuất mô hình của bạn, sau đó tải mô hình đã xuất để chạy suy luận hoặc xác thực độ chính xác của nó.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to TorchScript format
model.export(format="torchscript")  # creates 'yolo26n.torchscript'

from ultralytics import YOLO

# Load the exported TorchScript model
model = YOLO("yolo26n.torchscript")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported TorchScript model
model = YOLO("yolo26n.torchscript")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Đối số xuất#

Để biết thêm chi tiết về quá trình xuất, hãy truy cập trang tài liệu của Ultralytics về việc xuất model.

Triển khai các mô hình YOLO26 TorchScript đã xuất#

Sau khi xuất thành công các mô hình Ultralytics YOLO26 sang định dạng TorchScript, giờ đây bạn có thể triển khai chúng. Bước đầu tiên chính và được khuyến nghị để chạy mô hình TorchScript là sử dụng phương thức YOLO("model.torchscript"), như đã nêu trong đoạn mã sử dụng trước đó. Để có hướng dẫn chi tiết về cách triển khai các mô hình TorchScript trong các cài đặt khác, hãy xem các tài nguyên sau:

• Explore Mobile Deployment: Sử dụng đường ống torch.export() → .pte riêng biệt của ExecuTorch cho việc triển khai di động PyTorch hiện tại.

• Master Server-Side Deployment: Tìm hiểu cách triển khai các mô hình ở phía máy chủ với TorchServe, cung cấp hướng dẫn từng bước để phục vụ mô hình có thể mở rộng và hiệu quả.

• Implement C++ Deployment: Đi sâu vào Hướng dẫn về cách tải mô hình TorchScript trong C++, giúp tích hợp các mô hình TorchScript của bạn vào các ứng dụng C++ để nâng cao hiệu suất và tính linh hoạt.

Tóm tắt#

Trong hướng dẫn này, chúng tôi đã khám phá quy trình xuất các mô hình Ultralytics YOLO26 sang định dạng TorchScript. Bằng cách làm theo các hướng dẫn được cung cấp, bạn có thể tối ưu hóa các mô hình YOLO26 để đạt hiệu suất cao và có được sự linh hoạt để triển khai chúng trên nhiều nền tảng và môi trường khác nhau.

Để biết thêm chi tiết về cách sử dụng, hãy truy cập TorchScript's official documentation.

Ngoài ra, nếu bạn muốn biết thêm về các tích hợp khác của Ultralytics YOLO26, hãy truy cập integration guide page của chúng tôi. Bạn sẽ tìm thấy rất nhiều tài nguyên và thông tin hữu ích ở đó.

Câu hỏi thường gặp#