Xuất model YOLO26 sang TorchScript để triển khai nhanh#

Việc triển khai các model thị giác máy tính trong môi trường C++ không có Python yêu cầu một dạng biểu diễn đã được tuần tự hóa và có tính portable. TorchScript cung cấp khả năng tương thích đó cho các ứng dụng LibTorch legacy.

Xuất sang TorchScript để tuần tự hóa các model Ultralytics YOLO26, đảm bảo khả năng tương thích đa nền tảng và đơn giản hóa việc triển khai. Trong hướng dẫn này, chúng tôi sẽ chỉ cho bạn cách xuất các model YOLO26 sang định dạng TorchScript, giúp bạn dễ dàng sử dụng chúng trên nhiều loại ứng dụng hơn.

Tại sao nên xuất sang TorchScript?#

Được phát triển bởi các nhà sáng tạo PyTorch, TorchScript là một công cụ mạnh mẽ để tối ưu hóa và triển khai các model PyTorch trên nhiều nền tảng. Việc xuất các model YOLO26 sang TorchScript rất quan trọng để chuyển từ nghiên cứu sang các ứng dụng thực tế. TorchScript, một phần của framework PyTorch, giúp quá trình chuyển đổi này trở nên thuận lợi hơn bằng cách cho phép sử dụng các model PyTorch trong những môi trường không hỗ trợ Python.

Quy trình này bao gồm hai kỹ thuật: tracing và scripting. Tracing ghi lại các phép toán trong quá trình thực thi model, trong khi scripting cho phép định nghĩa model bằng một tập con của Python. Các kỹ thuật này đảm bảo rằng những model như YOLO26 vẫn có thể hoạt động hiệu quả ngay cả bên ngoài môi trường Python quen thuộc.

Các model TorchScript cũng có thể được tối ưu hóa thông qua những kỹ thuật như hợp nhất operator và tinh chỉnh việc sử dụng bộ nhớ, đảm bảo thực thi hiệu quả. Một ưu điểm khác của việc xuất sang TorchScript là khả năng tăng tốc thực thi model trên nhiều nền tảng phần cứng. TorchScript tạo ra một dạng biểu diễn độc lập, sẵn sàng cho production của model PyTorch, có thể tích hợp vào các môi trường C++.

Các tính năng chính của model TorchScript#

TorchScript, một thành phần quan trọng trong hệ sinh thái PyTorch, cung cấp các tính năng mạnh mẽ để tối ưu hóa và triển khai các model deep learning.

Dưới đây là các tính năng chính khiến TorchScript trở thành một công cụ hữu ích cho developer:

• Thực thi đồ thị tĩnh: TorchScript sử dụng dạng biểu diễn đồ thị tĩnh cho phép tính của model, khác với cơ chế thực thi đồ thị động của PyTorch. Trong thực thi đồ thị tĩnh, đồ thị tính toán được định nghĩa và biên dịch một lần trước khi thực thi thực tế, giúp cải thiện hiệu năng trong quá trình inference.

• Tuần tự hóa model: TorchScript cho phép bạn tuần tự hóa các model PyTorch thành một định dạng độc lập với nền tảng. Các model đã được tuần tự hóa có thể được tải mà không cần mã Python ban đầu, cho phép triển khai trong nhiều môi trường runtime khác nhau.

• Biên dịch JIT: TorchScript sử dụng biên dịch đúng lúc (JIT) để chuyển đổi các model PyTorch thành một dạng biểu diễn trung gian được tối ưu hóa. JIT biên dịch đồ thị tính toán của model, cho phép thực thi hiệu quả trên các thiết bị đích.

• Chuyển đổi từng bước: TorchScript cung cấp phương pháp chuyển đổi từng bước, cho phép bạn chuyển đổi dần từng phần của model PyTorch sang TorchScript. Tính linh hoạt này đặc biệt hữu ích khi làm việc với các model phức tạp hoặc khi bạn muốn tối ưu hóa những phần code cụ thể.

Các tùy chọn triển khai trong TorchScript#

Trước khi xem code để xuất các model YOLO26 sang định dạng TorchScript, hãy cùng tìm hiểu những nơi model TorchScript thường được sử dụng.

TorchScript cung cấp nhiều tùy chọn triển khai cho các model machine learning, chẳng hạn như:

• API C++: Trường hợp sử dụng phổ biến nhất của TorchScript là API C++ LibTorch, cho phép bạn tải và thực thi trực tiếp các model TorchScript đã tối ưu hóa trong các ứng dụng C++. Đây là lựa chọn lý tưởng cho môi trường production, nơi Python có thể không phù hợp hoặc không khả dụng. API C++ cung cấp khả năng thực thi các model TorchScript với overhead thấp và hiệu quả cao, tối đa hóa tiềm năng hiệu năng.

• Triển khai trên thiết bị di động: Để inference có độ trễ thấp, hoạt động offline và đảm bảo quyền riêng tư dữ liệu trên thiết bị di động, hãy sử dụng ExecuTorch, giải pháp thay thế TorchScript Mobile của PyTorch.

• Triển khai trên cloud: Các model TorchScript có thể được triển khai lên các server dựa trên cloud bằng những giải pháp như TorchServe. Giải pháp này cung cấp các tính năng như versioning model, batching và giám sát metric để triển khai có khả năng mở rộng trong môi trường production. Triển khai TorchScript trên cloud có thể giúp các model của bạn truy cập được thông qua API hoặc các web service khác.

Các Task được hỗ trợ#

Việc xuất TorchScript hỗ trợ tất cả bảy task của Ultralytics. Phân đoạn ngữ nghĩa và ước lượng độ sâu chỉ khả dụng với YOLO26, family duy nhất được phát hành kèm các head đó.

Xuất sang TorchScript: Chuyển đổi model YOLO26 của bạn#

Việc xuất các model YOLO26 sang TorchScript giúp sử dụng chúng dễ dàng hơn ở nhiều nơi khác nhau, đồng thời giúp chúng chạy nhanh và hiệu quả hơn. Đây là lựa chọn hữu ích cho bất kỳ ai muốn sử dụng các model deep learning hiệu quả hơn trong những ứng dụng thực tế.

Cài đặt#

Để cài đặt package bắt buộc, hãy chạy:

# Install the required package for YOLO26
pip install ultralytics

Để xem hướng dẫn chi tiết và các best practice liên quan đến quy trình cài đặt, hãy tham khảo hướng dẫn Cài đặt Ultralytics. Nếu gặp khó khăn khi cài đặt các package cần thiết cho YOLO26, hãy xem hướng dẫn Các vấn đề Thường gặp để tìm giải pháp và mẹo xử lý.

Cách sử dụng#

Tất cả model Ultralytics YOLO26 đều được thiết kế để hỗ trợ xuất ngay khi cài đặt, giúp dễ dàng tích hợp vào quy trình triển khai mà bạn lựa chọn. Bạn có thể xem danh sách đầy đủ các định dạng xuất và tùy chọn cấu hình được hỗ trợ để chọn thiết lập phù hợp nhất cho ứng dụng của mình.

Định dạng TorchScript hỗ trợ các mode Export, Predict và Validate. Hãy xuất model của bạn, sau đó tải model đã xuất để chạy inference hoặc xác thực độ chính xác.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to TorchScript format
model.export(format="torchscript")  # creates 'yolo26n.torchscript'

from ultralytics import YOLO

# Load the exported TorchScript model
model = YOLO("yolo26n.torchscript")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported TorchScript model
model = YOLO("yolo26n.torchscript")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Đối số Export#

Để biết thêm chi tiết về quy trình export, hãy truy cập trang tài liệu Ultralytics về export.

Triển khai các model YOLO26 TorchScript đã xuất#

Sau khi xuất thành công các model Ultralytics YOLO26 sang định dạng TorchScript, bạn có thể triển khai chúng. Bước đầu tiên và được khuyến nghị để chạy một model TorchScript là sử dụng phương thức YOLO("model.torchscript"), như đã trình bày trong đoạn code sử dụng trước đó. Để xem hướng dẫn chuyên sâu về cách triển khai các model TorchScript trong những bối cảnh khác, hãy tham khảo các tài nguyên sau:

• Khám phá triển khai trên thiết bị di động: Sử dụng pipeline riêng torch.export() → .pte của ExecuTorch cho hoạt động triển khai PyTorch trên thiết bị di động hiện tại.

• Làm chủ việc triển khai phía server: Tìm hiểu cách triển khai model phía server với TorchServe, qua một hướng dẫn từng bước để cung cấp model hiệu quả và có khả năng mở rộng.

• Triển khai C++: Tìm hiểu sâu về hướng dẫn Tải model TorchScript trong C++, hỗ trợ tích hợp các model TorchScript vào ứng dụng C++ để cải thiện hiệu năng và tính linh hoạt.

Tóm tắt#

Trong hướng dẫn này, chúng ta đã tìm hiểu quy trình xuất các model Ultralytics YOLO26 sang định dạng TorchScript. Bằng cách làm theo hướng dẫn được cung cấp, bạn có thể tối ưu hóa các model YOLO26 để đạt hiệu năng cao và có được sự linh hoạt khi triển khai chúng trên nhiều nền tảng và môi trường khác nhau.

Để biết thêm chi tiết về cách sử dụng, hãy truy cập tài liệu chính thức của TorchScript.

Ngoài ra, nếu muốn tìm hiểu thêm về các tích hợp Ultralytics YOLO26 khác, hãy truy cập trang hướng dẫn tích hợp của chúng tôi. Tại đó, bạn sẽ tìm thấy nhiều tài nguyên và thông tin hữu ích.

FAQ#