Xuất mô hình YOLO11 sang TorchScript để triển khai nhanh chóng
Triển khai các mô hình thị giác máy tính trên nhiều môi trường khác nhau, bao gồm các hệ thống nhúng, trình duyệt web hoặc nền tảng có giới hạn Python hỗ trợ, đòi hỏi một giải pháp linh hoạt và di động. TorchScript tập trung vào tính di động và khả năng chạy các mô hình trong môi trường mà toàn bộ Python framework không khả dụng. Điều này làm cho nó trở nên lý tưởng cho các tình huống mà bạn cần triển khai khả năng thị giác máy tính của mình trên nhiều thiết bị hoặc nền tảng khác nhau.
Xuất khẩu sang Torchscript để tuần tự hóa các mô hình Ultralytics YOLO11 của bạn để tương thích đa nền tảng và triển khai hợp lý. Trong hướng dẫn này, chúng tôi sẽ chỉ cho bạn cách xuất các mô hình YOLO11 của bạn sang TorchScript định dạng, giúp bạn dễ dàng sử dụng chúng trong nhiều ứng dụng hơn.
Tại sao bạn nên xuất sang TorchScript?
Được phát triển bởi những người sáng tạo ra PyTorch , TorchScript là một công cụ mạnh mẽ để tối ưu hóa và triển khai PyTorch mô hình trên nhiều nền tảng khác nhau. Việc xuất mô hình YOLO11 sang TorchScript rất quan trọng để chuyển từ nghiên cứu sang ứng dụng thực tế. TorchScript , một phần của PyTorch khuôn khổ, giúp cho quá trình chuyển đổi này diễn ra suôn sẻ hơn bằng cách cho phép PyTorch các mô hình được sử dụng trong các môi trường không hỗ trợ Python .
Quá trình này bao gồm hai kỹ thuật: theo dõi và viết kịch bản. Theo dõi ghi lại các hoạt động trong quá trình thực hiện mô hình, trong khi viết kịch bản cho phép định nghĩa các mô hình bằng cách sử dụng một tập hợp con Python . Các kỹ thuật này đảm bảo rằng các mô hình như YOLO11 vẫn có thể tạo ra phép thuật của chúng ngay cả khi không phải là thông thường Python môi trường.
TorchScript Các mô hình cũng có thể được tối ưu hóa thông qua các kỹ thuật như hợp nhất toán tử và tinh chỉnh trong việc sử dụng bộ nhớ, đảm bảo thực thi hiệu quả. Một lợi thế khác của xuất khẩu sang TorchScript là tiềm năng của nó để tăng tốc độ thực hiện mô hình trên các nền tảng phần cứng khác nhau. Nó tạo ra một đại diện độc lập, sẵn sàng sản xuất của bạn PyTorch mô hình có thể được tích hợp vào môi trường C ++, hệ thống nhúng hoặc được triển khai trong các ứng dụng web hoặc di động.
Các tính năng chính của TorchScript Mô hình
TorchScript , một phần quan trọng của PyTorch hệ sinh thái, cung cấp các tính năng mạnh mẽ để tối ưu hóa và triển khai các mô hình học sâu .
Dưới đây là các tính năng chính tạo nên TorchScript Một công cụ có giá trị cho các nhà phát triển:
Thực thi đồ thị tĩnh: TorchScript sử dụng biểu diễn đồ thị tĩnh của tính toán của mô hình, khác với PyTorchthực thi đồ thị động. Trong thực thi đồ thị tĩnh, đồ thị tính toán được xác định và biên dịch một lần trước khi thực thi thực tế, dẫn đến hiệu suất được cải thiện trong quá trình suy luận.
Lập số sê-ri hóa mô hình: TorchScript cho phép bạn lập số sê-ri hóa PyTorch mô hình thành một định dạng độc lập với nền tảng. Các mô hình nối tiếp có thể được tải mà không yêu cầu bản gốc Python mã, cho phép triển khai trong các môi trường thời gian chạy khác nhau.
Biên soạn JIT: TorchScript sử dụng biên dịch Just-In-Time (JIT) để chuyển đổi PyTorch mô hình thành một đại diện trung gian được tối ưu hóa. JIT biên dịch biểu đồ tính toán của mô hình, cho phép thực hiện hiệu quả trên các thiết bị đích.
Tích hợp đa ngôn ngữ: với TorchScript, bạn có thể xuất PyTorch mô hình cho các ngôn ngữ khác như C ++, Java và JavaScript. Điều này làm cho nó dễ dàng hơn để tích hợp PyTorch mô hình hóa thành các hệ thống phần mềm hiện có được viết bằng các ngôn ngữ khác nhau.
Chuyển đổi dần dần: TorchScript Cung cấp cách tiếp cận chuyển đổi dần dần, cho phép bạn chuyển đổi từng phần của mình PyTorch Mô hình thành TorchScript. Tính linh hoạt này đặc biệt hữu ích khi xử lý các mô hình phức tạp hoặc khi bạn muốn tối ưu hóa các phần cụ thể của mã.
Tùy chọn triển khai trong TorchScript
Trước khi chúng ta xem xét mã để xuất các mô hình YOLO11 sang TorchScript định dạng, chúng ta hãy hiểu nơi TorchScript các mô hình thường được sử dụng.
TorchScript cung cấp nhiều tùy chọn triển khai khác nhau cho các mô hình học máy , chẳng hạn như:
API C++: Trường hợp sử dụng phổ biến nhất cho TorchScript là API C ++ của nó, cho phép bạn tải và thực thi được tối ưu hóa TorchScript mô hình trực tiếp trong các ứng dụng C ++. Điều này lý tưởng cho môi trường sản xuất nơi Python có thể không phù hợp hoặc có sẵn. API C ++ cung cấp chi phí thấp và thực thi hiệu quả TorchScript mô hình, tối đa hóa tiềm năng hiệu suất.
Triển khai di động : TorchScript cung cấp các công cụ để chuyển đổi mô hình sang các định dạng có thể triển khai dễ dàng trên thiết bị di động. PyTorch Di động cung cấp thời gian chạy để thực hiện các mô hình này trong iOS Và Android ứng dụng. Điều này cho phép khả năng suy luận ngoại tuyến, độ trễ thấp, nâng cao trải nghiệm người dùng và quyền riêng tư dữ liệu .
Triển khai đám mây: TorchScript Các mô hình có thể được triển khai cho các máy chủ dựa trên đám mây bằng các giải pháp như TorchServe. Nó cung cấp các tính năng như lập phiên bản mô hình, phân lô và giám sát số liệu để triển khai có thể mở rộng trong môi trường sản xuất. Triển khai đám mây với TorchScript có thể làm cho mô hình của bạn có thể truy cập được thông qua API hoặc các dịch vụ web khác.
Xuất khẩu sang TorchScript : Chuyển đổi mô hình YOLO11 của bạn
Xuất các mô hình YOLO11 sang TorchScript giúp sử dụng chúng dễ dàng hơn ở nhiều nơi khác nhau và giúp chúng chạy nhanh hơn và hiệu quả hơn. Điều này rất tuyệt vời cho bất kỳ ai muốn sử dụng các mô hình học sâu hiệu quả hơn trong các ứng dụng thực tế.
Cài đặt
Để cài đặt gói yêu cầu, hãy chạy:
Để biết hướng dẫn chi tiết và các biện pháp thực hành tốt nhất liên quan đến quy trình cài đặt, hãy xem hướng dẫn Cài đặt Ultralytics của chúng tôi. Trong khi cài đặt các gói cần thiết cho YOLO11, nếu bạn gặp bất kỳ khó khăn nào, hãy tham khảo hướng dẫn Các vấn đề thường gặp của chúng tôi để biết các giải pháp và mẹo.
Sử dụng
Trước khi tìm hiểu hướng dẫn sử dụng, điều quan trọng cần lưu ý là mặc dù tất cả các mẫu Ultralytics YOLO11 đều có thể xuất, nhưng bạn có thể đảm bảo rằng mẫu bạn chọn có hỗ trợ chức năng xuất tại đây .
Sử dụng
from ultralytics import YOLO
# Load the YOLO11 model
model = YOLO("yolo11n.pt")
# Export the model to TorchScript format
model.export(format="torchscript") # creates 'yolo11n.torchscript'
# Load the exported TorchScript model
torchscript_model = YOLO("yolo11n.torchscript")
# Run inference
results = torchscript_model("https://ultralytics.com/images/bus.jpg")
Để biết thêm chi tiết về quy trình xuất, hãy truy cập Ultralytics trang tài liệu về xuất khẩu.
Triển khai YOLO11 đã xuất TorchScript Mô hình
Sau khi xuất thành công Ultralytics Các mô hình YOLO11 TorchScript định dạng, bây giờ bạn có thể triển khai chúng. Bước đầu tiên chính và được khuyến nghị để chạy TorchScript mô hình là sử dụng YOLO ("người mẫu. torchscript "), như đã nêu trong đoạn mã sử dụng trước đó. Tuy nhiên, để biết hướng dẫn chi tiết về việc triển khai TorchScript các mô hình trong nhiều bối cảnh khác nhau, hãy xem các tài nguyên sau:
Khám phá triển khai trên thiết bị di động : Tài liệu PyTorch Mobile cung cấp hướng dẫn toàn diện về việc triển khai các mô hình trên thiết bị di động, đảm bảo ứng dụng của bạn hiệu quả và phản hồi nhanh.
Triển khai phía máy chủ chính: Tìm hiểu cách triển khai các mô hình phía máy chủ với TorchServe, cung cấp hướng dẫn từng bước để phục vụ mô hình hiệu quả, có thể mở rộng.
Triển khai triển khai C ++: Đi sâu vào hướng dẫn về tải một TorchScript Mô hình trong C ++, tạo điều kiện tích hợp TorchScript mô hình hóa thành các ứng dụng C ++ để nâng cao hiệu suất và tính linh hoạt.
Tóm tắt
Trong hướng dẫn này, chúng tôi đã khám phá quá trình xuất khẩu Ultralytics Các mô hình YOLO11 đến TorchScript định dạng. Bằng cách làm theo các hướng dẫn được cung cấp, bạn có thể tối ưu hóa các mô hình YOLO11 để tăng hiệu suất và có được sự linh hoạt khi triển khai chúng trên nhiều nền tảng và môi trường khác nhau.
Để biết thêm chi tiết về cách sử dụng, hãy truy cập TorchScripttài liệu chính thức của họ.
Ngoài ra, nếu bạn muốn biết thêm về những điều khác Ultralytics Tích hợp YOLO11, hãy truy cập trang hướng dẫn tích hợp của chúng tôi. Bạn sẽ tìm thấy nhiều tài nguyên và thông tin hữu ích ở đó.
FAQ
Là gì Ultralytics Xuất mô hình YOLO11 sang TorchScript ?
Xuất khẩu một Ultralytics Mô hình YOLO11 để TorchScript cho phép triển khai linh hoạt, đa nền tảng. TorchScript , một phần của PyTorch hệ sinh thái, tạo điều kiện cho việc tuần tự hóa các mô hình, sau đó có thể được thực hiện trong các môi trường thiếu Python hỗ trợ. Điều này làm cho nó lý tưởng để triển khai các mô hình trên các hệ thống nhúng, môi trường C++, ứng dụng di động và thậm chí cả trình duyệt web. Xuất sang TorchScript cho phép hiệu suất hoạt động hiệu quả và khả năng ứng dụng rộng rãi hơn các mô hình YOLO11 của bạn trên nhiều nền tảng khác nhau.
Làm thế nào tôi có thể xuất mô hình YOLO11 của mình sang TorchScript sử dụng Ultralytics ?
Để xuất mô hình YOLO11 sang TorchScript , bạn có thể sử dụng mã ví dụ sau:
Sử dụng
from ultralytics import YOLO
# Load the YOLO11 model
model = YOLO("yolo11n.pt")
# Export the model to TorchScript format
model.export(format="torchscript") # creates 'yolo11n.torchscript'
# Load the exported TorchScript model
torchscript_model = YOLO("yolo11n.torchscript")
# Run inference
results = torchscript_model("https://ultralytics.com/images/bus.jpg")
Để biết thêm chi tiết về quy trình xuất, hãy tham khảo Ultralytics tài liệu về xuất khẩu.
Tại sao tôi nên sử dụng TorchScript để triển khai mô hình YOLO11?
Sử dụng TorchScript để triển khai các mô hình YOLO11 mang lại một số lợi thế:
- Tính di động: Các mô hình đã xuất có thể chạy trong môi trường mà không cần Python, chẳng hạn như ứng dụng C++, hệ thống nhúng hoặc thiết bị di động.
- Tối ưu hóa: TorchScript hỗ trợ thực thi đồ thị tĩnh và biên dịch Just-In-Time (JIT), có thể tối ưu hóa hiệu suất mô hình.
- Tích hợp đa ngôn ngữ: TorchScript Các mô hình có thể được tích hợp vào các ngôn ngữ lập trình khác, tăng cường tính linh hoạt và khả năng mở rộng.
- Lập số sê-ri: Các mô hình có thể được lập số sê-ri, cho phép tải và suy luận độc lập với nền tảng.
Để biết thêm thông tin chi tiết về việc triển khai, hãy truy cập PyTorch Tài liệu di động, Tài liệu TorchServe và Hướng dẫn triển khai C ++.
Các bước cài đặt để xuất mô hình YOLO11 sang là gì? TorchScript ?
Để cài đặt gói cần thiết để xuất mô hình YOLO11, hãy sử dụng lệnh sau:
Để được hướng dẫn chi tiết, hãy truy cập Ultralytics Hướng dẫn cài đặt. Nếu có bất kỳ sự cố nào phát sinh trong quá trình cài đặt, hãy tham khảo hướng dẫn Các vấn đề thường gặp.
Làm thế nào để triển khai xuất khẩu của tôi TorchScript Người mẫu YOLO11?
Sau khi xuất các mô hình YOLO11 sang TorchScript định dạng, bạn có thể triển khai chúng trên nhiều nền tảng khác nhau:
- API C ++: Lý tưởng cho môi trường sản xuất chi phí thấp, hiệu quả cao.
- Triển khai di động: Sử dụng PyTorch Di động cho iOS và Android Ứng dụng.
- Triển khai đám mây: Sử dụng các dịch vụ như TorchServe để triển khai phía máy chủ có thể mở rộng.
Khám phá các hướng dẫn toàn diện để triển khai các mô hình trong các cài đặt này để tận dụng tối đa TorchScript'khả năng của nó.
