Understanding YOLO11's Deployment Options

Giới thiệu

You've come a long way on your journey with YOLO11. You've diligently collected data, meticulously annotated it, and put in the hours to train and rigorously evaluate your custom YOLO11 model. Now, it's time to put your model to work for your specific application, use case, or project. But there's a critical decision that stands before you: how to export and deploy your model effectively.

This guide walks you through YOLO11's deployment options and the essential factors to consider to choose the right option for your project.

How to Select the Right Deployment Option for Your YOLO11 Model

When it's time to deploy your YOLO11 model, selecting a suitable export format is very important. As outlined in the Ultralytics YOLO11 Modes documentation, the model.export() function allows for converting your trained model into a variety of formats tailored to diverse environments and performance requirements.

Định dạng lý tưởng phụ thuộc vào bối cảnh hoạt động dự định của mô hình, cân bằng tốc độ, hạn chế phần cứng và dễ tích hợp. Trong phần sau, chúng ta sẽ xem xét kỹ hơn từng tùy chọn xuất, hiểu khi nào nên chọn từng tùy chọn.

YOLO11's Deployment Options

Let's walk through the different YOLO11 deployment options. For a detailed walkthrough of the export process, visit the Ultralytics documentation page on exporting.

PyTorch

PyTorch is an open-source machine learning library widely used for applications in deep learning and artificial intelligence. It provides a high level of flexibility and speed, which has made it a favorite among researchers and developers.

• Điểm chuẩn hiệu suất: PyTorch được biết đến với tính dễ sử dụng và tính linh hoạt, điều này có thể dẫn đến sự đánh đổi nhẹ về hiệu suất thô khi so sánh với các khung khác chuyên biệt và tối ưu hóa hơn.

• Khả năng tương thích và tích hợp: Cung cấp khả năng tương thích tuyệt vời với các thư viện khoa học dữ liệu và học máy khác nhau trong Python.

• Hệ sinh thái và hỗ trợ cộng đồng: Một trong những cộng đồng sôi động nhất, với các nguồn lực phong phú để học tập và khắc phục sự cố.

• Nghiên cứu điển hình: Thường được sử dụng trong các nguyên mẫu nghiên cứu, nhiều bài báo học thuật tham khảo các mô hình được triển khai trong PyTorch.

• Bảo trì và cập nhật: Cập nhật thường xuyên với sự phát triển tích cực và hỗ trợ cho các tính năng mới.

• Cân nhắc về bảo mật: Các bản vá thường xuyên cho các vấn đề bảo mật, nhưng bảo mật chủ yếu phụ thuộc vào môi trường tổng thể mà nó được triển khai.

• Tăng tốc phần cứng: Hỗ trợ CUDA cho GPU Tăng tốc, điều cần thiết để tăng tốc độ đào tạo và suy luận mô hình.

TorchScript

TorchScript Kéo dài PyTorchKhả năng của bằng cách cho phép xuất các mô hình được chạy trong môi trường thời gian chạy C ++. Điều này làm cho nó phù hợp với môi trường sản xuất nơi Python không có sẵn.

• Điểm chuẩn hiệu suất: Có thể cung cấp hiệu suất được cải thiện so với bản địa PyTorch, đặc biệt là trong môi trường sản xuất.

• Khả năng tương thích và tích hợp: Được thiết kế để chuyển đổi liền mạch từ PyTorch sang môi trường sản xuất C++, mặc dù một số tính năng nâng cao có thể không dịch hoàn hảo.

• Hỗ trợ cộng đồng và hệ sinh thái: Lợi ích từ PyTorchcộng đồng lớn nhưng có phạm vi hẹp hơn của các nhà phát triển chuyên ngành.

• Nghiên cứu điển hình: Được sử dụng rộng rãi trong các thiết lập công nghiệp nơi PythonChi phí hoạt động của chi phí là một nút cổ chai.

• Bảo trì và cập nhật: Được duy trì cùng với PyTorch với các bản cập nhật nhất quán.

• Cân nhắc về bảo mật: Cung cấp bảo mật được cải thiện bằng cách cho phép chạy các mô hình trong môi trường không đầy đủ Python Cài đặt.

• Tăng tốc phần cứng: Kế thừa PyTorch's CUDA hỗ trợ, đảm bảo hiệu quả GPU Sử dụng.

ONNX

The Open Neural Network Exchange (ONNX) is a format that allows for model interoperability across different frameworks, which can be critical when deploying to various platforms.

• Điểm chuẩn hiệu suất: ONNX Các mô hình có thể gặp hiệu suất thay đổi tùy thuộc vào thời gian chạy cụ thể mà chúng được triển khai.

• Khả năng tương thích và tích hợp: Khả năng tương tác cao trên nhiều nền tảng và phần cứng do tính chất bất khả tri khung của nó.

• Hỗ trợ cộng đồng và hệ sinh thái: Được hỗ trợ bởi nhiều tổ chức, dẫn đến một hệ sinh thái rộng lớn và nhiều công cụ để tối ưu hóa.

• Nghiên cứu điển hình: Thường được sử dụng để di chuyển các mô hình giữa các khung học máy khác nhau, thể hiện tính linh hoạt của nó.

• Bảo trì và cập nhật: Là một tiêu chuẩn mở, ONNX được cập nhật thường xuyên để hỗ trợ các hoạt động và mô hình mới.

• Cân nhắc về bảo mật: Như với bất kỳ công cụ đa nền tảng nào, điều cần thiết là phải đảm bảo các biện pháp thực hành an toàn trong quy trình chuyển đổi và triển khai.

• Tăng tốc phần cứng: Với ONNX Thời gian chạy, các mô hình có thể tận dụng các tối ưu hóa phần cứng khác nhau.

OpenVINO

OpenVINO là một Intel Bộ công cụ được thiết kế để tạo điều kiện thuận lợi cho việc triển khai các mô hình deep learning trên toàn bộ Intel phần cứng, nâng cao hiệu suất và tốc độ.

• Điểm chuẩn hiệu suất: Được tối ưu hóa cụ thể cho Intel CPU, GPU và VPU, giúp tăng hiệu suất đáng kể trên phần cứng tương thích.

• Khả năng tương thích và tích hợp: Hoạt động tốt nhất trong Intel hệ sinh thái mà còn hỗ trợ một loạt các nền tảng khác.

• Community Support and Ecosystem: Backed by Intel, with a solid user base especially in the computer vision domain.

• Case Studies: Often utilized in IoT and edge computing scenarios where Intel hardware is prevalent.

• Bảo trì và cập nhật: Intel Cập nhật thường xuyên OpenVINO để hỗ trợ các mô hình deep learning mới nhất và Intel phần cứng.

• Cân nhắc về bảo mật: Cung cấp các tính năng bảo mật mạnh mẽ phù hợp để triển khai trong các ứng dụng nhạy cảm.

• Tăng tốc phần cứng: Được thiết kế riêng để tăng tốc trên Intel phần cứng, tận dụng các bộ hướng dẫn chuyên dụng và các tính năng phần cứng.

Để biết thêm chi tiết về cách triển khai bằng cách sử dụng OpenVINO, tham khảo Ultralytics Tài liệu tích hợp: Intel OpenVINO Xuất khẩu.

TensorRT

TensorRT là một trình tối ưu hóa suy luận deep learning hiệu suất cao và thời gian chạy từ NVIDIA, lý tưởng cho các ứng dụng cần tốc độ và hiệu quả.

• Điểm chuẩn hiệu suất: Mang lại hiệu suất hàng đầu trên NVIDIA GPU có hỗ trợ suy luận tốc độ cao.

• Khả năng tương thích và tích hợp: Phù hợp nhất cho NVIDIA phần cứng, với sự hỗ trợ hạn chế bên ngoài môi trường này.

• Hệ sinh thái và hỗ trợ cộng đồng: Mạng lưới hỗ trợ mạnh mẽ thông qua NVIDIADiễn đàn và tài liệu dành cho nhà phát triển.

• Nghiên cứu điển hình: Được áp dụng rộng rãi trong các ngành yêu cầu suy luận thời gian thực về dữ liệu video và hình ảnh.

• Bảo trì và cập nhật: NVIDIA Duy trì TensorRT với các bản cập nhật thường xuyên để nâng cao hiệu suất và hỗ trợ mới GPU Kiến trúc.

• Cân nhắc về bảo mật: Giống như nhiều NVIDIA Sản phẩm, nó nhấn mạnh vào bảo mật, nhưng chi tiết cụ thể phụ thuộc vào môi trường triển khai.

• Tăng tốc phần cứng: Được thiết kế dành riêng cho NVIDIA GPU, cung cấp khả năng tối ưu hóa và tăng tốc sâu.

CoreML

CoreML là khung học máy của Apple, được tối ưu hóa cho hiệu suất trên thiết bị trong hệ sinh thái Apple, bao gồm iOS, macOS, watchOS và tvOS.

• Điểm chuẩn hiệu suất: Được tối ưu hóa cho hiệu suất trên thiết bị trên phần cứng của Apple với mức sử dụng pin tối thiểu.

• Khả năng tương thích và tích hợp: Dành riêng cho hệ sinh thái của Apple, cung cấp quy trình làm việc hợp lý cho iOS và các ứng dụng macOS.

• Hệ sinh thái và hỗ trợ cộng đồng: Hỗ trợ mạnh mẽ từ Apple và cộng đồng nhà phát triển tận tâm, với các tài liệu và công cụ phong phú.

• Nghiên cứu điển hình: Thường được sử dụng trong các ứng dụng yêu cầu khả năng học máy trên thiết bị trên các sản phẩm của Apple.

• Bảo trì và cập nhật: Được Apple cập nhật thường xuyên để hỗ trợ các tiến bộ học máy mới nhất và phần cứng của Apple.

• Security Considerations: Benefits from Apple's focus on user privacy and data security.

• Tăng tốc phần cứng: Tận dụng tối đa công cụ thần kinh của Apple và GPU cho các tác vụ machine learning tăng tốc.

TF SavedModel

TF SavedModel Là TensorFlowĐịnh dạng của nó để lưu và phục vụ các mô hình học máy, đặc biệt phù hợp với môi trường máy chủ có thể mở rộng.

• Điểm chuẩn hiệu suất: Cung cấp hiệu suất có thể mở rộng trong môi trường máy chủ, đặc biệt là khi được sử dụng với TensorFlow Phục vụ.

• Khả năng tương thích và tích hợp: Khả năng tương thích rộng rãi trên toàn bộ TensorFlowHệ sinh thái của nó, bao gồm triển khai đám mây và máy chủ doanh nghiệp.

• Hỗ trợ cộng đồng và hệ sinh thái: Hỗ trợ cộng đồng lớn do TensorFlowSự phổ biến của nó, với một loạt các công cụ để triển khai và tối ưu hóa.

• Nghiên cứu điển hình: Được sử dụng rộng rãi trong môi trường sản xuất để phục vụ các mô hình deep learning ở quy mô lớn.

• Bảo trì và cập nhật: Được hỗ trợ bởi Google và TensorFlow cộng đồng, đảm bảo cập nhật thường xuyên và các tính năng mới.

• Cân nhắc về bảo mật: Triển khai bằng cách sử dụng TensorFlow Phục vụ bao gồm các tính năng bảo mật mạnh mẽ cho các ứng dụng cấp doanh nghiệp.

• Tăng tốc phần cứng: Hỗ trợ tăng tốc phần cứng khác nhau thông qua TensorFlow'phụ trợ.

TF GraphDef

TF GraphDef là một TensorFlow định dạng đại diện cho mô hình dưới dạng đồ thị, có lợi cho các môi trường yêu cầu đồ thị tính toán tĩnh.

• Điểm chuẩn hiệu suất: Cung cấp hiệu suất ổn định cho các biểu đồ tính toán tĩnh, tập trung vào tính nhất quán và độ tin cậy.

• Khả năng tương thích và tích hợp: Dễ dàng tích hợp bên trong TensorFlowcơ sở hạ tầng nhưng kém linh hoạt hơn so với SavedModel.

• Hỗ trợ cộng đồng và hệ sinh thái: Hỗ trợ tốt từ TensorFlowHệ sinh thái của nó, với nhiều tài nguyên có sẵn để tối ưu hóa đồ thị tĩnh.

• Nghiên cứu điển hình: Hữu ích trong các tình huống cần biểu đồ tĩnh, chẳng hạn như trong một số hệ thống nhúng nhất định.

• Bảo trì và cập nhật: Cập nhật thường xuyên cùng với TensorFlowcủa các bản cập nhật cốt lõi.

• Cân nhắc về bảo mật: Đảm bảo triển khai an toàn với TensorFlowđã được thiết lập các biện pháp bảo mật.

• Tăng tốc phần cứng: Có thể sử dụng TensorFlowCác tùy chọn tăng tốc phần cứng, mặc dù không linh hoạt như SavedModel.

TF Lite

TF Lite là TensorFlowGiải pháp của thiết bị di động và thiết bị nhúng, máy học, cung cấp một thư viện nhẹ để suy luận trên thiết bị.

• Điểm chuẩn hiệu suất: Được thiết kế cho tốc độ và hiệu quả trên thiết bị di động và thiết bị nhúng.

• Khả năng tương thích và tích hợp: Có thể được sử dụng trên nhiều loại thiết bị do tính chất nhẹ của nó.

• Hỗ trợ cộng đồng và hệ sinh thái: Được hỗ trợ bởi Google, nó có một cộng đồng mạnh mẽ và số lượng tài nguyên ngày càng tăng cho các nhà phát triển.

• Nghiên cứu điển hình: Phổ biến trong các ứng dụng di động yêu cầu suy luận trên thiết bị với dấu chân tối thiểu.

• Bảo trì và cập nhật: Cập nhật thường xuyên để bao gồm các tính năng và tối ưu hóa mới nhất cho thiết bị di động.

• Cân nhắc về bảo mật: Cung cấp một môi trường an toàn để chạy các mô hình trên thiết bị của người dùng cuối.

• Tăng tốc phần cứng: Hỗ trợ nhiều tùy chọn tăng tốc phần cứng, bao gồm GPU và DSP.

TF Cạnh TPU

TF Cạnh TPU được thiết kế để tính toán tốc độ cao, hiệu quả trên Google'Cạnh của TPU phần cứng, hoàn hảo cho các thiết bị IoT yêu cầu xử lý thời gian thực.

• Điểm chuẩn hiệu suất: Được tối ưu hóa đặc biệt để tính toán hiệu quả, tốc độ cao trên Google'Cạnh của TPU phần cứng.

• Khả năng tương thích và tích hợp: Hoạt động độc quyền với TensorFlow Các mẫu Lite trên Edge TPU Thiết bị.

• Hỗ trợ cộng đồng và hệ sinh thái: Hỗ trợ ngày càng tăng với các nguồn lực được cung cấp bởi Google và các nhà phát triển bên thứ ba.

• Nghiên cứu điển hình: Được sử dụng trong các thiết bị và ứng dụng IoT yêu cầu xử lý thời gian thực với độ trễ thấp.

• Bảo trì và cập nhật: Liên tục được cải tiến để tận dụng các khả năng của Edge mới TPU phát hành phần cứng.

• Cân nhắc về bảo mật: Tích hợp với GoogleBảo mật mạnh mẽ cho IoT và các thiết bị biên.

• Tăng tốc phần cứng: Được thiết kế tùy chỉnh để tận dụng tối đa lợi thế của Google Thiết bị san hô.

TF.Js

TensorFlow.js (TF.js) là một thư viện mang lại khả năng học máy trực tiếp cho trình duyệt, cung cấp một lĩnh vực khả năng mới cho các nhà phát triển web và người dùng. Nó cho phép tích hợp các mô hình học máy trong các ứng dụng web mà không cần cơ sở hạ tầng back-end.

• Điểm chuẩn hiệu suất: Cho phép học máy trực tiếp trong trình duyệt với hiệu suất hợp lý, tùy thuộc vào thiết bị khách.

• Khả năng tương thích và tích hợp: Khả năng tương thích cao với các công nghệ web, cho phép tích hợp dễ dàng vào các ứng dụng web.

• Hỗ trợ cộng đồng và hệ sinh thái: Hỗ trợ từ cộng đồng các nhà phát triển web và Node.js, với nhiều công cụ để triển khai các mô hình ML trong trình duyệt.

• Nghiên cứu điển hình: Lý tưởng cho các ứng dụng web tương tác được hưởng lợi từ học máy phía máy khách mà không cần xử lý phía máy chủ.

• Bảo trì và cập nhật: Được duy trì bởi TensorFlow nhóm với sự đóng góp từ cộng đồng nguồn mở.

• Cân nhắc bảo mật: Chạy trong ngữ cảnh an toàn của trình duyệt, sử dụng mô hình bảo mật của nền tảng web.

• Tăng tốc phần cứng: Hiệu suất có thể được nâng cao với các API dựa trên web truy cập tăng tốc phần cứng như WebGL.

PaddlePaddle

PaddlePaddle là một framework deep learning mã nguồn mở được phát triển bởi Baidu. Nó được thiết kế để vừa hiệu quả cho các nhà nghiên cứu vừa dễ sử dụng cho các nhà phát triển. Nó đặc biệt phổ biến ở Trung Quốc và cung cấp hỗ trợ chuyên biệt cho việc xử lý ngôn ngữ Trung Quốc.

• Điểm chuẩn hiệu suất: Cung cấp hiệu suất cạnh tranh tập trung vào tính dễ sử dụng và khả năng mở rộng.

• Khả năng tương thích và tích hợp: Được tích hợp tốt trong hệ sinh thái của Baidu và hỗ trợ một loạt các ứng dụng.

• Hỗ trợ cộng đồng và hệ sinh thái: Mặc dù cộng đồng nhỏ hơn trên toàn cầu, nhưng nó đang phát triển nhanh chóng, đặc biệt là ở Trung Quốc.

• Nghiên cứu điển hình: Thường được sử dụng ở thị trường Trung Quốc và bởi các nhà phát triển đang tìm kiếm các lựa chọn thay thế cho các khung chính khác.

• Bảo trì và cập nhật: Cập nhật thường xuyên với trọng tâm là phục vụ các ứng dụng và dịch vụ AI bằng tiếng Trung Quốc.

• Security Considerations: Emphasizes data privacy and security, catering to Chinese data governance standards.

• Tăng tốc phần cứng: Hỗ trợ tăng tốc phần cứng khác nhau, bao gồm cả chip Kunlun của Baidu.

NCNN

NCNN là một khung suy luận mạng nơ-ron hiệu suất cao được tối ưu hóa cho nền tảng di động. Nó nổi bật với tính chất nhẹ và hiệu quả, làm cho nó đặc biệt phù hợp với các thiết bị di động và nhúng, nơi tài nguyên bị hạn chế.

• Điểm chuẩn hiệu suất: Tối ưu hóa cao cho nền tảng di động, cung cấp suy luận hiệu quả trên các thiết bị dựa trên ARM.

• Khả năng tương thích và tích hợp: Thích hợp cho các ứng dụng trên điện thoại di động và các hệ thống nhúng có kiến trúc ARM.

• Hệ sinh thái và hỗ trợ cộng đồng: Được hỗ trợ bởi một cộng đồng thích hợp nhưng tích cực tập trung vào các ứng dụng ML di động và nhúng.

• Nghiên cứu điển hình: Được ưa chuộng cho các ứng dụng di động nơi hiệu quả và tốc độ là rất quan trọng Android và các hệ thống dựa trên ARM khác.

• Bảo trì và cập nhật: Liên tục được cải tiến để duy trì hiệu suất cao trên một loạt các thiết bị ARM.

• Cân nhắc về bảo mật: Tập trung vào việc chạy cục bộ trên thiết bị, tận dụng tính bảo mật vốn có của quá trình xử lý trên thiết bị.

• Tăng tốc phần cứng: Được thiết kế riêng cho CPU và GPU ARM, với các tối ưu hóa cụ thể cho các kiến trúc này.

Comparative Analysis of YOLO11 Deployment Options

The following table provides a snapshot of the various deployment options available for YOLO11 models, helping you to assess which may best fit your project needs based on several critical criteria. For an in-depth look at each deployment option's format, please see the Ultralytics documentation page on export formats.

Phân tích so sánh này cung cấp cho bạn một cái nhìn tổng quan cấp cao. Để triển khai, điều cần thiết là phải xem xét các yêu cầu và ràng buộc cụ thể của dự án của bạn và tham khảo tài liệu chi tiết và tài nguyên có sẵn cho từng tùy chọn.

Cộng đồng và Hỗ trợ

When you're getting started with YOLO11, having a helpful community and support can make a significant impact. Here's how to connect with others who share your interests and get the assistance you need.

Tham gia với cộng đồng rộng lớn hơn

• GitHub Discussions: The YOLO11 repository on GitHub has a "Discussions" section where you can ask questions, report issues, and suggest improvements.

• Ultralytics Máy chủ Discord: Ultralytics có máy chủ Discord , nơi bạn có thể tương tác với những người dùng và nhà phát triển khác.

Tài liệu và tài nguyên chính thức

• Ultralytics YOLO11 Docs: The official documentation provides a comprehensive overview of YOLO11, along with guides on installation, usage, and troubleshooting.

These resources will help you tackle challenges and stay updated on the latest trends and best practices in the YOLO11 community.

Kết thúc

In this guide, we've explored the different deployment options for YOLO11. We've also discussed the important factors to consider when making your choice. These options allow you to customize your model for various environments and performance requirements, making it suitable for real-world applications.

Don't forget that the YOLO11 and Ultralytics community is a valuable source of help. Connect with other developers and experts to learn unique tips and solutions you might not find in regular documentation. Keep seeking knowledge, exploring new ideas, and sharing your experiences.

Chúc bạn triển khai vui vẻ!

FAQ

What are the deployment options available for YOLO11 on different hardware platforms?

Ultralytics YOLO11 supports various deployment formats, each designed for specific environments and hardware platforms. Key formats include:

• PyTorch để nghiên cứu và tạo mẫu, với tuyệt vời Python Tích hợp.
• TorchScript Đối với môi trường sản xuất trong đó Python không có sẵn.
• ONNX để tương thích đa nền tảng và tăng tốc phần cứng.
• OpenVINO Để tối ưu hóa hiệu suất trên Intel phần cứng.
• TensorRT để suy luận tốc độ cao trên NVIDIA GPU.

Mỗi định dạng có những ưu điểm riêng. Để biết hướng dẫn chi tiết, hãy xem tài liệu quy trình xuất khẩu của chúng tôi.

How do I improve the inference speed of my YOLO11 model on an Intel CPU?

To enhance inference speed on Intel CPUs, you can deploy your YOLO11 model using Intel's OpenVINO toolkit. OpenVINO offers significant performance boosts by optimizing models to leverage Intel hardware efficiently.

1. Convert your YOLO11 model to the OpenVINO format using the model.export() chức năng.
2. Làm theo hướng dẫn thiết lập chi tiết trong Intel OpenVINO Tài liệu xuất khẩu.

Để biết thêm thông tin chi tiết, hãy xem bài đăng trên blog của chúng tôi.

Can I deploy YOLO11 models on mobile devices?

Yes, YOLO11 models can be deployed on mobile devices using TensorFlow Lite (TF Lite) for both Android and iOS platforms. TF Lite is designed for mobile and embedded devices, providing efficient on-device inference.

# Export command for TFLite format
model.export(format="tflite")

# CLI command for TFLite export
yolo export --format tflite

Để biết thêm chi tiết về việc triển khai các mô hình cho thiết bị di động, hãy tham khảo TF Hướng dẫn tích hợp Lite.

What factors should I consider when choosing a deployment format for my YOLO11 model?

When choosing a deployment format for YOLO11, consider the following factors:

• Hiệu suất: Một số định dạng như TensorRT Cung cấp tốc độ vượt trội trên NVIDIA GPU, trong khi OpenVINO được tối ưu hóa cho Intel phần cứng.
• Khả năng tương thích: ONNX Cung cấp khả năng tương thích rộng rãi trên các nền tảng khác nhau.
• Dễ tích hợp: Các định dạng như CoreML hoặc TF Lite được thiết kế riêng cho các hệ sinh thái cụ thể như iOS và AndroidTương ứng.
• Community Support: Formats like PyTorch and TensorFlow have extensive community resources and support.

Để biết phân tích so sánh, hãy tham khảo tài liệu về định dạng xuất khẩu của chúng tôi.

How can I deploy YOLO11 models in a web application?

To deploy YOLO11 models in a web application, you can use TensorFlow.js (TF.js), which allows for running machine learning models directly in the browser. This approach eliminates the need for backend infrastructure and provides real-time performance.

1. Export the YOLO11 model to the TF.js format.
2. Tích hợp mô hình đã xuất vào ứng dụng web của bạn.

Để biết hướng dẫn từng bước, hãy tham khảo hướng dẫn của chúng tôi về TensorFlow.js tích hợp.

📅 Created 11 months ago ✏️ Updated 6 days ago

Ý kiến