Phân tích so sánh các tùy chọn triển khai YOLO26#
YOLO26 hỗ trợ hơn 20 tùy chọn triển khai, mỗi tùy chọn được tối ưu cho một runtime, phần cứng mục tiêu hoặc nền tảng khác nhau — từ PyTorch và ONNX đến TensorRT, OpenVINO, CoreML, và các định dạng chuyên dụng cho NPU biên. Việc lựa chọn phương án phù hợp sẽ cân bằng giữa tốc độ inference, giới hạn phần cứng và độ dễ tích hợp. Hướng dẫn này so sánh từng tùy chọn để bạn có thể chọn giải pháp phù hợp nhất cho ứng dụng của mình, sau đó chuyển sang best practices triển khai mô hình để triển khai một cách đáng tin cậy.
Watch: How to Choose the Best Ultralytics YOLO26 Deployment Format for Your Project | TensorRT | OpenVINO 🚀
Triển khai là giai đoạn trong quy trình dự án computer vision nơi mô hình đã được train bắt đầu thực hiện các tác vụ thực tế, vì vậy định dạng bạn xuất ra có tác động trực tiếp đến tốc độ, chi phí và tính di động.
Cách chọn tùy chọn triển khai phù hợp cho mô hình YOLO26 của bạn#
Khi đến lúc triển khai mô hình YOLO26 của bạn, việc lựa chọn định dạng xuất phù hợp là rất quan trọng. Như được nêu trong tài liệu xuất YOLO26 của Ultralytics, hàm model.export() chuyển đổi mô hình đã train của bạn thành nhiều định dạng khác nhau được tùy chỉnh cho các môi trường và yêu cầu hiệu suất đa dạng.
Định dạng lý tưởng phụ thuộc vào môi trường vận hành dự kiến và phần cứng của model.
Đối với việc triển khai có quản lý mà không cần xuất thủ công, Ultralytics Platform cung cấp các inference endpoint sẵn sàng sử dụng với khả năng tự động mở rộng trên 42 khu vực toàn cầu.
Các tùy chọn triển khai của YOLO26#
Dưới đây là mô tả ngắn gọn về từng định dạng và thời điểm nên sử dụng. Để xem hướng dẫn xuất đầy đủ, hãy xem tài liệu xuất; để xem các tiêu chí so sánh song song, hãy chuyển đến bảng so sánh.
- PyTorch (
.pt): Định dạng train và inference gốc, mang lại tính linh hoạt tối đa và khả năng tăng tốc GPU thông qua NVIDIA CUDA hoặc AMD ROCm — lý tưởng cho nghiên cứu và tạo mẫu mà không cần bước xuất mô hình. - TorchScript (
torchscript): Tuần tự hóa mô hình cho runtime C++ không cần Python, phù hợp với các hệ thống production nơi Python không khả dụng. - ONNX (
onnx): Định dạng trung gian bất kể framework với khả năng hỗ trợ đa nền tảng và phần cứng rộng rãi thông qua ONNX Runtime. - OpenVINO (
openvino): Bộ công cụ của Intel để inference được tối ưu hóa trên CPU Intel, GPU tích hợp và NPU, phổ biến trong IoT và edge computing. - TensorRT (
engine): Runtime hiệu suất cao của NVIDIA mang lại khả năng inference GPU hàng đầu với tối ưu hóa FP16 và INT8. - CoreML (
coreml): Định dạng trên thiết bị của Apple dành cho iOS, macOS, watchOS và tvOS, sử dụng Apple Neural Engine. - TF SavedModel (
saved_model): Định dạng chuẩn của TensorFlow để phục vụ phía server có khả năng mở rộng với TensorFlow Serving. - TF GraphDef (
pb): Định dạng TensorFlow đồ thị tĩnh đã được đóng băng cho các môi trường cần đồ thị tính toán cố định. - TF Edge TPU (
edgetpu): Biên dịch các mô hình.tflitecho bộ tăng tốc Google Coral Edge TPU. - LiteRT (
litert): Runtime trên thiết bị của Google (trước đây là TensorFlow Lite) cho thiết bị di động, nhúng và trình duyệt inference từ một mô hình.tfliteduy nhất, hỗ trợ FP32 và INT8 cùng khả năng thực thi trong trình duyệt qua LiteRT.js. - PaddlePaddle (
paddle): Framework deep learning của Baidu, phổ biến tại Trung Quốc, với sự hỗ trợ phần cứng rộng rãi. - MNN (
mnn): Engine inference trọng lượng nhẹ, hiệu suất cao được tối ưu hóa cho các hệ thống ARM và x86-64 di động và nhúng. - NCNN (
ncnn): Framework inference trọng lượng nhẹ, hiệu suất cao được tinh chỉnh cho các thiết bị ARM di động. - Sony IMX500 (
imx): Xuất dữ liệu cho cảm biến thị giác thông minh IMX500 của Sony với khả năng xử lý trên chip, chẳng hạn như Raspberry Pi AI Camera. - Rockchip RKNN (
rknn): Nhắm mục tiêu vào các NPU Rockchip trên bo mạch nhúng với lượng tử hóa FP16 và INT8. - ExecuTorch (
executorch): Runtime trên thiết bị gốc của PyTorch cho thiết bị di động (iOS và Android) và hệ thống nhúng thông qua XNNPACK. - Axelera AI (
axelera): Biên dịch cho Metis AIPU của Axelera (lên tới 856 TOPS) qua PCIe hoặc M.2 cho inference biên thông lượng cao. - DEEPX (
deepx): Nhắm mục tiêu phần cứng NPU DEEPX với lượng tử hóa INT8 cho inference biên nhúng. - Qualcomm QNN (
qnn): Inference trên thiết bị trên Snapdragon Hexagon NPU, Adreno GPU và CPU thông qua bộ công cụ Qualcomm AI.
Tích hợp Hailo integration xuất các mô hình phát hiện, phân đoạn, phân đoạn ngữ nghĩa, ước tính chiều sâu, phân loại, pose và OBB của YOLO trực tiếp sang Hailo HEF; xem bảng tương thích của nó để biết các mô hình và mục tiêu đã được xác thực. Tích hợp Ambarella integration tuân theo quy trình ưu tiên ONNX và biên dịch các bản xuất ONNX sang định dạng AmbaPB với chuỗi công cụ CVflow của Ambarella dành cho các SoC CVflow® như CV72, tùy ý sử dụng quá trình train nhận biết nén SpongeTorch. Tích hợp Huawei Ascend integration biên dịch các bản xuất ONNX sang định dạng ngoại tuyến .om bằng trình biên dịch CANN ATC để inference FP16 trên các Bộ xử lý AI Ascend.
So sánh các tùy chọn triển khai#
Bảng sau đây tóm tắt các tùy chọn triển khai cho các mô hình YOLO26 trên các tiêu chí thường quyết định sự lựa chọn. Để có cái nhìn sâu hơn về từng định dạng, hãy xem tài liệu định dạng xuất.
| Tùy chọn Triển khai | Điểm chuẩn hiệu năng | Khả năng tương thích và Tích hợp | Hỗ trợ cộng đồng và Hệ sinh thái | Nghiên cứu điển hình | Bảo trì và Cập nhật | Cân nhắc về Bảo mật | Tăng tốc phần cứng |
|---|---|---|---|---|---|---|---|
| PyTorch | Tính linh hoạt tốt; có thể đánh đổi hiệu năng thô | Tuyệt vời với các thư viện Python | Nguồn tài nguyên và cộng đồng rộng lớn | Nghiên cứu và tạo mẫu | Phát triển đều đặn, tích cực | Phụ thuộc vào môi trường triển khai | Hỗ trợ CUDA cho tăng tốc GPU |
| TorchScript | Tốt hơn cho môi trường production so với PyTorch | Chuyển đổi mượt mà từ PyTorch sang C++ | Chuyên biệt nhưng hẹp hơn so với PyTorch | Ngành công nghiệp nơi Python là điểm nghẽn | Cập nhật nhất quán với PyTorch | Cải thiện bảo mật mà không cần toàn bộ Python | Kế thừa hỗ trợ CUDA từ PyTorch |
| ONNX | Thay đổi tùy thuộc vào runtime | Cao trên các framework khác nhau | Hệ sinh thái rộng, được hỗ trợ bởi nhiều tổ chức | Tính linh hoạt trên các framework ML | Cập nhật thường xuyên cho các thao tác mới | Đảm bảo các thực hành chuyển đổi và triển khai an toàn | Nhiều tối ưu hóa phần cứng khác nhau |
| OpenVINO | Được tối ưu hóa cho phần cứng Intel | Tốt nhất trong hệ sinh thái Intel | Vững chắc trong lĩnh vực thị giác máy tính | IoT và biên với phần cứng Intel | Cập nhật thường xuyên cho phần cứng Intel | Các tính năng mạnh mẽ cho các ứng dụng nhạy cảm | Được thiết kế riêng cho phần cứng Intel |
| TensorRT | Hàng đầu trên GPU NVIDIA | Tốt nhất cho phần cứng NVIDIA | Mạng lưới mạnh mẽ thông qua NVIDIA | Suy luận video và hình ảnh thời gian thực | Cập nhật thường xuyên cho các GPU mới | Chú trọng vào bảo mật | Được thiết kế cho các GPU NVIDIA |
| CoreML | Được tối ưu hóa cho phần cứng Apple trên thiết bị | Độc quyền cho hệ sinh thái Apple | Hỗ trợ mạnh mẽ từ Apple và các nhà phát triển | ML trên thiết bị của các sản phẩm Apple | Các bản cập nhật thường xuyên từ Apple | Tập trung vào quyền riêng tư và bảo mật | Apple neural engine và GPU |
| TF SavedModel | Có khả năng mở rộng trong môi trường server | Khả năng tương thích rộng trong hệ sinh thái TensorFlow | Hỗ trợ lớn nhờ vào sự phổ biến của TensorFlow | Phục vụ các model ở quy mô lớn | Cập nhật thường xuyên bởi Google và cộng đồng | Các tính năng mạnh mẽ cho doanh nghiệp | Nhiều loại tăng tốc phần cứng khác nhau |
| TF GraphDef | Ổn định cho các biểu đồ tính toán tĩnh | Tích hợp tốt với cơ sở hạ tầng TensorFlow | Nguồn tài nguyên để tối ưu hóa các biểu đồ tĩnh | Các kịch bản yêu cầu đồ thị tĩnh | Cập nhật song song với TensorFlow core | Các thực tiễn bảo mật TensorFlow đã được thiết lập | Các tùy chọn tăng tốc TensorFlow |
| TF Edge TPU | Được tối ưu hóa cho phần cứng Edge TPU của Google | Dành riêng cho các thiết bị Edge TPU | Phát triển cùng các tài nguyên của Google và bên thứ ba | Thiết bị IoT yêu cầu xử lý thời gian thực | Các cải tiến cho phần cứng Edge TPU mới | Bảo mật IoT mạnh mẽ của Google | Được thiết kế tùy chỉnh cho Google Coral |
| LiteRT | Tốc độ và hiệu suất trên thiết bị di động/nhúng/web | Hỗ trợ di động, nhúng, edge và trình duyệt | Cộng đồng mạnh mẽ, được Google hỗ trợ | Các ứng dụng trên thiết bị trên Android, iOS và web | Các tính năng runtime trên thiết bị mới nhất | Suy luận bảo mật trên thiết bị và trong trình duyệt | Tăng tốc GPU, DSP và WebGPU |
| PaddlePaddle | Cạnh tranh, dễ sử dụng và có khả năng mở rộng | Hệ sinh thái Baidu, hỗ trợ ứng dụng rộng rãi | Phát triển nhanh chóng, đặc biệt là tại Trung Quốc | Thị trường Trung Quốc và xử lý ngôn ngữ | Tập trung vào các ứng dụng AI tại Trung Quốc | Chú trọng vào quyền riêng tư và bảo mật dữ liệu | Bao gồm các chip Kunlun của Baidu |
| MNN | Hiệu năng cao cho thiết bị di động | Hệ thống ARM di động, nhúng và CPU X86-64 | Cộng đồng ML di động/nhúng | Hiệu quả của hệ thống di động | Duy trì hiệu năng cao trên thiết bị di động | Ưu điểm bảo mật trên thiết bị | Tối ưu hóa cho CPU và GPU ARM |
| NCNN | Được tối ưu hóa cho các thiết bị dựa trên ARM di động | Các hệ thống ARM di động và nhúng | Cộng đồng ML di động/nhúng tuy ngách nhưng rất tích cực | Hiệu quả của hệ thống Android và ARM | Duy trì hiệu suất cao trên ARM | Ưu điểm bảo mật trên thiết bị | Tối ưu hóa cho CPU và GPU ARM |
| Sony IMX500 | Suy luận trên cảm biến với mức tiêu thụ điện năng rất thấp | Cảm biến Sony IMX500, Raspberry Pi AI Camera | Hệ sinh thái Sony AITRIOS | Edge AI trên camera | Cập nhật SDK của Sony và chuỗi công cụ MCT | Dữ liệu nằm trên cảm biến | Bộ tăng tốc trên chip Sony IMX500 |
| Rockchip RKNN | Tối ưu hóa cho Rockchip NPU | Các bo mạch Rockchip SoC (ví dụ: RK3588) | Cộng đồng nhà phát triển Rockchip | SBC nhúng và các thiết bị edge | Cập nhật Rockchip RKNN-Toolkit | Suy luận cục bộ trên thiết bị | Rockchip NPU |
| ExecuTorch | Runtime PyTorch hiệu quả trên thiết bị | iOS, Android, nhúng qua XNNPACK | Được hỗ trợ bởi dự án PyTorch | Các ứng dụng di động và nhúng | Được duy trì cùng với PyTorch | Suy luận trên thiết bị giúp giữ dữ liệu cục bộ | XNNPACK và các backend CPU/GPU di động |
| Axelera AI | Thông lượng rất cao (lên đến 856 TOPS) | Metis AIPU qua PCIe hoặc M.2 | Axelera Voyager SDK | Suy luận edge thông lượng cao | Cập nhật Axelera SDK | Suy luận edge tại chỗ | Axelera Metis AIPU |
| DEEPX | Suy luận NPU tối ưu hóa INT8 | Phần cứng DEEPX NPU | Công cụ nhà phát triển DEEPX (dx_com, dx_engine) | Suy luận edge nhúng | Cập nhật SDK và runtime DEEPX | Suy luận cục bộ trên thiết bị | DEEPX NPU |
| Qualcomm QNN | Suy luận Snapdragon nhanh trên thiết bị | Snapdragon Hexagon NPU, Adreno GPU, CPU | Hệ sinh thái Qualcomm AI Hub | Các thiết bị di động và edge Snapdragon | Cập nhật stack Qualcomm AI (QAIRT) | Suy luận trên thiết bị giúp giữ dữ liệu cục bộ | Snapdragon Hexagon NPU |
So sánh này cung cấp cho bạn cái nhìn tổng quan. Để triển khai, hãy cân nhắc các yêu cầu và giới hạn cụ thể của dự án của bạn đối với từng tùy chọn và tham khảo hướng dẫn tích hợp được liên kết cho định dạng mà bạn chọn.
Kết luận#
Nhiều định dạng xuất của YOLO26 cho phép bạn điều chỉnh mô hình cho hầu hết mọi môi trường, từ server GPU đám mây đến camera biên gắn trên cảm biến. Khi bạn đã chọn được định dạng, hãy tuân theo best practices triển khai mô hình để tối ưu hóa, khắc phục sự cố và bảo mật, đồng thời dựa vào Ultralytics community khi bạn gặp trở ngại.
Câu hỏi thường gặp#
Ultralytics YOLO26 hỗ trợ nhiều định dạng triển khai, mỗi định dạng được thiết kế cho các môi trường và nền tảng phần cứng cụ thể. Các định dạng chính bao gồm:
- PyTorch để nghiên cứu và tạo nguyên mẫu, với khả năng tích hợp Python tuyệt vời.
- TorchScript cho môi trường sản xuất nơi Python không khả dụng.
- ONNX để tương thích đa nền tảng và tăng tốc phần cứng.
- OpenVINO để có hiệu suất tối ưu trên phần cứng Intel.
- TensorRT để suy luận tốc độ cao trên GPU NVIDIA.
Mỗi định dạng đều có những ưu điểm riêng. Để có hướng dẫn chi tiết từng bước, hãy xem tài liệu quy trình xuất của chúng tôi.
Để tăng tốc độ suy luận trên CPU Intel, bạn có thể triển khai model YOLO26 của mình bằng bộ công cụ OpenVINO của Intel. OpenVINO mang lại khả năng tăng hiệu suất đáng kể bằng cách tối ưu hóa các model để tận dụng hiệu quả phần cứng Intel.
- Chuyển đổi mô hình YOLO26 của bạn sang định dạng OpenVINO bằng cách sử dụng hàm
model.export(). - Làm theo hướng dẫn thiết lập chi tiết trong tài liệu Xuất Intel OpenVINO.
Để biết thêm thông tin chi tiết, hãy xem bài đăng blog của chúng tôi.
- Chuyển đổi mô hình YOLO26 của bạn sang định dạng OpenVINO bằng cách sử dụng hàm
Có, các mô hình YOLO26 có thể được triển khai trên thiết bị di động bằng LiteRT (trước đây là TensorFlow Lite) và NCNN cho Android, và CoreML hoặc LiteRT cho iOS. LiteRT là runtime trên thiết bị của Google dành cho thiết bị di động và nhúng, chạy cùng một mô hình trên Android, iOS và trình duyệt, cung cấp khả năng inference trên thiết bị hiệu quả.
Ví dụ# Export command for NCNN format model.export(format="ncnn")Để biết thêm chi tiết về việc triển khai mô hình lên thiết bị di động, hãy tham khảo hướng dẫn tích hợp LiteRT của chúng tôi.
Khi chọn định dạng triển khai cho YOLO26, hãy xem xét các yếu tố sau:
- Hiệu suất: Một số định dạng như TensorRT cung cấp tốc độ vượt trội trên GPU NVIDIA, trong khi OpenVINO được tối ưu hóa cho phần cứng Intel.
- Tính tương thích: ONNX cung cấp khả năng tương thích rộng rãi trên các nền tảng khác nhau.
- Dễ dàng tích hợp: Các định dạng như CoreML hoặc LiteRT được tùy chỉnh cho các hệ sinh thái cụ thể như iOS và Android tương ứng.
- Hỗ trợ từ cộng đồng: Các định dạng như PyTorch và TensorFlow có nguồn lực và sự hỗ trợ phong phú từ cộng đồng.
Để phân tích so sánh, hãy tham khảo tài liệu định dạng xuất của chúng tôi.
Để triển khai các mô hình YOLO26 trong một ứng dụng web, bạn có thể sử dụng LiteRT.js, runtime web của LiteRT, cho phép chạy các mô hình machine learning trực tiếp trong trình duyệt và Node.js. Phương pháp này loại bỏ sự cần thiết của hạ tầng backend và mang lại hiệu suất thời gian thực.
- Xuất model YOLO26 sang định dạng LiteRT.
- Tích hợp model đã xuất vào ứng dụng web của bạn bằng LiteRT.js.
Để có hướng dẫn từng bước, hãy tham khảo hướng dẫn tích hợp LiteRT của chúng tôi.