Meet YOLO26: next-gen vision AI.

Link to this sectionPhân tích so sánh các tùy chọn triển khai YOLO26#

Link to this sectionGiới thiệu#

Bạn đã đi một chặng đường dài trong hành trình cùng YOLO26. Bạn đã thu thập dữ liệu một cách cần mẫn, gán nhãn tỉ mỉ và dành nhiều thời gian để huấn luyện cũng như đánh giá nghiêm ngặt mô hình YOLO26 tùy chỉnh của mình. Bây giờ là lúc đưa mô hình vào thực tế cho ứng dụng, trường hợp sử dụng hoặc dự án cụ thể của bạn. Nhưng có một quyết định quan trọng đặt ra trước mắt bạn: làm thế nào để xuất và triển khai mô hình một cách hiệu quả.



Watch: How to Choose the Best Ultralytics YOLO26 Deployment Format for Your Project | TensorRT | OpenVINO 🚀

Hướng dẫn này sẽ giúp bạn tìm hiểu các tùy chọn triển khai của YOLO26 và những yếu tố thiết yếu cần cân nhắc để chọn phương án phù hợp nhất cho dự án của bạn.

Link to this sectionCách chọn tùy chọn triển khai phù hợp cho mô hình YOLO26 của bạn#

Khi đến lúc triển khai mô hình YOLO26, việc chọn định dạng xuất phù hợp là rất quan trọng. Như đã nêu trong tài liệu về Các chế độ của Ultralytics YOLO26, hàm model.export() cho phép bạn chuyển đổi mô hình đã huấn luyện sang nhiều định dạng được thiết kế riêng cho các môi trường và yêu cầu hiệu năng đa dạng.

Định dạng lý tưởng phụ thuộc vào môi trường vận hành dự kiến của mô hình, cân bằng giữa tốc độ, giới hạn phần cứng và khả năng tích hợp dễ dàng. Để triển khai được quản lý mà không cần xuất thủ công, Ultralytics Platform cung cấp các điểm cuối suy luận (inference endpoints) sẵn sàng sử dụng với khả năng tự động mở rộng trên 43 khu vực toàn cầu. Trong phần tiếp theo, chúng ta sẽ xem xét kỹ hơn từng tùy chọn xuất và tìm hiểu khi nào nên chọn phương án nào.

Link to this sectionCác tùy chọn triển khai của YOLO26#

Hãy cùng tìm hiểu các tùy chọn triển khai khác nhau của YOLO26. Để có hướng dẫn chi tiết về quy trình xuất, hãy truy cập trang tài liệu của Ultralytics về xuất mô hình.

Link to this sectionPyTorch#

PyTorch là một thư viện machine learning mã nguồn mở được sử dụng rộng rãi cho các ứng dụng trong deep learningtrí tuệ nhân tạo. Nó cung cấp mức độ linh hoạt và tốc độ cao, điều này đã biến nó trở thành lựa chọn yêu thích của các nhà nghiên cứu và lập trình viên.

  • Điểm chuẩn hiệu năng: PyTorch nổi tiếng về tính dễ sử dụng và linh hoạt, điều này có thể dẫn đến một sự đánh đổi nhỏ về hiệu năng thực tế khi so sánh với các framework chuyên biệt và tối ưu hóa hơn.
  • Khả năng tương thích và tích hợp: Cung cấp khả năng tương thích tuyệt vời với nhiều thư viện khoa học dữ liệu và machine learning trong Python.
  • Hỗ trợ cộng đồng và hệ sinh thái: Một trong những cộng đồng sôi động nhất, với nguồn tài nguyên phong phú để học tập và khắc phục sự cố.
  • Nghiên cứu điển hình: Thường được sử dụng trong các nguyên mẫu nghiên cứu, nhiều bài báo khoa học tham chiếu đến các mô hình được triển khai bằng PyTorch.
  • Bảo trì và cập nhật: Các bản cập nhật thường xuyên với sự phát triển tích cực và hỗ trợ cho các tính năng mới.
  • Cân nhắc về bảo mật: Các bản vá thường xuyên cho các vấn đề bảo mật, nhưng bảo mật phần lớn phụ thuộc vào môi trường tổng thể mà nó được triển khai.
  • Tăng tốc phần cứng: Hỗ trợ CUDA để tăng tốc GPU, điều cần thiết để tăng tốc độ huấn luyện và suy luận mô hình.

Link to this sectionTorchScript#

TorchScript mở rộng khả năng của PyTorch bằng cách cho phép xuất các mô hình để chạy trong môi trường runtime C++. Điều này làm cho nó phù hợp với các môi trường sản xuất nơi không có Python.

  • Điểm chuẩn hiệu năng: Có thể mang lại hiệu năng cải thiện so với PyTorch gốc, đặc biệt là trong môi trường sản xuất.
  • Khả năng tương thích và tích hợp: Được thiết kế để chuyển đổi liền mạch từ PyTorch sang môi trường sản xuất C++, mặc dù một số tính năng nâng cao có thể không chuyển đổi hoàn hảo.
  • Hỗ trợ cộng đồng và hệ sinh thái: Hưởng lợi từ cộng đồng lớn của PyTorch nhưng có phạm vi hẹp hơn về các nhà phát triển chuyên sâu.
  • Nghiên cứu điển hình: Được sử dụng rộng rãi trong các bối cảnh công nghiệp nơi chi phí vận hành (overhead) của Python là một nút thắt cổ chai.
  • Bảo trì và cập nhật: Được duy trì song song với PyTorch với các bản cập nhật nhất quán.
  • Cân nhắc về bảo mật: Cung cấp bảo mật cải thiện bằng cách cho phép chạy mô hình trong các môi trường không cài đặt đầy đủ Python.
  • Tăng tốc phần cứng: Thừa hưởng hỗ trợ CUDA của PyTorch, đảm bảo tận dụng GPU hiệu quả.

Link to this sectionONNX#

Open Neural Network Exchange (ONNX) là một định dạng cho phép khả năng tương tác của mô hình giữa các framework khác nhau, điều này có thể rất quan trọng khi triển khai trên nhiều nền tảng.

  • Điểm chuẩn hiệu năng: Các mô hình ONNX có thể có hiệu năng thay đổi tùy thuộc vào runtime cụ thể mà chúng được triển khai.
  • Khả năng tương thích và tích hợp: Khả năng tương tác cao trên nhiều nền tảng và phần cứng nhờ tính chất không phụ thuộc vào framework.
  • Hỗ trợ cộng đồng và hệ sinh thái: Được hỗ trợ bởi nhiều tổ chức, dẫn đến một hệ sinh thái rộng lớn và nhiều công cụ để tối ưu hóa.
  • Nghiên cứu điển hình: Thường được sử dụng để di chuyển các mô hình giữa các framework machine learning khác nhau, chứng minh tính linh hoạt của nó.
  • Bảo trì và cập nhật: Là một tiêu chuẩn mở, ONNX thường xuyên được cập nhật để hỗ trợ các thao tác và mô hình mới.
  • Cân nhắc về bảo mật: Giống như bất kỳ công cụ đa nền tảng nào, điều cần thiết là đảm bảo các thực hành an toàn trong quy trình chuyển đổi và triển khai.
  • Tăng tốc phần cứng: Với ONNX Runtime, các mô hình có thể tận dụng nhiều tối ưu hóa phần cứng khác nhau.

Link to this sectionOpenVINO#

OpenVINO là bộ công cụ Intel được thiết kế để tạo điều kiện thuận lợi cho việc triển khai các mô hình deep learning trên phần cứng Intel, nâng cao hiệu năng và tốc độ.

  • Điểm chuẩn hiệu năng: Được tối ưu hóa đặc biệt cho CPU, GPU và VPU của Intel, cung cấp khả năng tăng hiệu năng đáng kể trên phần cứng tương thích.
  • Khả năng tương thích và tích hợp: Hoạt động tốt nhất trong hệ sinh thái Intel nhưng cũng hỗ trợ một loạt các nền tảng khác.
  • Hỗ trợ cộng đồng và hệ sinh thái: Được Intel hỗ trợ, với cơ sở người dùng vững chắc, đặc biệt là trong lĩnh vực computer vision.
  • Nghiên cứu điển hình: Thường được sử dụng trong các kịch bản IoT và edge computing nơi phần cứng Intel phổ biến.
  • Bảo trì và cập nhật: Intel thường xuyên cập nhật OpenVINO để hỗ trợ các mô hình deep learning mới nhất và phần cứng Intel.
  • Cân nhắc về bảo mật: Cung cấp các tính năng bảo mật mạnh mẽ phù hợp để triển khai trong các ứng dụng nhạy cảm.
  • Tăng tốc phần cứng: Được thiết kế riêng để tăng tốc trên phần cứng Intel, tận dụng các tập lệnh chuyên dụng và các tính năng phần cứng.

Để biết thêm chi tiết về triển khai bằng OpenVINO, hãy tham khảo tài liệu Tích hợp của Ultralytics: Intel OpenVINO Export.

Link to this sectionTensorRT#

TensorRT là bộ tối ưu hóa suy luận deep learning hiệu năng cao và runtime từ NVIDIA, lý tưởng cho các ứng dụng cần tốc độ và hiệu quả.

  • Điểm chuẩn hiệu năng: Mang lại hiệu năng đỉnh cao trên GPU NVIDIA với hỗ trợ suy luận tốc độ cao.
  • Khả năng tương thích và tích hợp: Phù hợp nhất với phần cứng NVIDIA, với hỗ trợ hạn chế bên ngoài môi trường này.
  • Hỗ trợ cộng đồng và hệ sinh thái: Mạng lưới hỗ trợ mạnh mẽ thông qua các diễn đàn dành cho nhà phát triển và tài liệu của NVIDIA.
  • Nghiên cứu điển hình: Được áp dụng rộng rãi trong các ngành công nghiệp yêu cầu suy luận thời gian thực trên dữ liệu video và hình ảnh.
  • Bảo trì và cập nhật: NVIDIA duy trì TensorRT với các bản cập nhật thường xuyên để nâng cao hiệu năng và hỗ trợ các kiến trúc GPU mới.
  • Cân nhắc về bảo mật: Giống như nhiều sản phẩm của NVIDIA, nó chú trọng nhiều đến bảo mật, nhưng các chi tiết cụ thể phụ thuộc vào môi trường triển khai.
  • Tăng tốc phần cứng: Được thiết kế độc quyền cho GPU NVIDIA, cung cấp khả năng tối ưu hóa và tăng tốc sâu.

Để biết thêm thông tin về triển khai TensorRT, hãy xem hướng dẫn tích hợp TensorRT.

Link to this sectionCoreML#

CoreML là framework machine learning của Apple, được tối ưu hóa cho hiệu năng trên thiết bị trong hệ sinh thái Apple, bao gồm iOS, macOS, watchOS và tvOS.

  • Điểm chuẩn hiệu năng: Được tối ưu hóa cho hiệu năng trên thiết bị với phần cứng Apple và tiêu thụ pin tối thiểu.
  • Khả năng tương thích và tích hợp: Độc quyền cho hệ sinh thái của Apple, cung cấp quy trình làm việc tinh giản cho các ứng dụng iOS và macOS.
  • Hỗ trợ cộng đồng và hệ sinh thái: Sự hỗ trợ mạnh mẽ từ Apple và cộng đồng nhà phát triển chuyên dụng, với tài liệu và công cụ phong phú.
  • Nghiên cứu điển hình: Thường được sử dụng trong các ứng dụng yêu cầu khả năng machine learning trên thiết bị trên các sản phẩm của Apple.
  • Bảo trì và cập nhật: Được cập nhật thường xuyên bởi Apple để hỗ trợ các tiến bộ machine learning mới nhất và phần cứng Apple.
  • Cân nhắc về bảo mật: Hưởng lợi từ sự tập trung của Apple vào quyền riêng tư người dùng và bảo mật dữ liệu.
  • Tăng tốc phần cứng: Tận dụng triệt để Neural Engine và GPU của Apple cho các tác vụ machine learning tăng tốc.

Link to this sectionTF SavedModel#

TF SavedModel là định dạng của TensorFlow để lưu và phục vụ các mô hình machine learning, đặc biệt phù hợp cho các môi trường máy chủ có khả năng mở rộng.

  • Điểm chuẩn hiệu năng: Cung cấp hiệu năng có khả năng mở rộng trong môi trường máy chủ, đặc biệt là khi được sử dụng với TensorFlow Serving.
  • Khả năng tương thích và tích hợp: Khả năng tương thích rộng rãi trên hệ sinh thái của TensorFlow, bao gồm triển khai trên đám mây và máy chủ doanh nghiệp.
  • Hỗ trợ cộng đồng và hệ sinh thái: Hỗ trợ cộng đồng lớn nhờ sự phổ biến của TensorFlow, với vô số công cụ để triển khai và tối ưu hóa.
  • Nghiên cứu điển hình: Được sử dụng rộng rãi trong môi trường sản xuất để phục vụ các mô hình deep learning ở quy mô lớn.
  • Bảo trì và cập nhật: Được hỗ trợ bởi Google và cộng đồng TensorFlow, đảm bảo các bản cập nhật thường xuyên và các tính năng mới.
  • Cân nhắc về bảo mật: Triển khai sử dụng TensorFlow Serving bao gồm các tính năng bảo mật mạnh mẽ cho các ứng dụng cấp doanh nghiệp.
  • Tăng tốc phần cứng: Hỗ trợ các tăng tốc phần cứng khác nhau thông qua các backend của TensorFlow.

Link to this sectionTF GraphDef#

TF GraphDef là một định dạng TensorFlow biểu diễn mô hình dưới dạng đồ thị, điều này có lợi cho các môi trường yêu cầu đồ thị tính toán tĩnh.

  • Điểm chuẩn hiệu năng: Cung cấp hiệu năng ổn định cho các đồ thị tính toán tĩnh, tập trung vào sự nhất quán và độ tin cậy.
  • Khả năng tương thích và tích hợp: Dễ dàng tích hợp trong cơ sở hạ tầng của TensorFlow nhưng kém linh hoạt hơn so với SavedModel.
  • Hỗ trợ cộng đồng và hệ sinh thái: Sự hỗ trợ tốt từ hệ sinh thái TensorFlow, với nhiều tài nguyên có sẵn để tối ưu hóa đồ thị tĩnh.
  • Nghiên cứu điển hình: Hữu ích trong các tình huống yêu cầu đồ thị tĩnh, chẳng hạn như trong một số hệ thống nhúng nhất định.
  • Bảo trì và cập nhật: Các bản cập nhật thường xuyên song song với các cập nhật cốt lõi của TensorFlow.
  • Cân nhắc về bảo mật: Đảm bảo triển khai an toàn với các thực hành bảo mật đã được thiết lập của TensorFlow.
  • Tăng tốc phần cứng: Có thể sử dụng các tùy chọn tăng tốc phần cứng của TensorFlow, mặc dù không linh hoạt bằng SavedModel.

Tìm hiểu thêm về TF GraphDef trong hướng dẫn tích hợp TF GraphDef của chúng tôi.

Link to this sectionTF Lite#

TF Lite là giải pháp của TensorFlow cho machine learning trên thiết bị di động và thiết bị nhúng, cung cấp một thư viện gọn nhẹ để suy luận trên thiết bị.

  • Điểm chuẩn hiệu năng: Được thiết kế cho tốc độ và hiệu quả trên các thiết bị di động và nhúng.
  • Khả năng tương thích và tích hợp: Có thể được sử dụng trên nhiều loại thiết bị nhờ tính chất gọn nhẹ của nó.
  • Hỗ trợ cộng đồng và hệ sinh thái: Được hỗ trợ bởi Google, nó có một cộng đồng vững mạnh và số lượng tài nguyên ngày càng tăng cho các nhà phát triển.
  • Nghiên cứu điển hình: Phổ biến trong các ứng dụng di động yêu cầu suy luận trên thiết bị với dung lượng tối thiểu.
  • Bảo trì và cập nhật: Được cập nhật thường xuyên để bao gồm các tính năng và tối ưu hóa mới nhất cho các thiết bị di động.
  • Cân nhắc về bảo mật: Cung cấp một môi trường an toàn để chạy các mô hình trên thiết bị người dùng cuối.
  • Tăng tốc phần cứng: Hỗ trợ nhiều tùy chọn tăng tốc phần cứng, bao gồm GPU và DSP.

Link to this sectionTF Edge TPU#

TF Edge TPU được thiết kế để tính toán hiệu quả, tốc độ cao trên phần cứng Edge TPU của Google, hoàn hảo cho các thiết bị IoT yêu cầu xử lý thời gian thực.

  • Điểm chuẩn hiệu năng: Được tối ưu hóa đặc biệt cho tính toán hiệu quả, tốc độ cao trên phần cứng Edge TPU của Google.
  • Khả năng tương thích và tích hợp: Hoạt động độc quyền với các mô hình TensorFlow Lite trên các thiết bị Edge TPU.
  • Hỗ trợ cộng đồng và hệ sinh thái: Sự hỗ trợ ngày càng tăng với các tài nguyên do Google và các nhà phát triển bên thứ ba cung cấp.
  • Nghiên cứu điển hình: Được sử dụng trong các thiết bị và ứng dụng IoT yêu cầu xử lý thời gian thực với độ trễ thấp.
  • Bảo trì và cập nhật: Được cải tiến liên tục để tận dụng các khả năng của các bản phát hành phần cứng Edge TPU mới.
  • Cân nhắc về bảo mật: Tích hợp với bảo mật mạnh mẽ của Google dành cho các thiết bị IoT và biên.
  • Tăng tốc phần cứng: Được thiết kế riêng để tận dụng triệt để các thiết bị Google Coral.

Link to this sectionHailo HEF#

Hailo HEF là một định dạng thực thi đã biên dịch dành cho các bộ tăng tốc AI của Hailo, bao gồm các thiết bị Hailo-8, Hailo-8L và Hailo-15. Các mô hình phát hiện YOLO của Ultralytics được xuất sang ONNX trước, sau đó được biên dịch sang HEF bằng trình biên dịch Hailo Dataflow Compiler bên ngoài. HEF không phải là mục tiêu xuất trực tiếp của Ultralytics; đối với các quy trình tăng tốc biên được hỗ trợ, hãy so sánh trước Axelera AIDeepX.

  • Điểm chuẩn hiệu năng: Phụ thuộc vào phần cứng Hailo, phiên bản Hailo SDK, tập lệnh mô hình, cấu hình NMS và dữ liệu hiệu chuẩn.
  • Khả năng tương thích và tích hợp: Chỉ dành cho các hệ thống nhúng được hỗ trợ bởi Hailo, các gateway công nghiệp và triển khai Raspberry Pi AI Kit.
  • Hỗ trợ cộng đồng và Hệ sinh thái: Được hỗ trợ thông qua Hailo Developer Zone, HailoRT, TAPPAS và Hailo Model Zoo.
  • Nghiên cứu điển hình: Hữu ích cho việc phát hiện vật thể thời gian thực trên các thiết bị camera, robot, kiểm soát truy cập, thành phố thông minh và kiểm tra công nghiệp.
  • Bảo trì và Cập nhật: Phụ thuộc vào các bản cập nhật của Hailo SDK, firmware và model-zoo cho các mục tiêu tăng tốc mới.
  • Cân nhắc về Bảo mật: Hỗ trợ suy luận cục bộ, trên thiết bị, nơi dữ liệu được lưu giữ tại biên (edge).
  • Tăng tốc phần cứng: Sử dụng quá trình thực thi của Hailo NPU thông qua các HEF artifact đã biên dịch.

Để biết quy trình làm việc từng bước, hãy xem hướng dẫn tích hợp Hailo.

Link to this sectionTF.js#

TensorFlow.js (TF.js) là một thư viện mang các khả năng machine learning trực tiếp vào trình duyệt, mở ra một lĩnh vực tiềm năng mới cho các nhà phát triển web và người dùng. Nó cho phép tích hợp các model machine learning vào các ứng dụng web mà không cần cơ sở hạ tầng back-end.

  • Điểm chuẩn hiệu năng: Cho phép thực hiện machine learning trực tiếp trong trình duyệt với hiệu năng hợp lý, tùy thuộc vào thiết bị của người dùng.
  • Khả năng tương thích và Tích hợp: Khả năng tương thích cao với các công nghệ web, cho phép tích hợp dễ dàng vào các ứng dụng web.
  • Hỗ trợ cộng đồng và Hệ sinh thái: Được hỗ trợ từ cộng đồng các nhà phát triển web và Node.js, với nhiều công cụ đa dạng để triển khai các model ML trong trình duyệt.
  • Nghiên cứu điển hình: Lý tưởng cho các ứng dụng web tương tác hưởng lợi từ machine learning phía client mà không cần xử lý phía server.
  • Bảo trì và Cập nhật: Được duy trì bởi đội ngũ TensorFlow với sự đóng góp từ cộng đồng mã nguồn mở.
  • Cân nhắc về Bảo mật: Chạy trong ngữ cảnh bảo mật của trình duyệt, tận dụng mô hình bảo mật của nền tảng web.
  • Tăng tốc phần cứng: Hiệu năng có thể được nâng cao với các API dựa trên web có khả năng truy cập tăng tốc phần cứng như WebGL.

Link to this sectionPaddlePaddle#

PaddlePaddle là một framework deep learning mã nguồn mở được phát triển bởi Baidu. Nó được thiết kế để vừa hiệu quả cho các nhà nghiên cứu vừa dễ sử dụng cho các nhà phát triển. Framework này đặc biệt phổ biến tại Trung Quốc và cung cấp hỗ trợ chuyên biệt cho việc xử lý ngôn ngữ tiếng Trung.

  • Điểm chuẩn hiệu năng: Cung cấp hiệu năng cạnh tranh với trọng tâm là tính dễ sử dụng và khả năng mở rộng.
  • Khả năng tương thích và Tích hợp: Được tích hợp tốt trong hệ sinh thái của Baidu và hỗ trợ một loạt các ứng dụng.
  • Hỗ trợ cộng đồng và Hệ sinh thái: Mặc dù cộng đồng toàn cầu còn nhỏ, nhưng đang phát triển nhanh chóng, đặc biệt là tại Trung Quốc.
  • Nghiên cứu điển hình: Thường được sử dụng tại các thị trường Trung Quốc và bởi các nhà phát triển đang tìm kiếm các giải pháp thay thế cho các framework lớn khác.
  • Bảo trì và Cập nhật: Được cập nhật thường xuyên với trọng tâm phục vụ các ứng dụng và dịch vụ AI bằng tiếng Trung.
  • Cân nhắc về Bảo mật: Nhấn mạnh vào quyền riêng tư dữ liệu và bảo mật, đáp ứng các tiêu chuẩn quản trị dữ liệu của Trung Quốc.
  • Tăng tốc phần cứng: Hỗ trợ nhiều loại tăng tốc phần cứng, bao gồm cả chip Kunlun của riêng Baidu.

Link to this sectionMNN#

MNN là một framework deep learning hiệu năng cao và gọn nhẹ. Nó hỗ trợ suy luận và huấn luyện các model deep learning và có hiệu năng hàng đầu trong ngành cho việc suy luận và huấn luyện trên thiết bị. Ngoài ra, MNN còn được sử dụng trên các thiết bị nhúng như IoT.

  • Điểm chuẩn hiệu năng: Hiệu năng cao cho các thiết bị di động với khả năng tối ưu hóa tuyệt vời cho các hệ thống ARM.
  • Khả năng tương thích và Tích hợp: Hoạt động tốt với các hệ thống di động, hệ thống nhúng ARM và kiến trúc CPU X86-64.
  • Hỗ trợ cộng đồng và Hệ sinh thái: Được hỗ trợ bởi cộng đồng machine learning di động và nhúng.
  • Nghiên cứu điển hình: Lý tưởng cho các ứng dụng đòi hỏi hiệu năng hiệu quả trên các hệ thống di động.
  • Bảo trì và Cập nhật: Được duy trì thường xuyên để đảm bảo hiệu năng cao trên các thiết bị di động.
  • Cân nhắc về Bảo mật: Cung cấp các lợi thế bảo mật trên thiết bị bằng cách giữ dữ liệu cục bộ.
  • Tăng tốc phần cứng: Được tối ưu hóa cho CPU và GPU ARM để đạt hiệu quả tối đa.

Link to this sectionNCNN#

NCNN là một framework suy luận mạng thần kinh hiệu năng cao được tối ưu hóa cho nền tảng di động. Nó nổi bật nhờ tính chất gọn nhẹ và hiệu quả, khiến nó đặc biệt phù hợp cho các thiết bị di động và nhúng nơi tài nguyên bị hạn chế.

  • Điểm chuẩn hiệu năng: Được tối ưu hóa cao cho các nền tảng di động, cung cấp khả năng suy luận hiệu quả trên các thiết bị dựa trên ARM.
  • Khả năng tương thích và Tích hợp: Phù hợp cho các ứng dụng trên điện thoại di động và hệ thống nhúng có kiến trúc ARM.
  • Hỗ trợ cộng đồng và Hệ sinh thái: Được hỗ trợ bởi một cộng đồng tuy nhỏ nhưng tích cực, tập trung vào các ứng dụng ML di động và nhúng.
  • Nghiên cứu điển hình: Được ưa chuộng cho các ứng dụng di động, nơi hiệu quả và tốc độ là yếu tố then chốt trên Android và các hệ thống dựa trên ARM khác.
  • Bảo trì và Cập nhật: Được cải tiến liên tục để duy trì hiệu năng cao trên hàng loạt các thiết bị ARM.
  • Cân nhắc về Bảo mật: Tập trung vào việc chạy cục bộ trên thiết bị, tận dụng tính bảo mật vốn có của quá trình xử lý trên thiết bị.
  • Tăng tốc phần cứng: Được thiết kế riêng cho CPU và GPU ARM, với các tối ưu hóa cụ thể cho các kiến trúc này.

Link to this sectionPhân tích so sánh các tùy chọn triển khai YOLO26#

Bảng sau đây cung cấp thông tin tổng quan về các tùy chọn triển khai khác nhau hiện có cho các model YOLO26, giúp bạn đánh giá tùy chọn nào phù hợp nhất với nhu cầu dự án dựa trên một số tiêu chí quan trọng. Để biết cái nhìn sâu sắc về định dạng của từng tùy chọn triển khai, vui lòng xem trang tài liệu Ultralytics về các định dạng xuất.

Tùy chọn Triển khaiĐiểm chuẩn hiệu năngKhả năng tương thích và Tích hợpHỗ trợ cộng đồng và Hệ sinh tháiNghiên cứu điển hìnhBảo trì và Cập nhậtCân nhắc về Bảo mậtTăng tốc phần cứng
PyTorchTính linh hoạt tốt; có thể đánh đổi hiệu năng thôTuyệt vời với các thư viện PythonNguồn tài nguyên và cộng đồng rộng lớnNghiên cứu và tạo mẫuPhát triển đều đặn, tích cựcPhụ thuộc vào môi trường triển khaiHỗ trợ CUDA cho tăng tốc GPU
TorchScriptTốt hơn cho môi trường production so với PyTorchChuyển đổi mượt mà từ PyTorch sang C++Chuyên biệt nhưng hẹp hơn so với PyTorchNgành công nghiệp nơi Python là điểm nghẽnCập nhật nhất quán với PyTorchCải thiện bảo mật mà không cần toàn bộ PythonKế thừa hỗ trợ CUDA từ PyTorch
ONNXThay đổi tùy thuộc vào runtimeCao trên các framework khác nhauHệ sinh thái rộng, được hỗ trợ bởi nhiều tổ chứcTính linh hoạt trên các framework MLCập nhật thường xuyên cho các thao tác mớiĐảm bảo các thực hành chuyển đổi và triển khai an toànNhiều tối ưu hóa phần cứng khác nhau
OpenVINOĐược tối ưu hóa cho phần cứng IntelTốt nhất trong hệ sinh thái IntelVững chắc trong lĩnh vực thị giác máy tínhIoT và biên với phần cứng IntelCập nhật thường xuyên cho phần cứng IntelCác tính năng mạnh mẽ cho các ứng dụng nhạy cảmĐược thiết kế riêng cho phần cứng Intel
TensorRTHàng đầu trên GPU NVIDIATốt nhất cho phần cứng NVIDIAMạng lưới mạnh mẽ thông qua NVIDIASuy luận video và hình ảnh thời gian thựcCập nhật thường xuyên cho các GPU mớiChú trọng vào bảo mậtĐược thiết kế cho các GPU NVIDIA
CoreMLĐược tối ưu hóa cho phần cứng Apple trên thiết bịĐộc quyền cho hệ sinh thái AppleHỗ trợ mạnh mẽ từ Apple và các nhà phát triểnML trên thiết bị của các sản phẩm AppleCác bản cập nhật thường xuyên từ AppleTập trung vào quyền riêng tư và bảo mậtApple neural engine và GPU
TF SavedModelCó khả năng mở rộng trong môi trường serverKhả năng tương thích rộng trong hệ sinh thái TensorFlowHỗ trợ lớn nhờ vào sự phổ biến của TensorFlowPhục vụ các model ở quy mô lớnCập nhật thường xuyên bởi Google và cộng đồngCác tính năng mạnh mẽ cho doanh nghiệpNhiều loại tăng tốc phần cứng khác nhau
TF GraphDefỔn định cho các biểu đồ tính toán tĩnhTích hợp tốt với cơ sở hạ tầng TensorFlowNguồn tài nguyên để tối ưu hóa các biểu đồ tĩnhCác kịch bản yêu cầu đồ thị tĩnhCập nhật song song với TensorFlow coreCác thực tiễn bảo mật TensorFlow đã được thiết lậpCác tùy chọn tăng tốc TensorFlow
TF LiteTốc độ và hiệu quả trên thiết bị di động/nhúngPhạm vi hỗ trợ thiết bị rộng rãiCộng đồng mạnh mẽ, được Google hỗ trợCác ứng dụng di động với dung lượng tối thiểuCác tính năng mới nhất cho thiết bị di độngMôi trường bảo mật trên thiết bị người dùng cuốiGPU và DSP cùng các thiết bị khác
TF Edge TPUĐược tối ưu hóa cho phần cứng Edge TPU của GoogleDành riêng cho các thiết bị Edge TPUPhát triển cùng các tài nguyên của Google và bên thứ baThiết bị IoT yêu cầu xử lý thời gian thựcCác cải tiến cho phần cứng Edge TPU mớiBảo mật IoT mạnh mẽ của GoogleĐược thiết kế tùy chỉnh cho Google Coral
Hailo HEFĐặc thù phần cứng và được biên dịch ngoại viCác thiết bị Hailo và Raspberry Pi AI KitHailo Developer Zone và Model ZooCác triển khai Hailo hiện cóCập nhật Hailo SDK và firmwareSuy luận trên thiết bị giúp giữ dữ liệu cục bộHailo NPU thông qua các artifact HEF
TF.jsHiệu suất trình duyệt hợp lýCao với các công nghệ webHỗ trợ các nhà phát triển web và Node.jsCác ứng dụng web tương tácNhóm TensorFlow và các đóng góp từ cộng đồngMô hình bảo mật nền tảng webĐược tăng cường với WebGL và các API khác
PaddlePaddleCạnh tranh, dễ sử dụng và có khả năng mở rộngHệ sinh thái Baidu, hỗ trợ ứng dụng rộng rãiPhát triển nhanh chóng, đặc biệt là tại Trung QuốcThị trường Trung Quốc và xử lý ngôn ngữTập trung vào các ứng dụng AI tại Trung QuốcChú trọng vào quyền riêng tư và bảo mật dữ liệuBao gồm các chip Kunlun của Baidu
MNNHiệu suất cao cho các thiết bị di động.Hệ thống ARM di động, nhúng và CPU X86-64Cộng đồng ML di động/nhúngHiệu quả của hệ thống di độngDuy trì hiệu suất cao trên các thiết bị di độngƯu điểm bảo mật trên thiết bịTối ưu hóa cho CPU và GPU ARM
NCNNĐược tối ưu hóa cho các thiết bị dựa trên ARM di độngCác hệ thống ARM di động và nhúngCộng đồng ML di động/nhúng tuy ngách nhưng rất tích cựcHiệu quả của hệ thống Android và ARMDuy trì hiệu suất cao trên ARMƯu điểm bảo mật trên thiết bịTối ưu hóa cho CPU và GPU ARM

Phân tích so sánh này cung cấp cho bạn cái nhìn tổng quan cấp cao. Đối với việc triển khai, điều quan trọng là cần xem xét các yêu cầu và hạn chế cụ thể của dự án, đồng thời tham khảo tài liệu chi tiết và tài nguyên có sẵn cho từng tùy chọn.

Link to this sectionCộng đồng và hỗ trợ#

Khi bạn bắt đầu với YOLO26, việc có một cộng đồng và sự hỗ trợ hữu ích có thể tạo ra tác động đáng kể. Dưới đây là cách kết nối với những người cùng sở thích và nhận sự hỗ trợ bạn cần.

Link to this sectionTham gia vào cộng đồng rộng lớn hơn#

  • GitHub Discussions: YOLO26 repository on GitHub có phần "Discussions" nơi bạn có thể đặt câu hỏi, báo cáo lỗi và đề xuất cải tiến.
  • Ultralytics Discord Server: Ultralytics có một Discord server nơi bạn có thể tương tác với những người dùng và nhà phát triển khác.

Link to this sectionTài liệu và tài nguyên chính thức#

  • Ultralytics YOLO26 Docs: Tài liệu chính thức cung cấp cái nhìn tổng quan toàn diện về YOLO26, cùng với các hướng dẫn về cài đặt, sử dụng và khắc phục sự cố.

Những tài nguyên này sẽ giúp bạn vượt qua các thách thức và cập nhật các xu hướng cũng như các thực tiễn tốt nhất trong cộng đồng YOLO26.

Link to this sectionKết luận#

Trong hướng dẫn này, chúng ta đã khám phá các tùy chọn triển khai khác nhau cho YOLO26. Chúng ta cũng đã thảo luận về các yếu tố quan trọng cần xem xét khi đưa ra lựa chọn của bạn. Những tùy chọn này cho phép bạn tùy chỉnh model của mình cho nhiều môi trường và yêu cầu hiệu suất khác nhau, giúp nó phù hợp cho các ứng dụng thực tế.

Đừng quên rằng YOLO26 và Cộng đồng Ultralytics là nguồn trợ giúp vô giá. Hãy kết nối với các nhà phát triển và chuyên gia khác để học hỏi các mẹo và giải pháp độc đáo mà bạn có thể không tìm thấy trong tài liệu thông thường. Hãy tiếp tục tìm kiếm tri thức, khám phá những ý tưởng mới và chia sẻ kinh nghiệm của bạn.

Link to this sectionCâu hỏi thường gặp#

Link to this sectionCác tùy chọn triển khai nào khả dụng cho YOLO26 trên các nền tảng phần cứng khác nhau?#

Ultralytics YOLO26 hỗ trợ nhiều định dạng triển khai, mỗi định dạng được thiết kế cho các môi trường và nền tảng phần cứng cụ thể. Các định dạng chính bao gồm:

  • PyTorch để nghiên cứu và tạo nguyên mẫu, với khả năng tích hợp Python tuyệt vời.
  • TorchScript cho môi trường sản xuất nơi Python không khả dụng.
  • ONNX để tương thích đa nền tảng và tăng tốc phần cứng.
  • OpenVINO để có hiệu suất tối ưu trên phần cứng Intel.
  • TensorRT để suy luận tốc độ cao trên GPU NVIDIA.

Mỗi định dạng đều có những ưu điểm riêng. Để xem hướng dẫn chi tiết, hãy xem tài liệu quy trình xuất của chúng tôi.

Link to this sectionLàm thế nào để tôi cải thiện tốc độ suy luận của model YOLO26 trên CPU Intel?#

Để tăng tốc độ suy luận trên CPU Intel, bạn có thể triển khai model YOLO26 của mình bằng bộ công cụ OpenVINO của Intel. OpenVINO mang lại khả năng tăng hiệu suất đáng kể bằng cách tối ưu hóa các model để tận dụng hiệu quả phần cứng Intel.

  1. Chuyển đổi model YOLO26 của bạn sang định dạng OpenVINO bằng hàm model.export().
  2. Thực hiện theo hướng dẫn thiết lập chi tiết trong Tài liệu xuất Intel OpenVINO.

Để có thêm thông tin chuyên sâu, hãy xem bài viết trên blog của chúng tôi.

Link to this sectionTôi có thể triển khai các model YOLO26 trên thiết bị di động không?#

Có, các model YOLO26 có thể được triển khai trên thiết bị di động bằng TensorFlow Lite (TF Lite) cho cả nền tảng Android và iOS. TF Lite được thiết kế cho thiết bị di động và thiết bị nhúng, cung cấp khả năng suy luận trên thiết bị hiệu quả.

Ví dụ
# Export command for TFLite format
model.export(format="tflite")

Để biết thêm chi tiết về cách triển khai model lên thiết bị di động, hãy tham khảo hướng dẫn tích hợp TF Lite của chúng tôi.

Link to this sectionTôi nên xem xét các yếu tố nào khi chọn định dạng triển khai cho model YOLO26 của mình?#

Khi chọn định dạng triển khai cho YOLO26, hãy xem xét các yếu tố sau:

  • Hiệu suất: Một số định dạng như TensorRT cung cấp tốc độ vượt trội trên GPU NVIDIA, trong khi OpenVINO được tối ưu hóa cho phần cứng Intel.
  • Tính tương thích: ONNX cung cấp khả năng tương thích rộng rãi trên các nền tảng khác nhau.
  • Dễ dàng tích hợp: Các định dạng như CoreML hoặc TF Lite được thiết kế riêng cho các hệ sinh thái cụ thể như iOS và Android.
  • Hỗ trợ cộng đồng: Các định dạng như PyTorch và TensorFlow có nguồn lực cộng đồng và sự hỗ trợ rộng khắp.

Để phân tích so sánh, hãy tham khảo tài liệu về định dạng xuất của chúng tôi.

Link to this sectionLàm thế nào để tôi triển khai các model YOLO26 trong một ứng dụng web?#

Để triển khai các model YOLO26 trong ứng dụng web, bạn có thể sử dụng TensorFlow.js (TF.js), cho phép chạy các model học máy trực tiếp trên trình duyệt. Cách tiếp cận này loại bỏ nhu cầu về cơ sở hạ tầng backend và mang lại hiệu suất thời gian thực.

  1. Xuất model YOLO26 sang định dạng TF.js.
  2. Tích hợp model đã xuất vào ứng dụng web của bạn.

Để có hướng dẫn từng bước, hãy tham khảo hướng dẫn của chúng tôi về Tích hợp TensorFlow.js.

Bình luận