Xuất Ultralytics YOLO sang NCNN#

Triển khai các model thị giác máy tính trên các thiết bị có năng lực tính toán hạn chế, chẳng hạn như hệ thống di động hoặc nhúng, đòi hỏi lựa chọn format cẩn thận. Sử dụng format được tối ưu hóa đảm bảo rằng ngay cả các thiết bị bị giới hạn tài nguyên cũng có thể xử lý hiệu quả các tác vụ thị giác máy tính nâng cao.

Xuất sang format NCNN cho phép bạn tối ưu hóa các model Ultralytics YOLO26 cho các ứng dụng nhẹ chạy trên thiết bị. Hướng dẫn này trình bày cách chuyển đổi model sang format NCNN để cải thiện hiệu năng trên thiết bị di động và nhúng.

Tại sao nên xuất sang NCNN?#

Framework NCNN, do Tencent phát triển, là một framework tính toán suy luận mạng nơ-ron hiệu năng cao, được tối ưu hóa riêng cho các nền tảng di động, bao gồm điện thoại di động, thiết bị nhúng và thiết bị IoT. NCNN tương thích với nhiều nền tảng, bao gồm Linux, Android, iOS và macOS.

NCNN nổi tiếng với tốc độ xử lý nhanh trên CPU di động và cho phép triển khai nhanh các model deep learning lên các nền tảng di động, khiến đây trở thành lựa chọn tuyệt vời để xây dựng các ứng dụng được hỗ trợ bởi AI.

Các tính năng chính của model NCNN#

Các model NCNN cung cấp nhiều tính năng chính hỗ trợ machine learning trên thiết bị, giúp developer triển khai model trên thiết bị di động, nhúng và edge:

• Hiệu quả và hiệu năng cao: Các model NCNN có kích thước nhỏ và được tối ưu hóa cho các thiết bị di động và nhúng như Raspberry Pi với tài nguyên hạn chế, đồng thời vẫn duy trì độ chính xác cao trong các tác vụ thị giác máy tính.

• Lượng tử hóa: NCNN hỗ trợ lượng tử hóa, một kỹ thuật làm giảm độ chính xác số của các trọng số và activation của model để cải thiện hiệu năng và giảm dung lượng bộ nhớ.

• Tính tương thích: Các model NCNN tương thích với các framework deep learning phổ biến, bao gồm TensorFlow, Caffe và ONNX, cho phép developer tận dụng các model và workflow hiện có.

• Dễ sử dụng: NCNN cung cấp các công cụ thân thiện với người dùng để chuyển đổi model giữa các format, đảm bảo khả năng tương tác liền mạch giữa các môi trường phát triển khác nhau.

• Tăng tốc GPU bằng Vulkan: NCNN hỗ trợ Vulkan để tăng tốc suy luận bằng GPU trên nhiều nhà cung cấp, bao gồm AMD, Intel và các GPU không phải NVIDIA khác, cho phép triển khai hiệu năng cao trên nhiều loại phần cứng hơn.

Các tùy chọn triển khai với NCNN#

Các model NCNN tương thích với nhiều nền tảng triển khai:

• Triển khai trên thiết bị di động: Được tối ưu hóa cho Android và iOS, cho phép tích hợp liền mạch vào các ứng dụng di động để thực hiện suy luận hiệu quả trên thiết bị.

• Hệ thống nhúng và thiết bị IoT: Lý tưởng cho các thiết bị bị giới hạn tài nguyên như Raspberry Pi và NVIDIA Jetson. Nếu suy luận tiêu chuẩn trên Raspberry Pi theo Hướng dẫn Ultralytics không đủ, NCNN có thể mang lại cải thiện hiệu năng đáng kể.

• Triển khai trên desktop và server: Hỗ trợ triển khai trên Linux, Windows và macOS cho các workflow phát triển, training và đánh giá.

Tăng tốc GPU bằng Vulkan#

NCNN hỗ trợ tăng tốc GPU thông qua Vulkan, cho phép suy luận hiệu năng cao trên nhiều GPU, bao gồm AMD, Intel và các card đồ họa không phải NVIDIA khác. Điều này đặc biệt hữu ích cho:

• Hỗ trợ GPU đa nhà cung cấp: Không giống CUDA, vốn chỉ giới hạn ở GPU NVIDIA, Vulkan hoạt động trên nhiều nhà cung cấp GPU.
• Hệ thống đa GPU: Chọn một thiết bị Vulkan cụ thể trong các hệ thống có nhiều GPU bằng device="vulkan:0", device="vulkan:1", v.v.
• Triển khai edge và desktop: Tận dụng tăng tốc GPU trên các thiết bị không hỗ trợ CUDA.

Để sử dụng tăng tốc Vulkan, hãy chỉ định thiết bị Vulkan khi chạy suy luận:

from ultralytics import YOLO

# Load the exported NCNN model
ncnn_model = YOLO("./yolo26n_ncnn_model")

# Run inference with Vulkan GPU acceleration (first Vulkan device)
results = ncnn_model("https://ultralytics.com/images/bus.jpg", device="vulkan:0")

# Use second Vulkan device in multi-GPU systems
results = ncnn_model("https://ultralytics.com/images/bus.jpg", device="vulkan:1")

Các Task được hỗ trợ#

Xuất NCNN hỗ trợ cả bảy tác vụ của Ultralytics. Phân đoạn ngữ nghĩa và ước tính độ sâu chỉ khả dụng với YOLO26, dòng duy nhất được cung cấp các head đó.

Xuất sang NCNN: Chuyển đổi model YOLO26#

Bạn có thể mở rộng khả năng tương thích của model và tính linh hoạt khi triển khai bằng cách chuyển đổi các model YOLO26 sang format NCNN.

Cài đặt#

Để cài đặt các package bắt buộc, hãy chạy:

# Install the required package for YOLO26
pip install ultralytics

Để xem hướng dẫn chi tiết và các phương pháp hay nhất, hãy tham khảo hướng dẫn cài đặt Ultralytics. Nếu gặp khó khăn, hãy xem hướng dẫn Các sự cố thường gặp để tìm giải pháp.

Cách sử dụng#

Tất cả model Ultralytics YOLO26 đều được thiết kế để hỗ trợ xuất ngay khi cài đặt, giúp dễ dàng tích hợp vào quy trình triển khai mà bạn lựa chọn. Bạn có thể xem danh sách đầy đủ các định dạng xuất và tùy chọn cấu hình được hỗ trợ để chọn thiết lập phù hợp nhất cho ứng dụng của mình.

Format NCNN hỗ trợ các mode Export, Predict và Validate. Hãy xuất model, sau đó load model đã xuất để chạy suy luận hoặc xác thực độ chính xác.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to NCNN format
model.export(format="ncnn")  # creates 'yolo26n_ncnn_model'

from ultralytics import YOLO

# Load the exported NCNN model
model = YOLO("./yolo26n_ncnn_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported NCNN model
model = YOLO("./yolo26n_ncnn_model")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Đối số Export#

Để biết thêm chi tiết về quy trình export, hãy truy cập trang tài liệu Ultralytics về export.

Triển khai các model YOLO26 NCNN đã xuất#

Sau khi xuất các model Ultralytics YOLO26 sang format NCNN, bạn có thể triển khai chúng bằng phương thức YOLO("yolo26n_ncnn_model/") như trong ví dụ sử dụng ở trên. Để xem hướng dẫn triển khai theo từng nền tảng, hãy tham khảo các tài nguyên sau:

• Android: Build và tích hợp các model NCNN để phát hiện đối tượng trong các ứng dụng Android.

• macOS: Triển khai các model NCNN trên hệ thống macOS.

• Linux: Triển khai các model NCNN trên thiết bị Linux, bao gồm Raspberry Pi và các hệ thống nhúng tương tự.

• Windows x64: Triển khai các model NCNN trên Windows x64 bằng Visual Studio.

Tóm tắt#

Hướng dẫn này đã trình bày cách xuất các model Ultralytics YOLO26 sang format NCNN để cải thiện hiệu quả và tốc độ trên các thiết bị bị giới hạn tài nguyên.

Để biết thêm chi tiết, hãy tham khảo tài liệu NCNN chính thức. Để xem các tùy chọn xuất khác, hãy truy cập trang hướng dẫn tích hợp của chúng tôi.

FAQ#