Xuất Ultralytics YOLO sang NCNN

Việc triển khai các mô hình thị giác máy tính trên các thiết bị có năng lực tính toán hạn chế, chẳng hạn như thiết bị di động hoặc hệ thống nhúng, đòi hỏi phải lựa chọn định dạng kỹ lưỡng. Sử dụng định dạng được tối ưu hóa đảm bảo rằng ngay cả các thiết bị hạn chế về tài nguyên cũng có thể xử lý các tác vụ thị giác máy tính nâng cao một cách hiệu quả.

Xuất sang định dạng NCNN cho phép bạn tối ưu hóa các mô hình Ultralytics YOLO26 của mình cho các ứng dụng dựa trên thiết bị nhẹ. Hướng dẫn này bao gồm cách chuyển đổi mô hình của bạn sang định dạng NCNN để cải thiện hiệu suất trên thiết bị di động và thiết bị nhúng.

Tại sao nên xuất sang NCNN?

Framework NCNN, được phát triển bởi Tencent, là một framework tính toán suy luận mạng thần kinh hiệu suất cao được tối ưu hóa đặc biệt cho các nền tảng di động, bao gồm điện thoại di động, thiết bị nhúng và thiết bị IoT. NCNN tương thích với nhiều nền tảng, bao gồm Linux, Android, iOS và macOS.

NCNN được biết đến với tốc độ xử lý nhanh trên CPU di động và cho phép triển khai nhanh chóng các mô hình học sâu lên nền tảng di động, biến nó thành lựa chọn tuyệt vời để xây dựng các ứng dụng hỗ trợ AI.

Các tính năng chính của mô hình NCNN

Các mô hình NCNN cung cấp một số tính năng chính hỗ trợ học máy trên thiết bị, giúp các nhà phát triển triển khai mô hình trên thiết bị di động, thiết bị nhúng và thiết bị biên:

• Hiệu quả và Hiệu suất cao: Các mô hình NCNN có dung lượng nhẹ và được tối ưu hóa cho các thiết bị di động và nhúng như Raspberry Pi với tài nguyên hạn chế, đồng thời vẫn duy trì độ chính xác cao trong các tác vụ thị giác máy tính.

• Lượng tử hóa (Quantization): NCNN hỗ trợ lượng tử hóa, một kỹ thuật giúp giảm độ chính xác của trọng số và giá trị kích hoạt của mô hình để cải thiện hiệu suất và giảm mức sử dụng bộ nhớ.

• Khả năng tương thích: Các mô hình NCNN tương thích với các framework học sâu phổ biến bao gồm TensorFlow, Caffe và ONNX, cho phép các nhà phát triển tận dụng các mô hình và quy trình làm việc hiện có.

• Dễ sử dụng: NCNN cung cấp các công cụ thân thiện với người dùng để chuyển đổi mô hình giữa các định dạng, đảm bảo khả năng tương tác mượt mà giữa các môi trường phát triển khác nhau.

• Tăng tốc GPU Vulkan: NCNN hỗ trợ Vulkan cho suy luận tăng tốc GPU trên nhiều nhà cung cấp bao gồm AMD, Intel và các GPU không phải NVIDIA khác, cho phép triển khai hiệu suất cao trên phạm vi phần cứng rộng hơn.

Các tùy chọn triển khai với NCNN

Các mô hình NCNN tương thích với nhiều nền tảng triển khai:

• Triển khai di động: Được tối ưu hóa cho Android và iOS, cho phép tích hợp liền mạch vào các ứng dụng di động để thực hiện suy luận trên thiết bị hiệu quả.

• Hệ thống nhúng và thiết bị IoT: Lý tưởng cho các thiết bị hạn chế tài nguyên như Raspberry Pi và NVIDIA Jetson. Nếu suy luận tiêu chuẩn trên Raspberry Pi bằng Hướng dẫn Ultralytics là chưa đủ, NCNN có thể mang lại những cải thiện đáng kể về hiệu suất.

• Triển khai máy tính để bàn và máy chủ: Hỗ trợ triển khai trên Linux, Windows và macOS cho các quy trình phát triển, huấn luyện và đánh giá.

Tăng tốc GPU Vulkan

NCNN hỗ trợ tăng tốc GPU thông qua Vulkan, cho phép suy luận hiệu suất cao trên nhiều loại GPU bao gồm AMD, Intel và các card đồ họa không phải NVIDIA khác. Điều này đặc biệt hữu ích cho:

• Hỗ trợ GPU đa nhà cung cấp: Không giống như CUDA, vốn bị giới hạn ở các GPU NVIDIA, Vulkan hoạt động trên nhiều nhà cung cấp GPU khác nhau.
• Hệ thống đa GPU: Chọn một thiết bị Vulkan cụ thể trong các hệ thống có nhiều GPU bằng cách sử dụng device="vulkan:0", device="vulkan:1", v.v.
• Triển khai tại biên và máy tính để bàn: Tận dụng tăng tốc GPU trên các thiết bị không có sẵn CUDA.

Để sử dụng tăng tốc Vulkan, hãy chỉ định thiết bị Vulkan khi chạy suy luận:

from ultralytics import YOLO

# Load the exported NCNN model
ncnn_model = YOLO("./yolo26n_ncnn_model")

# Run inference with Vulkan GPU acceleration (first Vulkan device)
results = ncnn_model("https://ultralytics.com/images/bus.jpg", device="vulkan:0")

# Use second Vulkan device in multi-GPU systems
results = ncnn_model("https://ultralytics.com/images/bus.jpg", device="vulkan:1")

Xuất sang NCNN: Chuyển đổi mô hình YOLO26 của bạn

Bạn có thể mở rộng khả năng tương thích của mô hình và tính linh hoạt khi triển khai bằng cách chuyển đổi các mô hình YOLO26 sang định dạng NCNN.

Cài đặt

Để cài đặt các gói cần thiết, hãy chạy:

# Install the required package for YOLO26
pip install ultralytics

Để biết hướng dẫn chi tiết và các phương pháp hay nhất, hãy xem Hướng dẫn cài đặt Ultralytics. Nếu bạn gặp bất kỳ khó khăn nào, hãy tham khảo Hướng dẫn về các vấn đề chung của chúng tôi để tìm giải pháp.

Cách sử dụng

Tất cả các mô hình Ultralytics YOLO26 đều được thiết kế để hỗ trợ xuất ngay lập tức, giúp dễ dàng tích hợp chúng vào quy trình triển khai ưa thích của bạn. Bạn có thể xem danh sách đầy đủ các định dạng xuất và tùy chọn cấu hình được hỗ trợ để chọn thiết lập tốt nhất cho ứng dụng của mình.

  from ultralytics import YOLO

  # Load the YOLO26 model
  model = YOLO("yolo26n.pt")

  # Export the model to NCNN format
  model.export(format="ncnn")  # creates '/yolo26n_ncnn_model'

  # Load the exported NCNN model
  ncnn_model = YOLO("./yolo26n_ncnn_model")

  # Run inference
  results = ncnn_model("https://ultralytics.com/images/bus.jpg")

Các đối số Xuất

Để biết thêm chi tiết về quy trình xuất, hãy truy cập trang tài liệu Ultralytics về xuất model.

Triển khai các mô hình NCNN YOLO26 đã xuất

Sau khi xuất các mô hình Ultralytics YOLO26 sang định dạng NCNN, bạn có thể triển khai chúng bằng phương thức YOLO("yolo26n_ncnn_model/") như được hiển thị trong ví dụ sử dụng ở trên. Để biết hướng dẫn triển khai cụ thể cho từng nền tảng, hãy xem các tài nguyên sau:

• Android: Xây dựng và tích hợp các mô hình NCNN để phát hiện đối tượng trong các ứng dụng Android.

• macOS: Triển khai các mô hình NCNN trên hệ thống macOS.

• Linux: Triển khai các mô hình NCNN trên các thiết bị Linux bao gồm Raspberry Pi và các hệ thống nhúng tương tự.

• Windows x64: Triển khai các mô hình NCNN trên Windows x64 sử dụng Visual Studio.

Tóm tắt

Hướng dẫn này đã đề cập đến việc xuất các mô hình Ultralytics YOLO26 sang định dạng NCNN để cải thiện hiệu quả và tốc độ trên các thiết bị hạn chế về tài nguyên.

Để biết thêm chi tiết, hãy tham khảo tài liệu chính thức của NCNN. Đối với các tùy chọn xuất khác, hãy truy cập trang hướng dẫn tích hợp của chúng tôi.

Câu hỏi thường gặp (FAQ)

Làm thế nào để tôi xuất các mô hình Ultralytics YOLO26 sang định dạng NCNN?

Để xuất mô hình Ultralytics YOLO26 của bạn sang định dạng NCNN:

• Python: Sử dụng phương thức export từ lớp YOLO.

  from ultralytics import YOLO
  
  # Load the YOLO26 model
  model = YOLO("yolo26n.pt")
  
  # Export to NCNN format
  model.export(format="ncnn")  # creates '/yolo26n_ncnn_model'

• CLI: Sử dụng lệnh yolo export.

  yolo export model=yolo26n.pt format=ncnn # creates '/yolo26n_ncnn_model'

Để biết các tùy chọn xuất chi tiết, hãy xem tài liệu Xuất (Export).

Ưu điểm của việc xuất mô hình YOLO26 sang NCNN là gì?

Việc xuất các mô hình Ultralytics YOLO26 của bạn sang NCNN mang lại một số lợi ích:

• Hiệu quả: Các mô hình NCNN được tối ưu hóa cho các thiết bị di động và nhúng, đảm bảo hiệu suất cao ngay cả với tài nguyên tính toán hạn chế.
• Lượng tử hóa: NCNN hỗ trợ các kỹ thuật như lượng tử hóa giúp cải thiện tốc độ mô hình và giảm mức sử dụng bộ nhớ.
• Khả năng tương thích rộng: Bạn có thể triển khai các mô hình NCNN trên nhiều nền tảng, bao gồm Android, iOS, Linux và macOS.
• Tăng tốc GPU Vulkan: Tận dụng tăng tốc GPU trên AMD, Intel và các GPU không phải NVIDIA khác thông qua Vulkan để suy luận nhanh hơn.

Để biết thêm chi tiết, hãy xem phần Tại sao nên xuất sang NCNN?.

Tại sao tôi nên sử dụng NCNN cho các ứng dụng AI di động của mình?

NCNN, được phát triển bởi Tencent, được tối ưu hóa đặc biệt cho các nền tảng di động. Những lý do chính để sử dụng NCNN bao gồm:

• Hiệu suất cao: Được thiết kế để xử lý hiệu quả và nhanh chóng trên CPU di động.
• Đa nền tảng: Tương thích với các framework phổ biến như TensorFlow và ONNX, giúp việc chuyển đổi và triển khai mô hình trên các nền tảng khác nhau trở nên dễ dàng hơn.
• Hỗ trợ cộng đồng: Sự hỗ trợ cộng đồng tích cực đảm bảo các cải tiến và cập nhật liên tục.

Để biết thêm thông tin, hãy xem phần Các tính năng chính của mô hình NCNN.

Những nền tảng nào được hỗ trợ để triển khai mô hình NCNN?

NCNN rất linh hoạt và hỗ trợ nhiều nền tảng khác nhau:

• Di động: Android, iOS.
• Hệ thống nhúng và thiết bị IoT: Các thiết bị như Raspberry Pi và NVIDIA Jetson.
• Máy tính để bàn và Máy chủ: Linux, Windows và macOS.

Để cải thiện hiệu suất trên Raspberry Pi, hãy cân nhắc sử dụng định dạng NCNN như được nêu chi tiết trong Hướng dẫn Raspberry Pi của chúng tôi.

Làm thế nào tôi có thể triển khai các mô hình NCNN Ultralytics YOLO26 trên Android?

Để triển khai các mô hình YOLO26 của bạn trên Android:

1. Xây dựng cho Android: Làm theo hướng dẫn Xây dựng NCNN cho Android.
2. Tích hợp với Ứng dụng của bạn: Sử dụng NCNN Android SDK để tích hợp mô hình đã xuất vào ứng dụng của bạn để suy luận trên thiết bị hiệu quả.

Để biết hướng dẫn chi tiết, hãy xem phần Triển khai các mô hình NCNN YOLO26 đã xuất.

Để biết thêm các hướng dẫn nâng cao và các trường hợp sử dụng, hãy truy cập hướng dẫn triển khai Ultralytics.

Làm thế nào tôi có thể sử dụng tăng tốc GPU Vulkan với các mô hình NCNN?

NCNN hỗ trợ Vulkan để tăng tốc GPU trên AMD, Intel và các GPU không phải NVIDIA khác. Để sử dụng Vulkan:

from ultralytics import YOLO

# Load NCNN model and run with Vulkan GPU
model = YOLO("yolo26n_ncnn_model")
results = model("image.jpg", device="vulkan:0")  # Use first Vulkan device

Đối với các hệ thống đa GPU, hãy chỉ định chỉ mục thiết bị (ví dụ: vulkan:1 cho GPU thứ hai). Đảm bảo trình điều khiển Vulkan đã được cài đặt cho GPU của bạn. Xem phần Tăng tốc GPU Vulkan để biết thêm chi tiết.