Tối ưu hóa YOLO11 Suy luận với Neural Magic Công cụ DeepSparse của 's

Khi triển khai các mô hình phát hiện đối tượng như Ultralytics YOLO11 trên nhiều phần cứng khác nhau, bạn có thể gặp phải các vấn đề riêng biệt như tối ưu hóa. Đây là nơi YOLO11 tích hợp với Neural Magic 'DeepSparse Engine bước vào. Nó biến đổi cách YOLO11 các mô hình được thực hiện và cho phép GPU - Hiệu suất cấp độ trực tiếp trên CPU.

Hướng dẫn này chỉ cho bạn cách triển khai YOLO11 sử dụng Neural Magic 's DeepSparse, cách chạy suy luận và cách đánh giá hiệu suất để đảm bảo hiệu suất được tối ưu hóa.

Neural Magic 's DeepSparse

DeepSparse của Neural Magic là một thời gian chạy suy luận được thiết kế để tối ưu hóa việc thực hiện các mạng nơ-ron trên CPU. Nó áp dụng các kỹ thuật tiên tiến như thưa thớt, cắt tỉa và lượng tử hóa để giảm đáng kể nhu cầu tính toán trong khi vẫn duy trì độ chính xác. DeepSparse cung cấp một giải pháp nhanh nhẹn để thực hiện mạng nơ-ron hiệu quả và có thể mở rộng trên nhiều thiết bị khác nhau.

Lợi ích của việc tích hợp Neural Magic 's DeepSparse với YOLO11

Trước khi tìm hiểu cách triển khai YOLOV8 sử dụng DeepSparse, chúng ta hãy cùng tìm hiểu những lợi ích khi sử dụng DeepSparse. Một số lợi thế chính bao gồm:

• Tốc độ suy luận được cải thiện : Đạt tới 525 FPS (trên YOLO11n), tăng tốc đáng kể YOLO11 Khả năng suy luận của 's so với các phương pháp truyền thống.

• Hiệu quả mô hình được tối ưu hóa : Sử dụng cắt tỉa và lượng tử hóa để nâng cao YOLO11 hiệu quả, giảm kích thước mô hình và yêu cầu tính toán trong khi vẫn duy trì độ chính xác .

• Hiệu suất cao trên CPU tiêu chuẩn : Cung cấp GPU -hiệu suất giống như trên CPU, cung cấp tùy chọn dễ tiếp cận hơn và tiết kiệm chi phí hơn cho nhiều ứng dụng khác nhau.

• Tích hợp và triển khai hợp lý : Cung cấp các công cụ thân thiện với người dùng để tích hợp dễ dàng YOLO11 vào các ứng dụng, bao gồm các tính năng chú thích hình ảnh và video.

• Hỗ trợ nhiều loại mô hình khác nhau : Tương thích với cả tiêu chuẩn và tối ưu hóa độ thưa thớt YOLO11 mô hình, tăng tính linh hoạt khi triển khai.

• Giải pháp tiết kiệm chi phí và có khả năng mở rộng : Giảm chi phí vận hành và cung cấp khả năng triển khai có khả năng mở rộng các mô hình phát hiện đối tượng tiên tiến.

Làm thế nào Neural Magic Công nghệ DeepSparse của 's có hiệu quả không?

Neural Magic Công nghệ Deep Sparse của 's lấy cảm hứng từ hiệu quả tính toán mạng nơ-ron của não người. Nó áp dụng hai nguyên lý chính từ não như sau:

• Tính thưa thớt : Quá trình thưa thớt liên quan đến việc cắt tỉa thông tin dư thừa từ các mạng học sâu , dẫn đến các mô hình nhỏ hơn và nhanh hơn mà không ảnh hưởng đến độ chính xác. Kỹ thuật này làm giảm đáng kể kích thước mạng và nhu cầu tính toán.

• Vị trí tham chiếu : DeepSparse sử dụng một phương pháp thực thi duy nhất, chia mạng thành Tensor Các cột. Các cột này được thực hiện theo chiều sâu, hoàn toàn phù hợp với CPU bộ nhớ đệm của. Phương pháp này mô phỏng hiệu quả của não, giảm thiểu việc di chuyển dữ liệu và tối đa hóa CPU sử dụng bộ nhớ đệm.

Để biết thêm chi tiết về cách Neural Magic Công nghệ DeepSparse của họ hoạt động như thế nào, hãy xem bài đăng trên blog của họ .

Tạo Phiên Bản Thưa Thớt Của YOLO11 Được đào tạo trên một Bộ dữ liệu tùy chỉnh

SparseZoo, một kho lưu trữ mô hình nguồn mở của Neural Magic , cung cấp một bộ sưu tập các điểm kiểm tra mô hình YOLO11 được phân tán trước . Với SparseML, được tích hợp liền mạch với Ultralytics , người dùng có thể dễ dàng tinh chỉnh các điểm kiểm tra thưa thớt này trên các tập dữ liệu cụ thể của họ bằng giao diện dòng lệnh đơn giản.

Tham khảo tài liệu SparseML YOLO11 của Neural Magic để biết thêm chi tiết.

Sử dụng: Triển khai YOLOV8 sử dụng DeepSparse

Triển khai YOLO11 với Neural Magic DeepSparse bao gồm một vài bước đơn giản. Trước khi tìm hiểu hướng dẫn sử dụng, hãy nhớ xem qua phạm vi các mô hình YOLO11 do Ultralytics cung cấp . Điều này sẽ giúp bạn chọn mô hình phù hợp nhất cho yêu cầu dự án của mình. Sau đây là cách bạn có thể bắt đầu.

Bước 1: Cài đặt

Để cài đặt các gói cần thiết, hãy chạy:

# Install the required packages
pip install deepsparse[yolov8]

Bước 2: Xuất YOLO11 ĐẾN ONNX Định dạng

DeepSparse Engine yêu cầu YOLO11 các mô hình trong ONNX định dạng. Việc xuất mô hình của bạn sang định dạng này là điều cần thiết để tương thích với DeepSparse. Sử dụng lệnh sau để xuất YOLO11 mô hình:

# Export YOLO11 model to ONNX format
yolo task=detect mode=export model=yolo11n.pt format=onnx opset=13

Lệnh này sẽ lưu yolo11n.onnx mô hình vào đĩa của bạn.

Bước 3: Triển khai và chạy suy luận

Với bạn YOLO11 mô hình trong ONNX định dạng, bạn có thể triển khai và chạy suy luận bằng DeepSparse. Điều này có thể được thực hiện dễ dàng với trực quan của họ Python Giao diện lập trình ứng dụng (API):

from deepsparse import Pipeline

# Specify the path to your YOLO11 ONNX model
model_path = "path/to/yolo11n.onnx"

# Set up the DeepSparse Pipeline
yolo_pipeline = Pipeline.create(task="yolov8", model_path=model_path)

# Run the model on your images
images = ["path/to/image.jpg"]
pipeline_outputs = yolo_pipeline(images=images)

Bước 4: Đánh giá hiệu suất

Điều quan trọng là phải kiểm tra xem YOLO11 mô hình đang hoạt động tối ưu trên DeepSparse. Bạn có thể đánh giá hiệu suất của mô hình để phân tích thông lượng và độ trễ:

# Benchmark performance
deepsparse.benchmark model_path="path/to/yolo11n.onnx" --scenario=sync --input_shapes="[1,3,640,640]"

Bước 5: Các tính năng bổ sung

DeepSparse cung cấp các tính năng bổ sung để tích hợp thực tế YOLO11 trong các ứng dụng như chú thích hình ảnh và đánh giá tập dữ liệu.

# For image annotation
deepsparse.yolov8.annotate --source "path/to/image.jpg" --model_filepath "path/to/yolo11n.onnx"

# For evaluating model performance on a dataset
deepsparse.yolov8.eval --model_path "path/to/yolo11n.onnx"

Chạy lệnh annotate sẽ xử lý hình ảnh đã chỉ định của bạn, phát hiện các đối tượng và lưu hình ảnh được chú thích với các hộp giới hạn và phân loại. Hình ảnh được chú thích sẽ được lưu trữ trong thư mục annotation-results. Điều này giúp cung cấp hình ảnh trực quan về khả năng phát hiện của mô hình.

Sau khi chạy lệnh eval, bạn sẽ nhận được số liệu đầu ra chi tiết như độ chính xác , độ thu hồi và mAP (độ chính xác trung bình). Điều này cung cấp cái nhìn toàn diện về hiệu suất của mô hình của bạn trên tập dữ liệu. Chức năng này đặc biệt hữu ích để tinh chỉnh và tối ưu hóa YOLO11 mô hình cho các trường hợp sử dụng cụ thể, đảm bảo độ chính xác và hiệu quả cao.

Bản tóm tắt

Hướng dẫn này khám phá việc tích hợp Ultralytics ' YOLO11 với Neural Magic 's DeepSparse Engine. Nó làm nổi bật cách tích hợp này tăng cường YOLO11 hiệu suất của 's trên CPU nền tảng, cung cấp GPU - hiệu quả cấp độ và kỹ thuật thưa thớt mạng nơ-ron tiên tiến.

Để biết thêm thông tin chi tiết và cách sử dụng nâng cao, hãy truy cập tài liệu DeepSparse của Neural Magic . Ngoài ra, hãy xem Neural Magic tài liệu của 's về tích hợp với YOLO11 ở đây và xem một phiên tuyệt vời về nó ở đây .

Ngoài ra, để hiểu biết rộng hơn về nhiều YOLO11 tích hợp, hãy truy cập trang hướng dẫn tích hợp Ultralytics , nơi bạn có thể khám phá nhiều khả năng tích hợp thú vị khác.

CÂU HỎI THƯỜNG GẶP

Là gì Neural Magic 's DeepSparse Engine và cách nó tối ưu hóa YOLO11 hiệu suất?

Neural Magic 'DeepSparse Engine là một thời gian chạy suy luận được thiết kế để tối ưu hóa việc thực hiện các mạng nơ-ron trên CPU thông qua các kỹ thuật tiên tiến như thưa thớt, cắt tỉa và lượng tử hóa. Bằng cách tích hợp DeepSparse với YOLO11 , bạn có thể đạt được GPU - hiệu suất giống như trên CPU tiêu chuẩn, cải thiện đáng kể tốc độ suy luận, hiệu quả mô hình và hiệu suất tổng thể trong khi vẫn duy trì độ chính xác. Để biết thêm chi tiết, hãy xem phần DeepSparse của Neural Magic .

Làm thế nào tôi có thể cài đặt các gói cần thiết để triển khai YOLO11 sử dụng Neural Magic 's DeepSparse?

Cài đặt các gói cần thiết để triển khai YOLO11 với Neural Magic 's DeepSparse rất đơn giản. Bạn có thể dễ dàng cài đặt chúng bằng cách sử dụng CLI . Đây là lệnh bạn cần chạy:

pip install deepsparse[yolov8]

Sau khi cài đặt, hãy làm theo các bước được cung cấp trong phần Cài đặt để thiết lập môi trường của bạn và bắt đầu sử dụng DeepSparse với YOLO11 .

Làm thế nào để tôi chuyển đổi YOLO11 mô hình để ONNX định dạng để sử dụng với DeepSparse?

Để chuyển đổi YOLO11 các mô hình cho ONNX định dạng, được yêu cầu để tương thích với DeepSparse, bạn có thể sử dụng sau CLI yêu cầu:

yolo task=detect mode=export model=yolo11n.pt format=onnx opset=13

Lệnh này sẽ xuất ra YOLO11 người mẫu (yolo11n.pt) sang định dạng (yolo11n.onnx) có thể được sử dụng bởi DeepSparse Engine. Thông tin thêm về xuất mô hình có thể được tìm thấy trong Phần xuất mô hình.

Làm thế nào để tôi đánh giá chuẩn YOLO11 hiệu suất trên DeepSparse Engine là gì?

Đánh giá chuẩn YOLO11 hiệu suất trên DeepSparse giúp bạn phân tích thông lượng và độ trễ để đảm bảo mô hình của bạn được tối ưu hóa. Bạn có thể sử dụng các mục sau CLI lệnh để chạy chuẩn mực:

deepsparse.benchmark model_path="path/to/yolo11n.onnx" --scenario=sync --input_shapes="[1,3,640,640]"

Lệnh này sẽ cung cấp cho bạn các số liệu hiệu suất quan trọng. Để biết thêm chi tiết, hãy xem phần Hiệu suất chuẩn .

Tại sao tôi nên sử dụng Neural Magic 's DeepSparse với YOLO11 cho nhiệm vụ phát hiện đối tượng?

Tích hợp Neural Magic 's DeepSparse với YOLO11 mang lại nhiều lợi ích:

• Tốc độ suy luận được cải thiện: Đạt tới 525 FPS, tăng tốc đáng kể YOLO11 khả năng của.
• Hiệu quả mô hình được tối ưu hóa: Sử dụng các kỹ thuật thưa thớt, cắt tỉa và lượng tử hóa để giảm kích thước mô hình và nhu cầu tính toán trong khi vẫn duy trì độ chính xác.
• Hiệu suất cao trên CPU tiêu chuẩn: Cung cấp GPU -giống như hiệu suất về mặt chi phí hiệu quả CPU phần cứng.
• Tích hợp hợp lý: Các công cụ thân thiện với người dùng giúp triển khai và tích hợp dễ dàng.
• Tính linh hoạt: Hỗ trợ cả tiêu chuẩn và tối ưu hóa thưa thớt YOLO11 mô hình.
• Tiết kiệm chi phí: Giảm chi phí hoạt động thông qua việc sử dụng hiệu quả nguồn lực.

Để tìm hiểu sâu hơn về những lợi ích này, hãy truy cập phần Lợi ích của việc tích hợp DeepSparse của Neural Magic với YOLO11 .

📅 Được tạo cách đây 11 tháng ✏️ Đã cập nhật cách đây 2 tháng

Bình luận