Tối ưu hóa suy luận OpenVINO cho YOLO

Hệ sinh thái OpenVINO

Giới thiệu

Khi triển khai các mô hình deep learning, đặc biệt là các mô hình để phát hiện đối tượng như các mô hình Ultralytics YOLO, việc đạt được hiệu suất tối ưu là rất quan trọng. Hướng dẫn này đi sâu vào việc tận dụng bộ công cụ OpenVINO của Intel để tối ưu hóa suy luận, tập trung vào độ trễ và thông lượng. Cho dù bạn đang làm việc trên các ứng dụng cấp tiêu dùng hay các triển khai quy mô lớn, việc hiểu và áp dụng các chiến lược tối ưu hóa này sẽ đảm bảo các mô hình của bạn chạy hiệu quả trên nhiều thiết bị khác nhau.

Tối ưu hóa độ trễ

Tối ưu hóa độ trễ là rất quan trọng đối với các ứng dụng yêu cầu phản hồi ngay lập tức từ một mô hình duy nhất cho một đầu vào duy nhất, điển hình trong các tình huống người dùng. Mục tiêu là giảm thiểu độ trễ giữa đầu vào và kết quả suy luận. Tuy nhiên, việc đạt được độ trễ thấp đòi hỏi sự cân nhắc cẩn thận, đặc biệt khi chạy các suy luận đồng thời hoặc quản lý nhiều mô hình.

Các Chiến Lược Chính để Tối Ưu Độ Trễ:

Suy luận đơn trên mỗi thiết bị: Cách đơn giản nhất để đạt được độ trễ thấp là giới hạn ở một lần suy luận tại một thời điểm trên mỗi thiết bị. Việc tăng thêm số lượng đồng thời thường dẫn đến tăng độ trễ.
Tận Dụng Các Thiết Bị Con: Các thiết bị như CPU đa socket hoặc GPU đa tile có thể thực hiện nhiều yêu cầu với độ trễ tăng tối thiểu bằng cách sử dụng các thiết bị con bên trong của chúng.
Gợi ý về Hiệu suất OpenVINO: Sử dụng ov::hint::PerformanceMode::LATENCY cho ov::hint::performance_mode thuộc tính trong quá trình biên dịch mô hình giúp đơn giản hóa việc điều chỉnh hiệu suất, cung cấp một phương pháp độc lập với thiết bị và có tính đến tương lai.

Quản lý Độ trễ Suy luận Ban đầu:

Bộ nhớ đệm mô hình: Để giảm thiểu thời gian tải và biên dịch mô hình ảnh hưởng đến độ trễ, hãy sử dụng bộ nhớ đệm mô hình nếu có thể. Đối với các trường hợp không khả thi về bộ nhớ đệm, CPU thường cung cấp thời gian tải mô hình nhanh nhất.
Ánh xạ Mô hình so với Đọc: Để giảm thời gian tải, OpenVINO đã thay thế việc đọc mô hình bằng ánh xạ. Tuy nhiên, nếu mô hình nằm trên ổ đĩa di động hoặc ổ đĩa mạng, hãy cân nhắc sử dụng ov::enable_mmap(false) để chuyển lại chế độ đọc.
Tự động chọn thiết bị: Chế độ này bắt đầu suy luận trên CPU, chuyển sang bộ tăng tốc khi sẵn sàng, giảm liền mạch độ trễ suy luận đầu tiên.

Tối ưu hóa thông lượng

Tối ưu hóa thông lượng là rất quan trọng đối với các tình huống phục vụ đồng thời nhiều yêu cầu suy luận, tối đa hóa việc sử dụng tài nguyên mà không làm giảm đáng kể hiệu suất của từng yêu cầu.

Các phương pháp tiếp cận để tối ưu hóa thông lượng:

Gợi ý về Hiệu suất OpenVINO: Một phương pháp cấp cao, có tính đến tương lai để tăng cường thông lượng trên các thiết bị bằng cách sử dụng các gợi ý về hiệu suất.
```
import openvino.properties.hint as hints

config = {hints.performance_mode: hints.PerformanceMode.THROUGHPUT}
compiled_model = core.compile_model(model, "GPU", config)
```
Chia lô và luồng dữ liệu tường minh: Một phương pháp chi tiết hơn liên quan đến việc chia lô tường minh và sử dụng các luồng để điều chỉnh hiệu suất nâng cao.

Thiết kế các ứng dụng hướng đến thông lượng:

Để tối đa hóa thông lượng, các ứng dụng nên:

Xử lý song song các đầu vào, tận dụng tối đa khả năng của thiết bị.
Phân tách luồng dữ liệu thành các yêu cầu suy luận đồng thời, được lên lịch để thực thi song song.
Sử dụng Async API với các lệnh gọi lại để duy trì hiệu quả và tránh làm cạn kiệt thiết bị.

Thực thi đa thiết bị:

Chế độ đa thiết bị của OpenVINO đơn giản hóa việc mở rộng thông lượng bằng cách tự động cân bằng các yêu cầu suy luận trên các thiết bị mà không cần quản lý thiết bị ở cấp ứng dụng.

Cải thiện hiệu suất thực tế

Triển khai các tối ưu hóa OpenVINO với các mô hình Ultralytics YOLO có thể mang lại những cải thiện đáng kể về hiệu suất. Như đã được chứng minh trong các thử nghiệm, người dùng có thể trải nghiệm tốc độ suy luận nhanh hơn tới 3 lần trên CPU Intel, với khả năng tăng tốc thậm chí còn lớn hơn trên toàn bộ dải phần cứng của Intel bao gồm GPU tích hợp, GPU chuyên dụng và VPU.

Ví dụ: khi chạy các mô hình YOLOv8 trên CPU Intel Xeon, các phiên bản được tối ưu hóa OpenVINO luôn vượt trội hơn so với các phiên bản PyTorch về thời gian suy luận trên mỗi hình ảnh mà không ảnh hưởng đến độ chính xác.

Triển khai thực tế

Để xuất và tối ưu hóa mô hình Ultralytics YOLO của bạn cho OpenVINO, bạn có thể sử dụng chức năng xuất:

from ultralytics import YOLO

# Load a model
model = YOLO("yolov8n.pt")

# Export the model to OpenVINO format
model.export(format="openvino", half=True)  # Export with FP16 precision

Sau khi xuất, bạn có thể chạy suy luận với mô hình đã được tối ưu hóa:

# Load the OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference with performance hints for latency
results = ov_model("path/to/image.jpg", verbose=True)

Kết luận

Tối ưu hóa các mô hình Ultralytics YOLO cho độ trễ và thông lượng bằng OpenVINO có thể cải thiện đáng kể hiệu suất ứng dụng của bạn. Bằng cách áp dụng cẩn thận các chiến lược được trình bày trong hướng dẫn này, các nhà phát triển có thể đảm bảo các mô hình của họ chạy hiệu quả, đáp ứng nhu cầu của các tình huống triển khai khác nhau. Hãy nhớ rằng, việc lựa chọn giữa tối ưu hóa độ trễ hoặc thông lượng phụ thuộc vào nhu cầu ứng dụng cụ thể của bạn và các đặc điểm của môi trường triển khai.

Để biết thêm thông tin kỹ thuật chi tiết và các bản cập nhật mới nhất, hãy tham khảo tài liệu OpenVINO và kho lưu trữ Ultralytics YOLO. Các tài nguyên này cung cấp các hướng dẫn chuyên sâu, hướng dẫn và hỗ trợ cộng đồng để giúp bạn tận dụng tối đa các mô hình học sâu của mình.

Đảm bảo các mô hình của bạn đạt được hiệu suất tối ưu không chỉ là điều chỉnh cấu hình; mà còn là hiểu rõ nhu cầu ứng dụng của bạn và đưa ra các quyết định sáng suốt. Cho dù bạn đang tối ưu hóa cho phản hồi theo thời gian thực hay tối đa hóa thông lượng cho xử lý quy mô lớn, sự kết hợp giữa các mô hình Ultralytics YOLO và OpenVINO cung cấp một bộ công cụ mạnh mẽ cho các nhà phát triển để triển khai các giải pháp AI hiệu suất cao.

Câu hỏi thường gặp

Làm cách nào để tối ưu hóa các mô hình Ultralytics YOLO cho độ trễ thấp bằng OpenVINO?

Tối ưu hóa các mô hình Ultralytics YOLO để có độ trễ thấp bao gồm một số chiến lược chính:

Suy luận đơn trên mỗi thiết bị: Giới hạn số lượng suy luận thành một lần tại một thời điểm trên mỗi thiết bị để giảm thiểu độ trễ.
Tận Dụng Các Thiết Bị Con: Sử dụng các thiết bị như CPU đa socket hoặc GPU đa tile, có thể xử lý nhiều yêu cầu với độ trễ tăng tối thiểu.
Gợi ý về Hiệu suất OpenVINO: Sử dụng OpenVINO ov::hint::PerformanceMode::LATENCY trong quá trình biên dịch mô hình để điều chỉnh đơn giản hóa, không phụ thuộc vào thiết bị.

Để biết thêm các mẹo thực tế về tối ưu hóa độ trễ, hãy xem phần Tối ưu hóa độ trễ trong hướng dẫn của chúng tôi.

Tại sao tôi nên sử dụng OpenVINO để tối ưu hóa thông lượng Ultralytics YOLO?

OpenVINO tăng cường thông lượng mô hình Ultralytics YOLO bằng cách tối đa hóa việc sử dụng tài nguyên thiết bị mà không làm giảm hiệu suất. Các lợi ích chính bao gồm:

Gợi ý về hiệu năng: Điều chỉnh hiệu năng đơn giản, cấp cao trên các thiết bị.
Chia lô và luồng dữ liệu tường minh: Tinh chỉnh để có hiệu suất nâng cao.
Thực thi Đa thiết bị: Tự động cân bằng tải suy luận, giúp quản lý ở cấp ứng dụng dễ dàng hơn.

Cấu hình ví dụ:

import openvino.properties.hint as hints

config = {hints.performance_mode: hints.PerformanceMode.THROUGHPUT}
compiled_model = core.compile_model(model, "GPU", config)

Tìm hiểu thêm về tối ưu hóa thông lượng trong phần Tối ưu hóa Thông lượng của hướng dẫn chi tiết của chúng tôi.

Thực hành tốt nhất để giảm độ trễ suy luận đầu tiên trong OpenVINO là gì?

Để giảm độ trễ suy luận đầu tiên, hãy xem xét các phương pháp sau:

Bộ nhớ đệm mô hình: Sử dụng bộ nhớ đệm mô hình để giảm thời gian tải và biên dịch.
Ánh xạ Mô hình so với Đọc: Sử dụng ánh xạ (ov::enable_mmap(true)) theo mặc định nhưng chuyển sang đọc (ov::enable_mmap(false)) nếu mô hình nằm trên ổ đĩa mạng hoặc ổ đĩa di động.
Tự động chọn thiết bị: Sử dụng chế độ AUTO để bắt đầu với suy luận CPU và chuyển đổi sang bộ tăng tốc một cách liền mạch.

Để biết các chiến lược chi tiết về quản lý độ trễ suy luận đầu tiên, hãy tham khảo phần Quản lý Độ trễ Suy luận Đầu tiên.

Làm cách nào để cân bằng việc tối ưu hóa độ trễ và thông lượng với Ultralytics YOLO và OpenVINO?

Cân bằng độ trễ và tối ưu hóa thông lượng đòi hỏi phải hiểu nhu cầu ứng dụng của bạn:

Tối Ưu Độ Trễ: Lý tưởng cho các ứng dụng thời gian thực đòi hỏi phản hồi ngay lập tức (ví dụ: các ứng dụng cấp người tiêu dùng).
Tối ưu hóa thông lượng: Tối ưu nhất cho các tình huống có nhiều suy luận đồng thời, tối đa hóa việc sử dụng tài nguyên (ví dụ: triển khai quy mô lớn).

Sử dụng các gợi ý hiệu suất cấp cao và chế độ đa thiết bị của OpenVINO có thể giúp đạt được sự cân bằng phù hợp. Chọn Gợi ý hiệu suất OpenVINO phù hợp dựa trên các yêu cầu cụ thể của bạn.

Tôi có thể sử dụng các mô hình Ultralytics YOLO với các framework AI khác ngoài OpenVINO không?

Có, các mô hình Ultralytics YOLO rất linh hoạt và có thể được tích hợp với nhiều framework AI khác nhau. Các tùy chọn bao gồm:

TensorRT: Để tối ưu hóa NVIDIA GPU, hãy làm theo hướng dẫn tích hợp TensorRT.
CoreML: Đối với các thiết bị Apple, hãy tham khảo hướng dẫn xuất CoreML của chúng tôi.
TensorFlow.js: Đối với các ứng dụng web và Node.js, hãy tham khảo hướng dẫn chuyển đổi TF.js.

Khám phá thêm các tích hợp trên trang Tích hợp Ultralytics.

📅 Đã tạo 1 năm trước ✏️ Cập nhật 5 tháng trước