Tối ưu inference OpenVINO cho YOLO
Giới thiệu#
Khi triển khai model học sâu, đặc biệt là model phát hiện đối tượng như model Ultralytics YOLO, thông thường bạn sẽ tối ưu suy luận theo độ trễ (phản hồi nhanh cho từng yêu cầu) hoặc thông lượng (xử lý nhiều yêu cầu cùng lúc). Hướng dẫn này giải thích cách sử dụng bộ công cụ OpenVINO của Intel cho từng mục tiêu, từ ứng dụng dành cho người dùng phổ thông đến triển khai quy mô lớn.
Tối ưu độ trễ#
Tối ưu độ trễ là yếu tố thiết yếu đối với các ứng dụng cần phản hồi tức thì từ một model duy nhất với một đầu vào, thường gặp trong các tình huống hướng đến người tiêu dùng. Mục tiêu là giảm thiểu thời gian từ lúc nhận đầu vào đến khi có kết quả inference. Tuy nhiên, để đạt độ trễ thấp cần cân nhắc kỹ lưỡng, nhất là khi chạy inference đồng thời hoặc quản lý nhiều model.
Các chiến lược chính để tối ưu độ trễ#
- Một inference trên mỗi thiết bị: Cách đơn giản nhất để đạt độ trễ thấp là giới hạn mỗi thiết bị chỉ chạy một inference tại một thời điểm. Việc tăng mức độ đồng thời thường làm độ trễ tăng lên.
- Khai thác các thiết bị con: Các thiết bị như CPU đa socket hoặc GPU đa tile có thể xử lý nhiều yêu cầu với mức tăng độ trễ tối thiểu bằng cách tận dụng các thiết bị con bên trong.
- Gợi ý hiệu suất OpenVINO: Sử dụng
ov::LATENCYcủa OpenVINO cho thuộc tínhov::performance_modetrong quá trình biên dịch model giúp đơn giản hóa việc tinh chỉnh hiệu suất, đồng thời mang đến phương pháp không phụ thuộc thiết bị và phù hợp cho tương lai.
Quản lý độ trễ của lần inference đầu tiên#
- Caching model: Để giảm ảnh hưởng của thời gian tải và biên dịch model đến độ trễ, hãy sử dụng caching model khi có thể. Trong những tình huống không thể caching, CPU thường cho thời gian tải model nhanh nhất.
- Ánh xạ model và đọc model: Để rút ngắn thời gian tải, OpenVINO đã thay thế việc đọc model bằng ánh xạ model. Tuy nhiên, nếu model nằm trên ổ đĩa di động hoặc ổ đĩa mạng, hãy cân nhắc dùng
ov::enable_mmap(false)để chuyển lại sang chế độ đọc. - Chọn thiết bị AUTO: Chế độ này bắt đầu suy luận trên CPU và chuyển sang bộ tăng tốc khi thiết bị đó sẵn sàng, giúp giảm độ trễ ở lần suy luận đầu tiên.
Tối ưu thông lượng#
Tối ưu thông lượng rất quan trọng trong các kịch bản phục vụ đồng thời nhiều yêu cầu suy luận, nhằm tối đa hóa mức sử dụng tài nguyên mà không làm giảm đáng kể hiệu suất của từng yêu cầu.
Các phương pháp tối ưu thông lượng#
-
Gợi ý hiệu suất OpenVINO: Phương pháp cấp cao, phù hợp cho tương lai để cải thiện thông lượng trên nhiều thiết bị bằng cách sử dụng các gợi ý hiệu suất.
import openvino as ov import openvino.properties.hint as hints core = ov.Core() model = core.read_model("yolo26n_openvino_model/yolo26n.xml") config = {hints.performance_mode: hints.PerformanceMode.THROUGHPUT} compiled_model = core.compile_model(model, "GPU", config) -
Batching tường minh và luồng: Phương pháp chi tiết hơn, bao gồm batching tường minh và sử dụng các luồng để tinh chỉnh hiệu suất nâng cao.
Thiết kế ứng dụng hướng đến thông lượng#
Để tối đa hóa thông lượng, ứng dụng nên:
- Xử lý đầu vào song song, tận dụng tối đa khả năng của thiết bị.
- Phân rã luồng dữ liệu thành các yêu cầu inference đồng thời, được lập lịch để thực thi song song.
- Dùng Async API cùng callback để duy trì hiệu quả và tránh tình trạng thiết bị bị bỏ đói.
Thực thi trên nhiều thiết bị#
Chế độ đa thiết bị của OpenVINO giúp đơn giản hóa việc mở rộng thông lượng bằng cách tự động cân bằng các yêu cầu inference trên nhiều thiết bị mà không cần quản lý thiết bị ở cấp ứng dụng.
Cải thiện hiệu suất trong thực tế#
Việc triển khai các tối ưu hóa OpenVINO với model Ultralytics YOLO có thể cải thiện đáng kể hiệu năng. Như thể hiện trong các phép đo benchmark, model OpenVINO INT8 chạy nhanh hơn PyTorch từ 2.9 đến 6.0 lần trên CPU Intel Core Ultra, còn GPU tích hợp của cùng các bộ xử lý chạy model FP32 nhanh hơn PyTorch trên CPU từ 3.6 đến 29.1 lần. Bài đăng blog về Intel Core Ultra Series 3 giới thiệu các bộ xử lý mới nhất trong số này.
Ví dụ, trên CPU của Intel Core Ultra X7 358H, model YOLO26n INT8 chạy trong 9.99 ms mỗi ảnh, so với 29.28 ms của PyTorch, với mAP50-95 là 0.4720 so với 0.4765 trên COCO128, tức giảm nhẹ độ chính xác.
Triển khai thực tế#
Để export và tối ưu model Ultralytics YOLO cho OpenVINO, hãy dùng chức năng export:
from ultralytics import YOLO
# Tải model
model = YOLO("yolo26n.pt")
# Export model sang định dạng OpenVINO
model.export(format="openvino", quantize=16) # Export với độ chính xác FP16Sau khi export, bạn có thể chạy inference bằng model đã tối ưu:
# Tải model OpenVINO
ov_model = YOLO("yolo26n_openvino_model/")
# Chạy inference (Ultralytics biên dịch model OpenVINO với gợi ý hiệu suất LATENCY)
results = ov_model("https://ultralytics.com/images/bus.jpg", verbose=True)Kết luận#
Tối ưu model Ultralytics YOLO bằng OpenVINO để giảm latency hoặc tăng throughput có thể cải thiện đáng kể hiệu suất ứng dụng. Việc chọn tối ưu latency hay throughput phụ thuộc vào nhu cầu cụ thể của ứng dụng và đặc điểm môi trường triển khai.
Dù đang tối ưu cho phản hồi thời gian thực hay tối đa hóa thông lượng cho xử lý quy mô lớn, hãy bắt đầu từ yêu cầu của ứng dụng, chọn gợi ý hiệu suất phù hợp và đánh giá chuẩn trên phần cứng mục tiêu.
Câu hỏi thường gặp#
Tối ưu model Ultralytics YOLO để đạt độ trễ thấp đòi hỏi một số chiến lược chính:
- Một inference trên mỗi thiết bị: Giới hạn mỗi thiết bị chỉ chạy một inference tại một thời điểm để giảm thiểu độ trễ.
- Tận dụng thiết bị con: Dùng các thiết bị như CPU nhiều socket hoặc GPU nhiều tile, có thể xử lý nhiều yêu cầu với mức tăng độ trễ tối thiểu.
- Gợi ý hiệu suất OpenVINO: Sử dụng
ov::LATENCYcủa OpenVINO trong quá trình biên dịch model để tinh chỉnh đơn giản, không phụ thuộc thiết bị.
Để biết thêm mẹo thực tiễn về tối ưu độ trễ, hãy xem mục Tối ưu độ trễ trong hướng dẫn của chúng tôi.
OpenVINO cải thiện thông lượng của model Ultralytics YOLO bằng cách tối đa hóa mức sử dụng tài nguyên thiết bị mà không làm giảm hiệu suất. Các lợi ích chính gồm:
- Gợi ý hiệu suất: Tinh chỉnh hiệu suất đơn giản, cấp cao trên nhiều thiết bị.
- Batching tường minh và luồng: Tinh chỉnh để đạt hiệu suất nâng cao.
- Thực thi trên nhiều thiết bị: Tự động cân bằng tải inference, giảm gánh nặng quản lý ở cấp ứng dụng.
Cấu hình mẫu:
import openvino as ov import openvino.properties.hint as hints core = ov.Core() model = core.read_model("yolo26n_openvino_model/yolo26n.xml") config = {hints.performance_mode: hints.PerformanceMode.THROUGHPUT} compiled_model = core.compile_model(model, "GPU", config)Tìm hiểu thêm về tối ưu thông lượng trong mục Tối ưu thông lượng của hướng dẫn chi tiết.
Để giảm độ trễ của lần inference đầu tiên, hãy cân nhắc các phương pháp sau:
- Caching model: Sử dụng caching model để rút ngắn thời gian tải và biên dịch.
- Ánh xạ model và đọc model: Mặc định, hãy dùng phương thức ánh xạ (
ov::enable_mmap(true)), nhưng chuyển sang phương thức đọc (ov::enable_mmap(false)) nếu model nằm trên ổ đĩa di động hoặc ổ đĩa mạng. - Chọn thiết bị AUTO: Dùng chế độ AUTO để bắt đầu suy luận trên CPU và chuyển sang bộ tăng tốc khi thiết bị đó sẵn sàng.
Để xem các chiến lược chi tiết nhằm quản lý độ trễ của lần inference đầu tiên, hãy tham khảo mục Quản lý độ trễ của lần inference đầu tiên.
Để cân bằng việc tối ưu độ trễ và thông lượng, cần hiểu rõ nhu cầu của ứng dụng:
- Tối ưu độ trễ: Phù hợp nhất với các ứng dụng thời gian thực cần phản hồi tức thì (ví dụ: ứng dụng dành cho người tiêu dùng).
- Tối ưu thông lượng: Phù hợp nhất với các tình huống có nhiều inference đồng thời, nhằm tối đa hóa mức sử dụng tài nguyên (ví dụ: triển khai quy mô lớn).
Sử dụng các gợi ý hiệu suất cấp cao và chế độ đa thiết bị của OpenVINO có thể giúp đạt được sự cân bằng phù hợp. Hãy chọn gợi ý hiệu suất OpenVINO thích hợp dựa trên các yêu cầu cụ thể của bạn.
Có, model Ultralytics YOLO có thể được export sang nhiều runtime khác. Các tùy chọn bao gồm:
- TensorRT: Để tối ưu cho GPU NVIDIA, hãy làm theo hướng dẫn tích hợp TensorRT.
- CoreML: Đối với thiết bị Apple, hãy tham khảo hướng dẫn export CoreML của chúng tôi.
- LiteRT.js: Đối với ứng dụng web và Node.js, hãy xem hướng dẫn tích hợp LiteRT và runtime web LiteRT.js.
Khám phá thêm các tích hợp trên trang Tích hợp Ultralytics.
Bình luận2
Đặt câu hỏi, chia sẻ kết quả hoặc giúp đỡ người khác.
Kvsoni
Is it possible to use the in built classes and functions of ultralytics to do pre-processing and post-processing and using openVINO for the inference part?
Paula DerrengerUltralytics(đã chỉnh sửa)@Kvsoni hi there!
Yes, that's possible, and the simplest way is to let Ultralytics do it all: export the model to OpenVINO and load the exported folder with
YOLO. Ultralytics then handles the pre-processing (resizing, normalization), runs inference with OpenVINO, and does the post-processing (decoding the output into boxes):from ultralytics import YOLO model = YOLO("yolo26n.pt") model.export(format="openvino") # creates 'yolo26n_openvino_model/' ov_model = YOLO("yolo26n_openvino_model/") results = ov_model("path/to/image.jpg") results[0].show()If you want to run the OpenVINO runtime yourself, note that
YOLOmodel objects do not exposepreprocess()orpostprocess(); those steps live in the predictor classes (e.g.ultralytics.models.yolo.detect.DetectionPredictor).For more detailed guidance on optimizing your model with OpenVINO, including strategies for latency and throughput, please refer to our guide: Optimizing OpenVINO Inference for Ultralytics YOLO Models.
Feel free to reach out if you have any more questions or need further assistance! 😊