Intel OpenVINO Xuất khẩu

Trong hướng dẫn này, chúng tôi đề cập đến việc xuất khẩu YOLOv8 mô hình cho OpenVINO định dạng, có thể cung cấp tốc độ CPU lên đến 3x, cũng như tăng tốc YOLO suy luận về GPU Intel và phần cứng NPU .

OpenVINO, viết tắt của Open Visual Inference & Neural Network Optimization toolkit, là một bộ công cụ toàn diện để tối ưu hóa và triển khai các mô hình suy luận AI. Mặc dù tên chứa Hình ảnh, OpenVINO Cũng hỗ trợ các tác vụ bổ sung khác nhau bao gồm ngôn ngữ, âm thanh, chuỗi thời gian, v.v.

Xem: Cách xuất và tối ưu hóa Ultralytics YOLOv8 Mô hình suy luận với OpenVINO.

Ví dụ sử dụng

Xuất một YOLOv8n Mô hình để OpenVINO định dạng và chạy suy luận với mô hình đã xuất.

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Export the model
model.export(format='openvino')  # creates 'yolov8n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO('yolov8n_openvino_model/')

# Run inference
results = ov_model('https://ultralytics.com/images/bus.jpg')

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Lập luận

Lợi ích của OpenVINO

1. Hiệu suất: OpenVINO cung cấp suy luận hiệu suất cao bằng cách sử dụng sức mạnh của CPU Intel, GPU tích hợp và rời rạc cũng như FPGA.
2. Hỗ trợ thực hiện không đồng nhất: OpenVINO cung cấp API để ghi một lần và triển khai trên bất kỳ phần cứng Intel nào được hỗ trợ (CPU, GPU, FPGA, VPU, v.v.).
3. Trình tối ưu hóa mô hình: OpenVINO cung cấp Trình tối ưu hóa mô hình nhập, chuyển đổi và tối ưu hóa các mô hình từ các khung học tập sâu phổ biến như PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddlevà Caffe.
4. Dễ sử dụng: Bộ công cụ đi kèm với hơn 80 máy tính xách tay hướng dẫn (bao gồm YOLOv8 tối ưu hóa) giảng dạy các khía cạnh khác nhau của bộ công cụ.

OpenVINO Cơ cấu xuất khẩu

Khi bạn xuất mô hình sang OpenVINO định dạng, nó dẫn đến một thư mục chứa những điều sau đây:

1. Tệp XML: Mô tả cấu trúc liên kết mạng.
2. Tệp BIN: Chứa weights and biases dữ liệu nhị phân.
3. Tệp ánh xạ: Giữ ánh xạ các tensor đầu ra mô hình ban đầu thành OpenVINO tensor Tên.

Bạn có thể sử dụng các tệp này để chạy suy luận với OpenVINO Công cụ suy luận.

Sử dụng OpenVINO Xuất khẩu trong triển khai

Khi bạn có OpenVINO tệp, bạn có thể sử dụng OpenVINO Thời gian chạy để chạy mô hình. Thời gian chạy cung cấp một API thống nhất để suy luận trên tất cả các phần cứng Intel được hỗ trợ. Nó cũng cung cấp các khả năng nâng cao như cân bằng tải trên phần cứng Intel và thực thi không đồng bộ. Để biết thêm thông tin về cách chạy suy luận, hãy tham khảo Suy luận với OpenVINO Hướng dẫn thời gian chạy.

Hãy nhớ rằng, bạn sẽ cần các tệp XML và BIN cũng như bất kỳ cài đặt dành riêng cho ứng dụng nào như kích thước đầu vào, hệ số tỷ lệ để chuẩn hóa, v.v., để thiết lập và sử dụng chính xác mô hình với Thời gian chạy.

Trong ứng dụng triển khai của bạn, bạn thường sẽ thực hiện các bước sau:

1. Khởi tạo OpenVINO bằng cách tạo core = Core().
2. Tải mô hình bằng cách sử dụng core.read_model() phương pháp.
3. Biên dịch mô hình bằng cách sử dụng core.compile_model() chức năng.
4. Chuẩn bị đầu vào (hình ảnh, văn bản, âm thanh, v.v.).
5. Chạy suy luận bằng cách sử dụng compiled_model(input_data).

Để biết các bước và đoạn mã chi tiết hơn, hãy tham khảo OpenVINO tài liệu hoặc hướng dẫn API.

OpenVINO YOLOv8 Điểm chuẩn

YOLOv8 Điểm chuẩn dưới đây được điều hành bởi Ultralytics Nhóm trên 4 định dạng mô hình khác nhau đo tốc độ và độ chính xác: PyTorch, TorchScript, ONNX và OpenVINO. Điểm chuẩn được chạy trên GPU Intel Flex và Arc và trên CPU Intel Xeon ở độ chính xác FP32 (với half=False lập luận).

Intel Flex GPU

Intel® Data Center GPU Flex Series là một giải pháp linh hoạt và mạnh mẽ được thiết kế cho đám mây trực quan thông minh. GPU này hỗ trợ nhiều khối lượng công việc bao gồm phát trực tuyến phương tiện, chơi game trên đám mây, suy luận trực quan AI và khối lượng công việc Cơ sở hạ tầng máy tính để bàn ảo. Nó nổi bật với kiến trúc mở và hỗ trợ tích hợp cho mã hóa AV1, cung cấp ngăn xếp phần mềm dựa trên tiêu chuẩn cho các ứng dụng kiến trúc chéo, hiệu suất cao. GPU Flex Series được tối ưu hóa về mật độ và chất lượng, cung cấp độ tin cậy, tính khả dụng và khả năng mở rộng cao.

Điểm chuẩn dưới đây chạy trên Intel® Data Center GPU Flex 170 ở độ chính xác FP32.

Bảng này thể hiện kết quả điểm chuẩn cho năm mô hình khác nhau (YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) trên bốn định dạng khác nhau (PyTorch, TorchScript, ONNX, OpenVINO), cho chúng tôi trạng thái, kích thước, số liệu mAP50-95 (B) và thời gian suy luận cho mỗi kết hợp.

Intel Arc GPU

Intel® Arc™ đại diện cho bước đột phá của Intel vào thị trường GPU chuyên dụng. Dòng Arc™, được thiết kế để cạnh tranh với các nhà sản xuất GPU hàng đầu như AMD và Nvidia, phục vụ cho cả thị trường máy tính xách tay và máy tính để bàn. Sê-ri bao gồm các phiên bản di động cho các thiết bị nhỏ gọn như máy tính xách tay và các phiên bản lớn hơn, mạnh mẽ hơn cho máy tính để bàn.

Sê-ri Arc™ được chia thành ba loại: Arc™ 3, Arc™ 5 và Arc™ 7, với mỗi số cho biết mức hiệu suất. Mỗi danh mục bao gồm một số kiểu máy và chữ 'M' trong tên kiểu GPU biểu thị một biến thể tích hợp, di động.

Các đánh giá ban đầu đã ca ngợi dòng Arc™, đặc biệt là GPU A770M tích hợp, vì hiệu suất đồ họa ấn tượng. Tính khả dụng của dòng Arc™ thay đổi theo khu vực và các mô hình bổ sung dự kiến sẽ sớm được phát hành. GPU Intel® Arc™ cung cấp các giải pháp hiệu suất cao cho một loạt các nhu cầu điện toán, từ chơi game đến sáng tạo nội dung.

Điểm chuẩn dưới đây chạy trên GPU Intel® Arc 770 ở độ chính xác FP32.

Intel Xeon CPU

CPU Intel® Xeon® là bộ xử lý cấp máy chủ, hiệu suất cao được thiết kế cho khối lượng công việc phức tạp và đòi hỏi khắt khe. Từ điện toán đám mây và ảo hóa cao cấp đến trí tuệ nhân tạo và các ứng dụng học máy, CPU Xeon® cung cấp sức mạnh, độ tin cậy và tính linh hoạt cần thiết cho các trung tâm dữ liệu ngày nay.

Đáng chú ý, CPU Xeon® cung cấp mật độ tính toán và khả năng mở rộng cao, khiến chúng trở nên lý tưởng cho cả doanh nghiệp nhỏ và doanh nghiệp lớn. Bằng cách chọn CPU Intel® Xeon®, các tổ chức có thể tự tin xử lý các tác vụ điện toán đòi hỏi khắt khe nhất của họ và thúc đẩy sự đổi mới trong khi vẫn duy trì hiệu quả chi phí và hiệu quả hoạt động.

Điểm chuẩn dưới đây chạy trên CPU Intel® Xeon® Scalable thế hệ thứ 4 với độ chính xác FP32.

Intel Core CPU

Dòng Intel® Core® là một loạt các bộ vi xử lý hiệu suất cao của Intel. Dòng sản phẩm bao gồm Core i3 (cấp nhập cảnh), Core i5 (tầm trung), Core i7 (cao cấp) và Core i9 (hiệu năng cực cao). Mỗi dòng phục vụ cho các nhu cầu điện toán và ngân sách khác nhau, từ các tác vụ hàng ngày đến khối lượng công việc chuyên nghiệp đòi hỏi khắt khe. Với mỗi thế hệ mới, các cải tiến được thực hiện đối với hiệu suất, hiệu quả năng lượng và các tính năng.

Điểm chuẩn dưới đây chạy trên CPU Intel® Core® i7-13700H thế hệ thứ 13 ở độ chính xác FP32.

Tái tạo kết quả của chúng tôi

Để tái tạo Ultralytics Điểm chuẩn ở trên trên tất cả các định dạng xuất đều chạy mã này:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
results= model.benchmarks(data='coco8.yaml')

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

Kết thúc

Kết quả benchmark thể hiện rõ lợi ích của việc xuất khẩu YOLOv8 mô hình cho OpenVINO định dạng. Trên các mô hình và nền tảng phần cứng khác nhau, các OpenVINO Định dạng luôn vượt trội hơn các định dạng khác về tốc độ suy luận trong khi vẫn duy trì độ chính xác tương đương.

® Đối với Intel Data Center GPU Flex Series, OpenVINO Định dạng có thể cung cấp tốc độ suy luận nhanh hơn gần 10 lần so với bản gốc PyTorch định dạng. Trên CPU Xeon, OpenVINO Định dạng nhanh gấp đôi so với PyTorch định dạng. Độ chính xác của các mô hình vẫn gần như giống hệt nhau trên các định dạng khác nhau.

Các điểm chuẩn nhấn mạnh tính hiệu quả của OpenVINO như một công cụ để triển khai các mô hình deep learning. Bằng cách chuyển đổi các mô hình sang OpenVINO Định dạng, các nhà phát triển có thể đạt được những cải tiến hiệu suất đáng kể, giúp triển khai các mô hình này trong các ứng dụng trong thế giới thực dễ dàng hơn.

Để biết thêm thông tin chi tiết và hướng dẫn sử dụng OpenVINO, tham khảo chính thức OpenVINO tài liệu.

Ý kiến