Intel OpenVINO Xuất khẩu

Trong hướng dẫn này, chúng tôi đề cập đến việc xuất khẩu YOLOv8 mô hình cho OpenVINO định dạng, có thể cung cấp lên đến 3x CPU Tăng tốc, cũng như tăng tốc YOLO suy luận về Intel GPU và phần cứng NPU .

OpenVINO, short for Open Visual Inference & Neural Network Optimization toolkit, is a comprehensive toolkit for optimizing and deploying AI inference models. Even though the name contains Visual, OpenVINO also supports various additional tasks including language, audio, time series, etc.

Xem: Cách xuất và tối ưu hóa Ultralytics YOLOv8 Mô hình suy luận với OpenVINO.

Ví dụ sử dụng

Xuất một YOLOv8n Mô hình để OpenVINO định dạng và chạy suy luận với mô hình đã xuất.

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolov8n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Lập luận

Lợi ích của OpenVINO

1. Hiệu suất: OpenVINO Cung cấp suy luận hiệu suất cao bằng cách sử dụng sức mạnh của Intel CPU, GPU tích hợp và rời rạc và FPGA.
2. Hỗ trợ thực hiện không đồng nhất: OpenVINO cung cấp API để viết một lần và triển khai trên bất kỳ hỗ trợ nào Intel phần cứng (CPU, GPU, FPGA, VPU, v.v.).
3. Model Optimizer: OpenVINO provides a Model Optimizer that imports, converts, and optimizes models from popular deep learning frameworks such as PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle, and Caffe.
4. Dễ sử dụng: Bộ công cụ đi kèm với hơn 80 máy tính xách tay hướng dẫn (bao gồm YOLOv8 tối ưu hóa) giảng dạy các khía cạnh khác nhau của bộ công cụ.

OpenVINO Cơ cấu xuất khẩu

Khi bạn xuất mô hình sang OpenVINO định dạng, nó dẫn đến một thư mục chứa những điều sau đây:

1. Tệp XML: Mô tả cấu trúc liên kết mạng.
2. Tệp BIN: Chứa weights and biases dữ liệu nhị phân.
3. Tệp ánh xạ: Giữ ánh xạ các tensor đầu ra mô hình ban đầu thành OpenVINO tensor Tên.

Bạn có thể sử dụng các tệp này để chạy suy luận với OpenVINO Công cụ suy luận.

Sử dụng OpenVINO Xuất khẩu trong triển khai

Khi bạn có OpenVINO tệp, bạn có thể sử dụng OpenVINO Thời gian chạy để chạy mô hình. Thời gian chạy cung cấp một API thống nhất để suy luận trên tất cả các hỗ trợ Intel phần cứng. Nó cũng cung cấp các khả năng nâng cao như cân bằng tải trên Intel phần cứng và thực thi không đồng bộ. Để biết thêm thông tin về cách chạy suy luận, hãy tham khảo Suy luận với OpenVINO Hướng dẫn thời gian chạy.

Hãy nhớ rằng, bạn sẽ cần các tệp XML và BIN cũng như bất kỳ cài đặt dành riêng cho ứng dụng nào như kích thước đầu vào, hệ số tỷ lệ để chuẩn hóa, v.v., để thiết lập và sử dụng chính xác mô hình với Thời gian chạy.

Trong ứng dụng triển khai của bạn, bạn thường sẽ thực hiện các bước sau:

1. Khởi tạo OpenVINO bằng cách tạo core = Core().
2. Tải mô hình bằng cách sử dụng core.read_model() phương pháp.
3. Biên dịch mô hình bằng cách sử dụng core.compile_model() chức năng.
4. Chuẩn bị đầu vào (hình ảnh, văn bản, âm thanh, v.v.).
5. Chạy suy luận bằng cách sử dụng compiled_model(input_data).

Để biết các bước và đoạn mã chi tiết hơn, hãy tham khảo OpenVINO tài liệu hoặc hướng dẫn API.

OpenVINO YOLOv8 Điểm chuẩn

YOLOv8 benchmarks below were run by the Ultralytics team on 4 different model formats measuring speed and accuracy: PyTorch, TorchScript, ONNX and OpenVINO. Benchmarks were run on Intel Flex and Arc GPUs, and on Intel Xeon CPUs at FP32 precision (with the half=False lập luận).

Intel Flex GPU

Trung tâm dữ liệu Intel® GPU Flex Series là một giải pháp linh hoạt và mạnh mẽ được thiết kế cho đám mây trực quan thông minh. Này GPU hỗ trợ nhiều khối lượng công việc bao gồm phát trực tuyến phương tiện, chơi game trên đám mây, suy luận trực quan AI và khối lượng công việc Cơ sở hạ tầng máy tính để bàn ảo. Nó nổi bật với kiến trúc mở và hỗ trợ tích hợp cho mã hóa AV1, cung cấp ngăn xếp phần mềm dựa trên tiêu chuẩn cho các ứng dụng kiến trúc chéo, hiệu suất cao. Dòng Flex GPU được tối ưu hóa về mật độ và chất lượng, cung cấp độ tin cậy, tính khả dụng và khả năng mở rộng cao.

Điểm chuẩn dưới đây chạy trên Trung tâm dữ liệu Intel® GPU Flex 170 ở độ chính xác FP32.

Bảng này thể hiện kết quả điểm chuẩn cho năm mô hình khác nhau (YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) trên bốn định dạng khác nhau (PyTorch, TorchScript, ONNX, OpenVINO), cho chúng tôi trạng thái, kích thước, số liệu mAP50-95 (B) và thời gian suy luận cho mỗi kết hợp.

Intel Cung GPU

Intel® Arc™ represents Intel's foray into the dedicated GPU market. The Arc™ series, designed to compete with leading GPU manufacturers like AMD and NVIDIA, caters to both the laptop and desktop markets. The series includes mobile versions for compact devices like laptops, and larger, more powerful versions for desktop computers.

Sê-ri Arc™ được chia thành ba loại: Arc™ 3, Arc™ 5 và Arc™ 7, với mỗi số cho biết mức hiệu suất. Mỗi danh mục bao gồm một số mô hình và 'M' trong GPU Tên model biểu thị một biến thể di động, tích hợp.

Các đánh giá ban đầu đã ca ngợi dòng Arc™, đặc biệt là A770M tích hợp GPU, cho hiệu suất đồ họa ấn tượng. Tính khả dụng của dòng Arc™ thay đổi theo khu vực và các mô hình bổ sung dự kiến sẽ sớm được phát hành. GPU Intel® Arc™ cung cấp các giải pháp hiệu suất cao cho một loạt các nhu cầu điện toán, từ chơi game đến sáng tạo nội dung.

Điểm chuẩn dưới đây chạy trên Intel® Arc 770 GPU ở độ chính xác FP32.

Intel Xeon CPU

The Intel® Xeon® CPU is a high-performance, server-grade processor designed for complex and demanding workloads. From high-end cloud computing and virtualization to artificial intelligence and machine learning applications, Xeon® CPUs provide the power, reliability, and flexibility required for today's data centers.

Đáng chú ý, CPU Xeon® cung cấp mật độ tính toán và khả năng mở rộng cao, khiến chúng trở nên lý tưởng cho cả doanh nghiệp nhỏ và doanh nghiệp lớn. Bằng cách chọn CPU Intel® Xeon®, các tổ chức có thể tự tin xử lý các tác vụ điện toán đòi hỏi khắt khe nhất của họ và thúc đẩy sự đổi mới trong khi vẫn duy trì hiệu quả chi phí và hiệu quả hoạt động.

Điểm chuẩn dưới đây chạy trên Intel® Xeon® Scalable thế hệ thứ 4 CPU ở độ chính xác FP32.

Intel Lõi CPU

Dòng Intel® Core® là một loạt các bộ vi xử lý hiệu suất cao của Intel. Dòng sản phẩm bao gồm Core i3 (cấp nhập cảnh), Core i5 (tầm trung), Core i7 (cao cấp) và Core i9 (hiệu năng cực cao). Mỗi dòng phục vụ cho các nhu cầu điện toán và ngân sách khác nhau, từ các tác vụ hàng ngày đến khối lượng công việc chuyên nghiệp đòi hỏi khắt khe. Với mỗi thế hệ mới, các cải tiến được thực hiện đối với hiệu suất, hiệu quả năng lượng và các tính năng.

Điểm chuẩn dưới đây chạy trên Intel® Core® i7-13700H thế hệ thứ 13 CPU ở độ chính xác FP32.

Intel Ultra 7 155H Meteor Lake CPU

The Intel® Ultra™ 7 155H represents a new benchmark in high-performance computing, designed to cater to the most demanding users, from gamers to content creators. The Ultra™ 7 155H is not just a CPU; it integrates a powerful GPU and an advanced NPU (Neural Processing Unit) within a single chip, offering a comprehensive solution for diverse computing needs.

This hybrid architecture allows the Ultra™ 7 155H to excel in both traditional CPU tasks and GPU-accelerated workloads, while the NPU enhances AI-driven processes, enabling faster and more efficient machine learning operations. This makes the Ultra™ 7 155H a versatile choice for applications requiring high-performance graphics, complex computations, and AI inference.

The Ultra™ 7 series includes multiple models, each offering different levels of performance, with the 'H' designation indicating a high-power variant suitable for laptops and compact devices. Early benchmarks have highlighted the exceptional performance of the Ultra™ 7 155H, particularly in multitasking environments, where the combined power of the CPU, GPU, and NPU leads to remarkable efficiency and speed.

As part of Intel's commitment to cutting-edge technology, the Ultra™ 7 155H is designed to meet the needs of future computing, with more models expected to be released. The availability of the Ultra™ 7 155H varies by region, and it continues to receive praise for its integration of three powerful processing units in a single chip, setting new standards in computing performance.

Benchmarks below run on Intel® Ultra™ 7 155H at FP32 and INT8 precision.

Điểm chuẩn

Integrated Intel® Arc™ GPUIntel® Meteor Lake CPUIntegrated Intel® AI Boost NPU

Mẫu	Định dạng	Chính xác	Tình trạng	Kích thước (MB)	số liệu/mAP50-95(B)	Thời gian suy luận (ms/im)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	35.95
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6117	8.32
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5791	9.88
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.72
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7136	13.37
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7086	9.96
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	202.05
YOLOv8m	OpenVINO	FP32	✅	99.1	0.7331	28.07
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7259	21.11
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	393.37
YOLOv8l	OpenVINO	FP32	✅	167.0	0.0	52.73
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7861	28.11
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	610.71
YOLOv8x	OpenVINO	FP32	✅	260.6	0.748	73.51
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8085	51.71

Mẫu	Định dạng	Chính xác	Tình trạng	Kích thước (MB)	số liệu/mAP50-95(B)	Thời gian suy luận (ms/im)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	34.69
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6092	39.06
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5968	18.37
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.9
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7136	82.6
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7083	29.51
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	202.43
YOLOv8m	OpenVINO	FP32	✅	99.1	0.728	181.27
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7285	51.25
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	385.87
YOLOv8l	OpenVINO	FP32	✅	167.0	0.7551	347.75
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7675	91.66
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	603.63
YOLOv8x	OpenVINO	FP32	✅	260.6	0.7479	516.39
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8119	142.42

Mẫu	Định dạng	Chính xác	Tình trạng	Kích thước (MB)	số liệu/mAP50-95(B)	Thời gian suy luận (ms/im)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	36.98
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6103	16.68
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5941	14.6
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.76
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7144	32.89
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7062	26.13
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	201.44
YOLOv8m	OpenVINO	FP32	✅	99.1	0.7284	54.4
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7268	30.76
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	385.46
YOLOv8l	OpenVINO	FP32	✅	167.0	0.7539	80.1
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7508	52.25
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	609.4
YOLOv8x	OpenVINO	FP32	✅	260.6	0.7637	104.79
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8077	64.96

Tái tạo kết quả của chúng tôi

Để tái tạo Ultralytics Điểm chuẩn ở trên trên tất cả các định dạng xuất đều chạy mã này:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
results = model.benchmarks(data="coco8.yaml")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

Kết thúc

Kết quả benchmark thể hiện rõ lợi ích của việc xuất khẩu YOLOv8 mô hình cho OpenVINO định dạng. Trên các mô hình và nền tảng phần cứng khác nhau, các OpenVINO Định dạng luôn vượt trội hơn các định dạng khác về tốc độ suy luận trong khi vẫn duy trì độ chính xác tương đương.

Đối với Trung tâm dữ liệu Intel® GPU Dòng Flex, các OpenVINO Định dạng có thể cung cấp tốc độ suy luận nhanh hơn gần 10 lần so với bản gốc PyTorch định dạng. Trên Xeon CPU, các OpenVINO Định dạng nhanh gấp đôi so với PyTorch định dạng. Độ chính xác của các mô hình vẫn gần như giống hệt nhau trên các định dạng khác nhau.

Các điểm chuẩn nhấn mạnh tính hiệu quả của OpenVINO như một công cụ để triển khai các mô hình deep learning. Bằng cách chuyển đổi các mô hình sang OpenVINO Định dạng, các nhà phát triển có thể đạt được những cải tiến hiệu suất đáng kể, giúp triển khai các mô hình này trong các ứng dụng trong thế giới thực dễ dàng hơn.

Để biết thêm thông tin chi tiết và hướng dẫn sử dụng OpenVINO, tham khảo chính thức OpenVINO tài liệu.

FAQ

Làm cách nào để xuất YOLOv8 mô hình để OpenVINO định dạng?

Xuất khẩu YOLOv8 mô hình cho OpenVINO Định dạng có thể nâng cao đáng kể CPU Tốc độ và bật GPU và tăng tốc NPU trên Intel phần cứng. Để xuất, bạn có thể sử dụng một trong hai Python hoặc CLI Như hình dưới đây:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolov8n_openvino_model/'

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

Để biết thêm thông tin, hãy tham khảo tài liệu về định dạng xuất.

Lợi ích của việc sử dụng là gì OpenVINO với YOLOv8 Mô hình?

Sử dụng Intel's OpenVINO Bộ công cụ với YOLOv8 Mô hình cung cấp một số lợi ích:

1. Hiệu suất: Đạt được tốc độ lên đến 3x trên CPU Suy luận và đòn bẩy Intel GPU và NPU để tăng tốc.
2. Trình tối ưu hóa mô hình: Chuyển đổi, tối ưu hóa và thực thi các mô hình từ các khung phổ biến như PyTorch, TensorFlowvà ONNX.
3. Dễ sử dụng: Hơn 80 sổ ghi chép hướng dẫn có sẵn để giúp người dùng bắt đầu, bao gồm cả những sổ ghi chép cho YOLOv8.
4. Thực thi không đồng nhất: Triển khai các mô hình trên nhiều loại khác nhau Intel phần cứng với một API thống nhất.

Để so sánh hiệu suất chi tiết, hãy truy cập phần điểm chuẩn của chúng tôi.

Làm thế nào tôi có thể chạy suy luận bằng cách sử dụng YOLOv8 Mô hình xuất sang OpenVINO?

Sau khi xuất một YOLOv8 Mô hình để OpenVINO , bạn có thể chạy suy luận bằng cách sử dụng Python hoặc CLI:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Tham khảo tài liệu về chế độ dự đoán của chúng tôi để biết thêm chi tiết.

Tại sao tôi nên chọn Ultralytics YOLOv8 so với các mô hình khác cho OpenVINO xuất khẩu?

Ultralytics YOLOv8 được tối ưu hóa để phát hiện đối tượng theo thời gian thực với độ chính xác và tốc độ cao. Cụ thể, khi kết hợp với OpenVINO, YOLOv8 Cung cấp:

• Bật tốc độ lên đến 3x Intel Cpu
• Triển khai liền mạch trên Intel GPU và NPU
• Độ chính xác nhất quán và có thể so sánh trên các định dạng xuất khác nhau

Để phân tích hiệu suất chuyên sâu, hãy kiểm tra chi tiết của chúng tôi YOLOv8 điểm chuẩn trên các phần cứng khác nhau.

Tôi có thể điểm chuẩn không YOLOv8 mô hình trên các định dạng khác nhau như PyTorch, ONNXvà OpenVINO?

Có, bạn có thể điểm chuẩn YOLOv8 Các mô hình ở nhiều định dạng khác nhau bao gồm: PyTorch, TorchScript, ONNXvà OpenVINO. Sử dụng đoạn mã sau để chạy điểm chuẩn trên tập dữ liệu bạn đã chọn:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmarks(data="coco8.yaml")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

Để biết kết quả điểm chuẩn chi tiết, hãy tham khảo phần điểm chuẩn và tài liệu về định dạng xuất của chúng tôi.

📅 Created 1 year ago ✏️ Updated 1 month ago

Ý kiến