Intel OpenVINO Xuất khẩu

Trong hướng dẫn này, chúng tôi đề cập đến việc xuất khẩu YOLOv8 các mô hình theo định dạng OpenVINO , có thể tăng tốc CPU lên đến 3 lần, cũng như tăng tốc YOLO suy luận về Intel Phần cứng GPU và NPU .

OpenVINO , viết tắt của Open Visual Inference & Neural Network Optimization toolkit, là một bộ công cụ toàn diện để tối ưu hóa và triển khai các mô hình suy luận AI. Mặc dù tên có chứa Visual, OpenVINO cũng hỗ trợ nhiều tác vụ bổ sung khác bao gồm ngôn ngữ, âm thanh, chuỗi thời gian, v.v.

Đồng hồ: Làm thế nào để xuất và tối ưu hóa một Ultralytics YOLOv8 Mô hình suy luận với OpenVINO .

Ví dụ sử dụng

Xuất khẩu một YOLOv8n mô hình để OpenVINO định dạng và chạy suy luận với mô hình đã xuất.

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolov8n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Lập luận

Lợi ích của OpenVINO

1. Hiệu suất : OpenVINO cung cấp suy luận hiệu suất cao bằng cách sử dụng sức mạnh của Intel CPU, GPU tích hợp và rời rạc, và FPGA.
2. Hỗ trợ thực thi không đồng nhất : OpenVINO cung cấp API để viết một lần và triển khai trên bất kỳ hệ điều hành nào được hỗ trợ Intel phần cứng ( CPU , GPU , FPGA, VPU, v.v.).
3. Trình tối ưu hóa mô hình : OpenVINO cung cấp một Trình tối ưu hóa mô hình nhập, chuyển đổi và tối ưu hóa các mô hình từ các khuôn khổ học sâu phổ biến như PyTorch , TensorFlow , TensorFlow Lite, Keras, ONNX , PaddlePaddle và Caffe.
4. Dễ sử dụng : Bộ công cụ đi kèm hơn 80 sổ tay hướng dẫn (bao gồm cả tối ưu hóa YOLOv8 ) hướng dẫn các khía cạnh khác nhau của bộ công cụ.

OpenVINO Cấu trúc xuất khẩu

Khi bạn xuất một mô hình sang OpenVINO định dạng, kết quả sẽ là một thư mục chứa những thông tin sau:

1. Tệp XML : Mô tả cấu trúc mạng.
2. Tệp BIN : Chứa weights and biases dữ liệu nhị phân.
3. Tệp ánh xạ : Lưu trữ ánh xạ của tenxơ đầu ra mô hình gốc tới OpenVINO tensor tên.

Bạn có thể sử dụng các tập tin này để chạy suy luận với OpenVINO Công cụ suy luận.

Sử dụng OpenVINO Xuất trong triển khai

Một khi bạn có OpenVINO tập tin, bạn có thể sử dụng OpenVINO Runtime để chạy mô hình. Runtime cung cấp một API thống nhất để suy luận trên tất cả các Intel phần cứng. Nó cũng cung cấp các khả năng tiên tiến như cân bằng tải trên Intel phần cứng và thực thi không đồng bộ. Để biết thêm thông tin về việc chạy suy luận, hãy tham khảo Hướng dẫn suy luận với OpenVINO Runtime .

Hãy nhớ rằng bạn sẽ cần các tệp XML và BIN cũng như bất kỳ thiết lập cụ thể nào cho ứng dụng như kích thước đầu vào, hệ số tỷ lệ để chuẩn hóa, v.v., để thiết lập và sử dụng đúng mô hình với Runtime.

Trong ứng dụng triển khai của bạn, bạn thường thực hiện các bước sau:

1. Khởi tạo OpenVINO bằng cách tạo ra core = Core().
2. Tải mô hình bằng cách sử dụng core.read_model() phương pháp.
3. Biên dịch mô hình bằng cách sử dụng core.compile_model() chức năng.
4. Chuẩn bị dữ liệu đầu vào (hình ảnh, văn bản, âm thanh, v.v.).
5. Chạy suy luận bằng cách sử dụng compiled_model(input_data).

Để biết các bước chi tiết hơn và đoạn mã, hãy tham khảo tài liệu OpenVINO hoặc hướng dẫn API .

OpenVINO YOLOv8 Tiêu chuẩn

YOLOv8 các tiêu chuẩn dưới đây được chạy bởi Ultralytics nhóm trên 4 định dạng mô hình khác nhau để đo tốc độ và độ chính xác: PyTorch , TorchScript , ONNX Và OpenVINO . Các điểm chuẩn đã được chạy trên Intel GPU Flex và Arc, và trên Intel CPU Xeon ở FP32 độ chính xác (với half=False lý lẽ).

Intel Uốn cong GPU

Trung tâm dữ liệu Intel® GPU Flex Series là giải pháp linh hoạt và mạnh mẽ được thiết kế cho đám mây hình ảnh thông minh. Giải pháp này GPU hỗ trợ nhiều khối lượng công việc bao gồm phát trực tuyến phương tiện, chơi game trên đám mây, suy luận trực quan AI và khối lượng công việc cơ sở hạ tầng máy tính để bàn ảo. Nó nổi bật với kiến trúc mở và hỗ trợ tích hợp cho mã hóa AV1, cung cấp một ngăn xếp phần mềm dựa trên tiêu chuẩn cho các ứng dụng hiệu suất cao, kiến trúc chéo. Dòng Flex GPU được tối ưu hóa về mật độ và chất lượng, mang lại độ tin cậy, tính khả dụng và khả năng mở rộng cao.

Điểm chuẩn dưới đây chạy trên Intel® Data Center GPU Flex 170 có độ chính xác FP32.

Bảng này thể hiện kết quả chuẩn cho năm mô hình khác nhau ( YOLOv8n , YOLOv8s , YOLOv8m , YOLOv8l , YOLOv8x ) trên bốn định dạng khác nhau ( PyTorch , TorchScript , ONNX , OpenVINO ), cung cấp cho chúng ta trạng thái, kích thước, số liệu mAP50-95(B) và thời gian suy luận cho mỗi kết hợp.

Intel Cung GPU

Intel® Arc™ đại diện cho Intel 's đột nhập vào chuyên dụng GPU thị trường. Dòng Arc™ được thiết kế để cạnh tranh với các GPU các nhà sản xuất như AMD và NVIDIA , phục vụ cho cả thị trường máy tính xách tay và máy tính để bàn. Dòng sản phẩm này bao gồm các phiên bản di động cho các thiết bị nhỏ gọn như máy tính xách tay và các phiên bản lớn hơn, mạnh mẽ hơn cho máy tính để bàn.

Dòng Arc™ được chia thành ba loại: Arc™ 3, Arc™ 5 và Arc™ 7, với mỗi số biểu thị mức hiệu suất. Mỗi loại bao gồm một số mẫu và 'M' trong GPU Tên model biểu thị một biến thể di động, tích hợp.

Các đánh giá ban đầu đã ca ngợi dòng Arc™, đặc biệt là A770M tích hợp GPU , vì hiệu suất đồ họa ấn tượng của nó. Tính khả dụng của dòng Arc™ thay đổi tùy theo khu vực và các mẫu bổ sung dự kiến sẽ sớm được phát hành. GPU Intel® Arc™ cung cấp các giải pháp hiệu suất cao cho nhiều nhu cầu điện toán, từ chơi game đến sáng tạo nội dung.

Điểm chuẩn dưới đây chạy trên Intel® Arc 770 GPU ở độ chính xác FP32.

Intel Xeon CPU

Bộ vi xử lý Intel® Xeon® CPU là bộ xử lý hiệu suất cao, cấp máy chủ được thiết kế cho khối lượng công việc phức tạp và đòi hỏi cao. Từ điện toán đám mây và ảo hóa cao cấp đến trí tuệ nhân tạo và các ứng dụng học máy, CPU Xeon® cung cấp sức mạnh, độ tin cậy và tính linh hoạt cần thiết cho các trung tâm dữ liệu ngày nay.

Đáng chú ý, CPU Xeon® cung cấp mật độ tính toán và khả năng mở rộng cao, khiến chúng trở nên lý tưởng cho cả doanh nghiệp nhỏ và doanh nghiệp lớn. Bằng cách lựa chọn CPU Intel® Xeon®, các tổ chức có thể tự tin xử lý các tác vụ tính toán đòi hỏi khắt khe nhất của mình và thúc đẩy sự đổi mới trong khi vẫn duy trì hiệu quả về chi phí và hiệu quả hoạt động.

Điểm chuẩn bên dưới chạy trên Intel® Xeon® Scalable thế hệ thứ 4 CPU ở độ chính xác FP32.

Intel Lõi CPU

Dòng Intel® Core® là một loạt các bộ xử lý hiệu suất cao của Intel . Dòng sản phẩm bao gồm Core i3 (mức cơ bản), Core i5 (tầm trung), Core i7 (cao cấp) và Core i9 (hiệu suất cực cao). Mỗi dòng sản phẩm đáp ứng các nhu cầu và ngân sách điện toán khác nhau, từ các tác vụ hàng ngày đến khối lượng công việc chuyên nghiệp đòi hỏi khắt khe. Với mỗi thế hệ mới, hiệu suất, hiệu quả năng lượng và các tính năng đều được cải thiện.

Điểm chuẩn bên dưới chạy trên Intel® Core® i7-13700H thế hệ thứ 13 CPU ở độ chính xác FP32.

Intel Hồ thiên thạch Ultra 7 155H CPU

Intel® Ultra™ 7 155H đại diện cho chuẩn mực mới trong điện toán hiệu suất cao, được thiết kế để phục vụ những người dùng khó tính nhất, từ game thủ đến người sáng tạo nội dung. Ultra™ 7 155H không chỉ là CPU ; nó tích hợp một sức mạnh GPU và một NPU (Bộ xử lý thần kinh) tiên tiến trong một con chip duy nhất, cung cấp giải pháp toàn diện cho nhiều nhu cầu điện toán khác nhau.

Kiến trúc lai này cho phép Ultra™ 7 155H vượt trội ở cả hai phương diện truyền thống CPU nhiệm vụ và GPU - khối lượng công việc được tăng tốc, trong khi NPU tăng cường các quy trình do AI điều khiển, cho phép các hoạt động học máy nhanh hơn và hiệu quả hơn. Điều này làm cho Ultra™ 7 155H trở thành lựa chọn linh hoạt cho các ứng dụng yêu cầu đồ họa hiệu suất cao, tính toán phức tạp và suy luận AI.

Dòng Ultra™ 7 bao gồm nhiều mẫu, mỗi mẫu cung cấp các mức hiệu suất khác nhau, với ký hiệu 'H' biểu thị một biến thể công suất cao phù hợp với máy tính xách tay và thiết bị nhỏ gọn. Các điểm chuẩn ban đầu đã nêu bật hiệu suất vượt trội của Ultra™ 7 155H, đặc biệt là trong môi trường đa nhiệm, nơi công suất kết hợp của CPU , GPU và NPU mang lại hiệu quả và tốc độ đáng kể.

Là một phần của Intel Cam kết của Intel về công nghệ tiên tiến, Ultra™ 7 155H được thiết kế để đáp ứng nhu cầu điện toán trong tương lai, với nhiều mẫu máy dự kiến sẽ được phát hành. Tính khả dụng của Ultra™ 7 155H khác nhau tùy theo khu vực và tiếp tục nhận được lời khen ngợi vì tích hợp ba bộ xử lý mạnh mẽ trong một chip duy nhất, thiết lập các tiêu chuẩn mới về hiệu suất điện toán.

Điểm chuẩn dưới đây chạy trên Intel® Ultra™ 7 155H ở độ chính xác FP32 và INT8.

Tiêu chuẩn

Intel® Arc™ tích hợp GPUHồ Thiên Thạch Intel® CPUTích hợp Intel® AI Boost NPU

Người mẫu	Định dạng	Độ chính xác	Trạng thái	Kích thước (MB)	số liệu/mAP50-95(B)	Thời gian suy luận (ms/im)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	35.95
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6117	8.32
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5791	9.88
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.72
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7136	13.37
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7086	9.96
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	202.05
YOLOv8m	OpenVINO	FP32	✅	99.1	0.7331	28.07
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7259	21.11
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	393.37
YOLOv8l	OpenVINO	FP32	✅	167.0	0.0	52.73
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7861	28.11
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	610.71
YOLOv8x	OpenVINO	FP32	✅	260.6	0.748	73.51
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8085	51.71

Người mẫu	Định dạng	Độ chính xác	Trạng thái	Kích thước (MB)	số liệu/mAP50-95(B)	Thời gian suy luận (ms/im)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	34.69
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6092	39.06
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5968	18.37
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.9
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7136	82.6
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7083	29.51
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	202.43
YOLOv8m	OpenVINO	FP32	✅	99.1	0.728	181.27
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7285	51.25
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	385.87
YOLOv8l	OpenVINO	FP32	✅	167.0	0.7551	347.75
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7675	91.66
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	603.63
YOLOv8x	OpenVINO	FP32	✅	260.6	0.7479	516.39
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8119	142.42

Người mẫu	Định dạng	Độ chính xác	Trạng thái	Kích thước (MB)	số liệu/mAP50-95(B)	Thời gian suy luận (ms/im)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	36.98
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6103	16.68
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5941	14.6
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.76
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7144	32.89
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7062	26.13
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	201.44
YOLOv8m	OpenVINO	FP32	✅	99.1	0.7284	54.4
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7268	30.76
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	385.46
YOLOv8l	OpenVINO	FP32	✅	167.0	0.7539	80.1
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7508	52.25
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	609.4
YOLOv8x	OpenVINO	FP32	✅	260.6	0.7637	104.79
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8077	64.96

Tái tạo kết quả của chúng tôi

Để tái tạo Ultralytics các tiêu chuẩn trên trên tất cả các định dạng xuất khẩu chạy mã này:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
results = model.benchmarks(data="coco8.yaml")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

Phần kết luận

Kết quả đánh giá chuẩn mực chứng minh rõ ràng lợi ích của việc xuất khẩu YOLOv8 mô hình cho OpenVINO định dạng. Trên các mô hình và nền tảng phần cứng khác nhau, OpenVINO Định dạng này luôn vượt trội hơn các định dạng khác về tốc độ suy luận trong khi vẫn duy trì độ chính xác tương đương.

Đối với Trung tâm dữ liệu Intel® GPU Dòng Flex, OpenVINO định dạng có thể cung cấp tốc độ suy luận nhanh hơn gần 10 lần so với bản gốc PyTorch định dạng. Trên Xeon CPU , các OpenVINO định dạng nhanh gấp đôi PyTorch Độ chính xác của các mô hình vẫn gần như giống hệt nhau ở các định dạng khác nhau.

Các tiêu chuẩn nhấn mạnh hiệu quả của OpenVINO như một công cụ để triển khai các mô hình học sâu. Bằng cách chuyển đổi các mô hình sang OpenVINO định dạng, các nhà phát triển có thể đạt được những cải tiến hiệu suất đáng kể, giúp triển khai các mô hình này dễ dàng hơn trong các ứng dụng thực tế.

Để biết thông tin chi tiết hơn và hướng dẫn sử dụng OpenVINO , tham khảo tài liệu chính thức OpenVINO .

CÂU HỎI THƯỜNG GẶP

Làm thế nào để tôi xuất khẩu YOLOv8 mô hình để OpenVINO định dạng?

Xuất khẩu YOLOv8 các mô hình cho OpenVINO định dạng có thể cải thiện đáng kể CPU tốc độ và kích hoạt GPU và tăng tốc NPU trên Intel phần cứng. Để xuất, bạn có thể sử dụng Python hoặc CLI như được hiển thị bên dưới:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolov8n_openvino_model/'

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

Để biết thêm thông tin, hãy tham khảo tài liệu về định dạng xuất .

Lợi ích của việc sử dụng là gì? OpenVINO với YOLOv8 mô hình?

Sử dụng Intel 'S OpenVINO bộ công cụ với YOLOv8 mô hình cung cấp một số lợi ích:

1. Hiệu suất : Tăng tốc lên đến 3 lần CPU suy luận và đòn bẩy Intel GPU và NPU để tăng tốc.
2. Trình tối ưu hóa mô hình : Chuyển đổi, tối ưu hóa và thực thi các mô hình từ các khuôn khổ phổ biến như PyTorch , TensorFlow , Và ONNX .
3. Dễ sử dụng : Có hơn 80 sổ tay hướng dẫn giúp người dùng bắt đầu, bao gồm cả sổ tay hướng dẫn dành cho YOLOv8 .
4. Thực hiện không đồng nhất : Triển khai các mô hình trên nhiều Intel phần cứng có API thống nhất.

Để so sánh hiệu suất chi tiết, hãy truy cập phần điểm chuẩn của chúng tôi.

Làm thế nào tôi có thể chạy suy luận bằng cách sử dụng một YOLOv8 mô hình xuất khẩu sang OpenVINO ?

Sau khi xuất khẩu một YOLOv8 mô hình để OpenVINO định dạng, bạn có thể chạy suy luận bằng cách sử dụng Python hoặc CLI :

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Tham khảo tài liệu về chế độ dự đoán của chúng tôi để biết thêm chi tiết.

Tại sao tôi nên chọn Ultralytics YOLOv8 trên các mô hình khác cho OpenVINO xuất khẩu?

Ultralytics YOLOv8 được tối ưu hóa để phát hiện đối tượng theo thời gian thực với độ chính xác và tốc độ cao. Cụ thể, khi kết hợp với OpenVINO , YOLOv8 cung cấp:

• Tăng tốc lên đến 3x Intel CPU
• Triển khai liền mạch trên Intel GPU và NPU
• Độ chính xác nhất quán và tương đương trên nhiều định dạng xuất khác nhau

Để phân tích hiệu suất chuyên sâu, hãy kiểm tra điểm chuẩn YOLOv8 chi tiết của chúng tôi trên các phần cứng khác nhau.

Tôi có thể đánh giá chuẩn không? YOLOv8 các mô hình trên các định dạng khác nhau như PyTorch , ONNX , Và OpenVINO ?

Có, bạn có thể đánh giá chuẩn YOLOv8 các mô hình ở nhiều định dạng khác nhau bao gồm PyTorch , TorchScript , ONNX , Và OpenVINO . Sử dụng đoạn mã sau để chạy chuẩn mực trên tập dữ liệu bạn đã chọn:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmarks(data="coco8.yaml")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

Để biết kết quả chuẩn chi tiết, hãy tham khảo phần chuẩn và tài liệu định dạng xuất của chúng tôi.

📅 Được tạo ra cách đây 1 năm ✏️ Đã cập nhật cách đây 2 tháng

Bình luận