Xuất Intel OpenVINO#

Trong hướng dẫn này, chúng tôi đề cập đến việc xuất các model YOLO26 sang định dạng OpenVINO, có thể mang lại tốc độ xử lý trên CPU nhanh hơn tới 3 lần, cũng như tăng tốc suy luận YOLO trên phần cứng GPU và NPU của Intel.

OpenVINO, viết tắt của Open Visual Inference & Neural Network Optimization toolkit, là một bộ công cụ toàn diện để tối ưu hóa và triển khai các model suy luận AI. Mặc dù tên có chứa chữ Visual, OpenVINO vẫn hỗ trợ nhiều tác vụ bổ sung khác bao gồm ngôn ngữ, âm thanh, chuỗi thời gian, v.v.

Các tác vụ được hỗ trợ#

Xuất OpenVINO hỗ trợ tất cả bảy tác vụ của Ultralytics. Phân đoạn ngữ nghĩa và ước tính độ sâu chỉ khả dụng với YOLO26, dòng duy nhất tích hợp các phần đầu (head) này.

Ví dụ Sử dụng#

Định dạng OpenVINO hỗ trợ các chế độ Export, Predict, và Validate. Hãy xuất model của bạn, sau đó tải model đã xuất để chạy suy luận hoặc xác thực độ chính xác của nó trên CPU, GPU tích hợp/rời, hoặc NPU của Intel.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to OpenVINO format
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

from ultralytics import YOLO

# Load the exported OpenVINO model
model = YOLO("yolo26n_openvino_model/")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

# Run inference on a specific device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

from ultralytics import YOLO

# Load the exported OpenVINO model
model = YOLO("yolo26n_openvino_model/")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Đối số xuất#

Để biết thêm chi tiết về quá trình xuất, hãy truy cập trang tài liệu của Ultralytics về việc xuất model.

Lợi ích của OpenVINO#

1. Hiệu suất: OpenVINO mang lại khả năng suy luận hiệu suất cao bằng cách tận dụng sức mạnh của CPU, GPU tích hợp và rời, cùng các FPGA của Intel.
2. Hỗ trợ thực thi không đồng nhất: OpenVINO cung cấp API để viết một lần và triển khai trên mọi phần cứng Intel được hỗ trợ (CPU, GPU, FPGA, VPU, v.v.).
3. Model Optimizer: OpenVINO cung cấp một Model Optimizer giúp nhập, chuyển đổi và tối ưu hóa các model từ các framework deep learning phổ biến như PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle và Caffe.
4. Dễ sử dụng: Bộ công cụ đi kèm với một bộ sưu tập lớn các notebook hướng dẫn (bao gồm tối ưu hóa YOLO26) giảng dạy các khía cạnh khác nhau của bộ công cụ.

Cấu trúc xuất OpenVINO#

Khi bạn xuất một model sang định dạng OpenVINO, nó tạo ra một thư mục chứa những thành phần sau:

1. Tệp XML: Mô tả cấu trúc liên kết mạng.
2. Tệp BIN: Chứa dữ liệu nhị phân về trọng số và thiên vị (weights and biases).
3. Tệp Mapping: Chứa thông tin ánh xạ các tensor đầu ra của model gốc sang tên tensor của OpenVINO.

Bạn có thể sử dụng các tệp này để chạy suy luận với OpenVINO Inference Engine.

Sử dụng xuất OpenVINO trong triển khai#

Sau khi model của bạn đã được xuất thành công sang định dạng OpenVINO, bạn có hai lựa chọn chính để chạy suy luận:

1. Sử dụng gói ultralytics, cung cấp một API cấp cao và đóng gói OpenVINO Runtime.

2. Sử dụng gói openvino nguyên bản để kiểm soát nâng cao hoặc tùy chỉnh hơn đối với hành vi suy luận.

Suy luận với Ultralytics#

Gói ultralytics cho phép bạn dễ dàng chạy suy luận bằng cách sử dụng model OpenVINO đã xuất thông qua phương thức predict. Bạn cũng có thể chỉ định thiết bị mục tiêu (ví dụ: intel:gpu, intel:npu, intel:cpu) bằng đối số device.

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

Cách tiếp cận này lý tưởng cho việc tạo mẫu nhanh hoặc triển khai khi bạn không cần toàn quyền kiểm soát quy trình suy luận.

Suy luận với OpenVINO Runtime#

OpenVINO Runtime cung cấp một API thống nhất cho việc suy luận trên tất cả các phần cứng Intel được hỗ trợ. Nó cũng cung cấp các tính năng nâng cao như cân bằng tải trên phần cứng Intel và thực thi bất đồng bộ. Để biết thêm thông tin về việc chạy suy luận, hãy tham khảo YOLO26 notebooks.

Hãy nhớ rằng bạn sẽ cần các tệp XML và BIN cũng như mọi cài đặt cụ thể của ứng dụng như kích thước đầu vào, hệ số tỉ lệ để chuẩn hóa, v.v., để thiết lập và sử dụng đúng cách model với Runtime.

Trong ứng dụng triển khai của bạn, thông thường bạn sẽ thực hiện các bước sau:

1. Khởi tạo OpenVINO bằng cách tạo core = Core().
2. Tải model bằng phương thức core.read_model().
3. Biên dịch model bằng hàm core.compile_model().
4. Chuẩn bị đầu vào (hình ảnh, văn bản, âm thanh, v.v.).
5. Chạy suy luận bằng compiled_model(input_data).

Để biết thêm các bước chi tiết và đoạn mã mẫu, hãy tham khảo tài liệu OpenVINO hoặc hướng dẫn API.

Điểm chuẩn YOLO26 của OpenVINO#

Nhóm phát triển Ultralytics đã đánh giá điểm chuẩn YOLO26 trên các định dạng model và độ chính xác khác nhau, đánh giá tốc độ và độ chính xác trên các thiết bị Intel khác nhau tương thích với OpenVINO.

Intel® Core™ Ultra#

Dòng Intel® Core™ Ultra™ đại diện cho một tiêu chuẩn mới trong tính toán hiệu suất cao, được thiết kế để đáp ứng nhu cầu ngày càng tăng của người dùng hiện đại—từ game thủ và nhà sáng tạo đến các chuyên gia tận dụng AI. Dòng sản phẩm thế hệ tiếp theo này không chỉ là một dòng CPU truyền thống; nó kết hợp các lõi CPU mạnh mẽ, khả năng GPU tích hợp hiệu suất cao và bộ xử lý NPU chuyên dụng trong một con chip duy nhất, mang đến một giải pháp thống nhất cho các khối lượng công việc tính toán đa dạng và chuyên sâu.

Trọng tâm của kiến trúc Intel® Core Ultra™ là thiết kế lai cho phép đạt hiệu suất vượt trội trên các tác vụ xử lý truyền thống, các khối lượng công việc tăng tốc bởi GPU và các hoạt động điều khiển bằng AI. Việc tích hợp NPU giúp nâng cao khả năng suy luận AI trên thiết bị, cho phép học máy và xử lý dữ liệu nhanh hơn, hiệu quả hơn trên nhiều ứng dụng.

Dòng sản phẩm Core Ultra™ bao gồm nhiều model khác nhau được thiết kế riêng cho các nhu cầu hiệu suất khác nhau, với các tùy chọn từ thiết kế tiết kiệm năng lượng đến các biến thể công suất cao được đánh dấu bằng ký hiệu "H"—lý tưởng cho máy tính xách tay và các yếu tố hình thức nhỏ gọn đòi hỏi sức mạnh tính toán lớn. Trên toàn bộ dòng sản phẩm, người dùng được hưởng lợi từ sự kết hợp của tích hợp CPU, GPU và NPU, mang lại hiệu quả, khả năng phản hồi và khả năng đa nhiệm đáng kinh ngạc.

Là một phần trong sự đổi mới không ngừng của Intel, dòng Core Ultra™ thiết lập một tiêu chuẩn mới cho điện toán sẵn sàng cho tương lai. Với nhiều model hiện có và nhiều model khác sắp ra mắt, dòng sản phẩm này nhấn mạnh cam kết của Intel trong việc cung cấp các giải pháp tiên tiến cho thế hệ thiết bị thông minh, tích hợp AI tiếp theo.

Các điểm chuẩn dưới đây chạy trên Intel® Core™ Ultra™ X7 358H, Intel® Core™ Ultra™ 7 258V và Intel® Core™ Ultra™ 7 155H ở độ chính xác FP32, FP16 và INT8.

Intel® Core™ Ultra™ X7 358H#

Điểm chuẩn (Benchmarks)

GPU tích hợp Intel® Arc™Intel® Panther Lake CPUIntegrated Intel® AI Boost NPU

Kết quả điểm chuẩn chi tiết

Mô hình	Định dạng	Precision	Trạng thái	Kích thước (MB)	metrics/mAP50-95(B)	Thời gian suy luận (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	29.28
YOLO26n	OpenVINO	FP32	✅	9.7	0.4762	4.09
YOLO26n	OpenVINO	FP16	✅	5.1	0.4762	4.03
YOLO26n	OpenVINO	INT8	✅	3.2	0.4634	4.24
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	59.32
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	5.08
YOLO26s	OpenVINO	FP16	✅	18.7	0.5616	5.14
YOLO26s	OpenVINO	INT8	✅	10.0	0.5462	4.47
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	143.21
YOLO26m	OpenVINO	FP32	✅	78.4	0.6166	7.1
YOLO26m	OpenVINO	FP16	✅	39.5	0.6166	7.06
YOLO26m	OpenVINO	INT8	✅	20.6	0.6055	5.61
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	181.16
YOLO26l	OpenVINO	FP32	✅	95.3	0.6205	8.45
YOLO26l	OpenVINO	FP16	✅	48.1	0.6205	8.49
YOLO26l	OpenVINO	INT8	✅	25.2	0.5938	6.25
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	379.75
YOLO26x	OpenVINO	FP32	✅	213.3	0.6568	13.03
YOLO26x	OpenVINO	FP16	✅	107.1	0.6568	12.98
YOLO26x	OpenVINO	INT8	✅	54.8	0.6385	8.74

Intel® Core™ Ultra™ 7 258V#

Điểm chuẩn (Benchmarks)

GPU tích hợp Intel® Arc™Intel® Lunar Lake CPUIntegrated Intel® AI Boost NPU

Kết quả điểm chuẩn chi tiết

Mô hình	Định dạng	Precision	Trạng thái	Kích thước (MB)	metrics/mAP50-95(B)	Thời gian suy luận (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	27.33
YOLO26n	OpenVINO	FP32	✅	9.6	0.4764	3.33
YOLO26n	OpenVINO	FP16	✅	5.1	0.4764	3.34
YOLO26n	OpenVINO	INT8	✅	3.2	0.4634	3.46
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	60.2
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	4.66
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	4.65
YOLO26s	OpenVINO	INT8	✅	10.0	0.5462	3.99
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	152.87
YOLO26m	OpenVINO	FP32	✅	78.4	0.6168	9.03
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	8.98
YOLO26m	OpenVINO	INT8	✅	20.6	0.6055	5.7
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	201.57
YOLO26l	OpenVINO	FP32	✅	95.3	0.6203	11.32
YOLO26l	OpenVINO	FP16	✅	48.1	0.6203	11.36
YOLO26l	OpenVINO	INT8	✅	25.2	0.5938	7.45
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	431.04
YOLO26x	OpenVINO	FP32	✅	213.2	0.6568	19.08
YOLO26x	OpenVINO	FP16	✅	107.1	0.6568	19.63
YOLO26x	OpenVINO	INT8	✅	54.8	0.6385	13.69

Intel® Core™ Ultra™ 7 155H#

Điểm chuẩn (Benchmarks)

GPU tích hợp Intel® Arc™Intel® Meteor Lake CPU

Kết quả điểm chuẩn chi tiết

Mô hình	Định dạng	Precision	Trạng thái	Kích thước (MB)	metrics/mAP50-95(B)	Thời gian suy luận (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	33.19
YOLO26n	OpenVINO	FP32	✅	9.6	0.4758	9.13
YOLO26n	OpenVINO	FP16	✅	5.1	0.4758	9.07
YOLO26n	OpenVINO	INT8	✅	3.2	0.4573	5.79
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	70.92
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	16.37
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	16.65
YOLO26s	OpenVINO	INT8	✅	10.0	0.545	9.27
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	192.45
YOLO26m	OpenVINO	FP32	✅	78.4	0.6167	34.47
YOLO26m	OpenVINO	FP16	✅	39.5	0.6167	35.71
YOLO26m	OpenVINO	INT8	✅	20.6	0.6039	15.46
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	239.19
YOLO26l	OpenVINO	FP32	✅	95.3	0.621	43.24
YOLO26l	OpenVINO	FP16	✅	48.1	0.621	43.4
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	19.72
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	511.89
YOLO26x	OpenVINO	FP32	✅	213.2	0.6552	79.49
YOLO26x	OpenVINO	FP16	✅	107.1	0.6552	79.45
YOLO26x	OpenVINO	INT8	✅	54.8	0.642	34.66

Tái tạo kết quả của chúng tôi#

Để tái tạo các điểm chuẩn của Ultralytics ở trên trên tất cả các định dạng xuất, hãy chạy đoạn mã này:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

Kết luận#

Kết quả đo điểm chuẩn chứng minh rõ ràng những lợi ích của việc xuất mô hình YOLO26 sang định dạng OpenVINO. Trên các mô hình và nền tảng phần cứng khác nhau, định dạng OpenVINO luôn vượt trội hơn các định dạng khác về tốc độ suy luận trong khi vẫn duy trì độ chính xác tương đương.

Các điểm chuẩn nhấn mạnh tính hiệu quả của OpenVINO như một công cụ để triển khai các mô hình deep learning. Bằng cách chuyển đổi các mô hình sang định dạng OpenVINO, các lập trình viên có thể đạt được những cải thiện hiệu suất đáng kể, giúp việc triển khai các mô hình này trong các ứng dụng thực tế trở nên dễ dàng hơn.

Để biết thêm thông tin chi tiết và hướng dẫn về cách sử dụng OpenVINO, hãy tham khảo tài liệu chính thức của OpenVINO.

Câu hỏi thường gặp#