Export Intel OpenVINO#

Trong hướng dẫn này, chúng tôi trình bày cách export model YOLO26 sang định dạng OpenVINO, có thể tăng tốc CPU lên đến 3 lần, đồng thời tăng tốc suy luận YOLO trên phần cứng GPU và NPU của Intel.

OpenVINO, viết tắt của bộ công cụ Tối ưu hóa suy luận hình ảnh mở và mạng nơ-ron, là bộ công cụ toàn diện để tối ưu hóa và triển khai các model suy luận AI. Mặc dù tên gọi có từ Visual, OpenVINO cũng hỗ trợ nhiều tác vụ khác như ngôn ngữ, âm thanh, chuỗi thời gian, v.v.

Các tác vụ được hỗ trợ#

Tính năng export OpenVINO hỗ trợ cả bảy tác vụ của Ultralytics. Phân đoạn ngữ nghĩa và ước tính độ sâu chỉ khả dụng với YOLO26, dòng model duy nhất có các head này.

Cài đặt#

Cài đặt các dependency cần thiết để export OpenVINO bằng lệnh:

pip install "ultralytics[export-openvino]"

Các dependency này cũng có trong ultralytics[export] và được tự động cài đặt khi cần cho quá trình export.

Ví dụ sử dụng#

Định dạng OpenVINO hỗ trợ các chế độ Export, Predict và Validate. Hãy export model, sau đó tải model đã export để chạy suy luận hoặc xác thực độ chính xác trên CPU, GPU tích hợp/rời hoặc NPU của Intel.

from ultralytics import YOLO

# Nạp model YOLO26
model = YOLO("yolo26n.pt")

# Export model sang định dạng OpenVINO
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

from ultralytics import YOLO

# Tải model OpenVINO đã export
model = YOLO("yolo26n_openvino_model/")

# Chạy suy luận
results = model("https://ultralytics.com/images/bus.jpg")

# Chạy suy luận trên thiết bị cụ thể; các thiết bị hiện có: ["intel:gpu", "intel:npu", "intel:cpu"]
results = model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

from ultralytics import YOLO

# Tải model OpenVINO đã export
model = YOLO("yolo26n_openvino_model/")

# # Đánh giá độ chính xác trên bộ dữ liệu COCO8
metrics = model.val(data="coco8.yaml")

Các tham số xuất model#

Để biết thêm chi tiết về quy trình xuất, hãy truy cập trang tài liệu Ultralytics về xuất model.

Lợi ích của OpenVINO#

1. Hiệu năng: OpenVINO mang lại khả năng suy luận hiệu năng cao bằng cách tận dụng sức mạnh của CPU, GPU tích hợp và GPU rời, cùng FPGA của Intel.
2. Hỗ trợ thực thi không đồng nhất: OpenVINO cung cấp API cho phép viết một lần và triển khai trên mọi phần cứng Intel được hỗ trợ (CPU, GPU, FPGA, VPU, v.v.).
3. Model Optimizer: OpenVINO cung cấp Model Optimizer để nhập, chuyển đổi và tối ưu hóa model từ các framework deep learning phổ biến như PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle và Caffe.
4. Dễ sử dụng: Bộ công cụ đi kèm bộ sưu tập lớn các notebook hướng dẫn (bao gồm tối ưu hóa YOLO26) để hướng dẫn các khía cạnh khác nhau của bộ công cụ.

Cấu trúc export OpenVINO#

Khi export model sang định dạng OpenVINO, kết quả là một thư mục chứa các tệp sau:

1. Tệp XML: Mô tả cấu trúc liên kết của mạng.
2. Tệp BIN: Chứa dữ liệu nhị phân của trọng số và bias.
3. Tệp metadata: metadata.yaml chứa metadata của model như tên lớp, kích thước ảnh và tác vụ; Ultralytics đọc thông tin này khi tải model.

Bạn có thể dùng các tệp này để chạy suy luận bằng OpenVINO Runtime.

Sử dụng export OpenVINO trong triển khai#

Sau khi export model thành công sang định dạng OpenVINO, bạn có hai lựa chọn chính để chạy suy luận:

1. Sử dụng package ultralytics, cung cấp API cấp cao và bao bọc OpenVINO Runtime.

2. Sử dụng package openvino gốc để kiểm soát nâng cao hơn hoặc tùy chỉnh hành vi suy luận.

Suy luận với Ultralytics#

Package ultralytics cho phép bạn dễ dàng chạy suy luận bằng model OpenVINO đã export thông qua phương thức predict. Bạn cũng có thể chỉ định thiết bị đích (ví dụ: intel:gpu, intel:npu, intel:cpu) bằng đối số device.

from ultralytics import YOLO

# Tải model OpenVINO đã export
ov_model = YOLO("yolo26n_openvino_model/")  # đường dẫn đến model OpenVINO bạn đã export
# Chạy suy luận với model đã export
ov_model.predict(device="intel:gpu")  # chỉ định thiết bị bạn muốn dùng để chạy suy luận

Cách tiếp cận này phù hợp để tạo nguyên mẫu nhanh hoặc triển khai khi bạn không cần kiểm soát toàn bộ pipeline suy luận.

Suy luận với OpenVINO Runtime#

OpenVINO Runtime cung cấp API thống nhất để suy luận trên tất cả phần cứng Intel được hỗ trợ. Runtime cũng cung cấp các khả năng nâng cao như cân bằng tải trên phần cứng Intel và thực thi bất đồng bộ. Để biết thêm thông tin về cách chạy suy luận, hãy tham khảo notebook YOLO26.

Lưu ý rằng bạn cần các tệp XML và BIN cùng mọi thiết lập dành riêng cho ứng dụng, chẳng hạn như kích thước đầu vào, hệ số scale để chuẩn hóa, v.v., để thiết lập và sử dụng model với Runtime đúng cách.

Trong ứng dụng triển khai, thông thường bạn sẽ thực hiện các bước sau:

1. Khởi tạo OpenVINO bằng cách tạo core = Core().
2. Tải model bằng phương thức core.read_model().
3. Biên dịch model bằng hàm core.compile_model().
4. Chuẩn bị đầu vào (ảnh, văn bản, âm thanh, v.v.).
5. Chạy suy luận bằng compiled_model(input_data).

Để xem các bước chi tiết hơn và đoạn mã mẫu, hãy tham khảo tài liệu OpenVINO hoặc hướng dẫn API.

Benchmark YOLO26 với OpenVINO#

Đội ngũ Ultralytics đã benchmark YOLO26 trên nhiều định dạng model và độ chính xác, đánh giá tốc độ và độ chính xác trên các thiết bị Intel khác nhau tương thích với OpenVINO.

Intel® Core™ Ultra#

Dòng Intel® Core™ Ultra™ thiết lập một chuẩn mực mới về điện toán hiệu năng cao, được thiết kế để đáp ứng nhu cầu ngày càng thay đổi của người dùng hiện đại—từ game thủ, nhà sáng tạo đến chuyên gia ứng dụng AI. Dòng sản phẩm thế hệ mới này không chỉ là một dòng CPU truyền thống; dòng sản phẩm kết hợp các nhân CPU mạnh mẽ, GPU tích hợp hiệu năng cao và một bộ xử lý thần kinh (NPU) chuyên dụng trong cùng một chip, mang đến giải pháp thống nhất cho nhiều khối lượng công việc tính toán đa dạng và chuyên sâu.

Kiến trúc Intel® Core Ultra™ có thiết kế lai làm nền tảng, cho phép đạt hiệu năng vượt trội trên các tác vụ xử lý truyền thống, khối lượng công việc tăng tốc bằng GPU và hoạt động ứng dụng AI. Việc tích hợp NPU cải thiện khả năng suy luận AI trực tiếp trên thiết bị, giúp machine learning và xử lý dữ liệu nhanh hơn, hiệu quả hơn trong nhiều ứng dụng.

Dòng Core Ultra™ bao gồm nhiều model được thiết kế cho các nhu cầu hiệu năng khác nhau, với các lựa chọn từ thiết kế tiết kiệm năng lượng đến phiên bản công suất cao mang ký hiệu "H"—lý tưởng cho laptop và thiết bị có kiểu dáng nhỏ gọn nhưng cần sức mạnh tính toán đáng kể. Trong toàn bộ dòng sản phẩm, người dùng được hưởng lợi từ sự kết hợp giữa CPU, GPU và NPU, mang lại hiệu quả, khả năng phản hồi và đa nhiệm ấn tượng.

Là một phần trong quá trình đổi mới liên tục của Intel, dòng Core Ultra™ đặt ra chuẩn mực mới cho điện toán sẵn sàng cho tương lai. Với nhiều model hiện có và các model mới sắp ra mắt, dòng sản phẩm này thể hiện cam kết của Intel trong việc cung cấp các giải pháp tiên tiến cho thế hệ thiết bị thông minh, tích hợp AI tiếp theo.

Các benchmark dưới đây được chạy trên Intel® Core™ Ultra™ X7 358H, Intel® Core™ Ultra™ 7 258V và Intel® Core™ Ultra™ 7 155H với độ chính xác FP32, FP16 và INT8.

Intel® Core™ Ultra™ X7 358H#

Benchmark

GPU Intel® Arc™ tích hợpCPU Intel® Panther LakeNPU Intel® AI Boost tích hợp

Kết quả benchmark chi tiết

Model	Định dạng	Precision	Trạng thái	Kích thước (MB)	metrics/mAP50-95(B)	Thời gian suy luận (ms/ảnh)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	29.28
YOLO26n	OpenVINO	FP32	✅	9.7	0.4762	4.09
YOLO26n	OpenVINO	FP16	✅	5.1	0.4762	4.03
YOLO26n	OpenVINO	INT8	✅	3.2	0.4634	4.24
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	59.32
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	5.08
YOLO26s	OpenVINO	FP16	✅	18.7	0.5616	5.14
YOLO26s	OpenVINO	INT8	✅	10.0	0.5462	4.47
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	143.21
YOLO26m	OpenVINO	FP32	✅	78.4	0.6166	7.1
YOLO26m	OpenVINO	FP16	✅	39.5	0.6166	7.06
YOLO26m	OpenVINO	INT8	✅	20.6	0.6055	5.61
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	181.16
YOLO26l	OpenVINO	FP32	✅	95.3	0.6205	8.45
YOLO26l	OpenVINO	FP16	✅	48.1	0.6205	8.49
YOLO26l	OpenVINO	INT8	✅	25.2	0.5938	6.25
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	379.75
YOLO26x	OpenVINO	FP32	✅	213.3	0.6568	13.03
YOLO26x	OpenVINO	FP16	✅	107.1	0.6568	12.98
YOLO26x	OpenVINO	INT8	✅	54.8	0.6385	8.74

Intel® Core™ Ultra™ 7 258V#

Benchmark

GPU Intel® Arc™ tích hợpCPU Intel® Lunar LakeNPU Intel® AI Boost tích hợp

Kết quả benchmark chi tiết

Model	Định dạng	Precision	Trạng thái	Kích thước (MB)	metrics/mAP50-95(B)	Thời gian suy luận (ms/ảnh)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	27.33
YOLO26n	OpenVINO	FP32	✅	9.6	0.4764	3.33
YOLO26n	OpenVINO	FP16	✅	5.1	0.4764	3.34
YOLO26n	OpenVINO	INT8	✅	3.2	0.4634	3.46
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	60.2
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	4.66
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	4.65
YOLO26s	OpenVINO	INT8	✅	10.0	0.5462	3.99
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	152.87
YOLO26m	OpenVINO	FP32	✅	78.4	0.6168	9.03
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	8.98
YOLO26m	OpenVINO	INT8	✅	20.6	0.6055	5.7
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	201.57
YOLO26l	OpenVINO	FP32	✅	95.3	0.6203	11.32
YOLO26l	OpenVINO	FP16	✅	48.1	0.6203	11.36
YOLO26l	OpenVINO	INT8	✅	25.2	0.5938	7.45
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	431.04
YOLO26x	OpenVINO	FP32	✅	213.2	0.6568	19.08
YOLO26x	OpenVINO	FP16	✅	107.1	0.6568	19.63
YOLO26x	OpenVINO	INT8	✅	54.8	0.6385	13.69

Intel® Core™ Ultra™ 7 155H#

Benchmark

GPU Intel® Arc™ tích hợpCPU Intel® Meteor Lake

Kết quả benchmark chi tiết

Model	Định dạng	Precision	Trạng thái	Kích thước (MB)	metrics/mAP50-95(B)	Thời gian suy luận (ms/ảnh)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	33.19
YOLO26n	OpenVINO	FP32	✅	9.6	0.4758	9.13
YOLO26n	OpenVINO	FP16	✅	5.1	0.4758	9.07
YOLO26n	OpenVINO	INT8	✅	3.2	0.4573	5.79
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	70.92
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	16.37
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	16.65
YOLO26s	OpenVINO	INT8	✅	10.0	0.545	9.27
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	192.45
YOLO26m	OpenVINO	FP32	✅	78.4	0.6167	34.47
YOLO26m	OpenVINO	FP16	✅	39.5	0.6167	35.71
YOLO26m	OpenVINO	INT8	✅	20.6	0.6039	15.46
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	239.19
YOLO26l	OpenVINO	FP32	✅	95.3	0.621	43.24
YOLO26l	OpenVINO	FP16	✅	48.1	0.621	43.4
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	19.72
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	511.89
YOLO26x	OpenVINO	FP32	✅	213.2	0.6552	79.49
YOLO26x	OpenVINO	FP16	✅	107.1	0.6552	79.45
YOLO26x	OpenVINO	INT8	✅	54.8	0.642	34.66

Tái tạo kết quả của chúng tôi#

Để tái tạo các benchmark Ultralytics ở trên trên mọi định dạng export, hãy chạy đoạn mã sau:

from ultralytics import YOLO

# Tải model YOLO26n PyTorch
model = YOLO("yolo26n.pt")

# Benchmark tốc độ và độ chính xác của YOLO26n trên tập dữ liệu COCO128 cho tất cả định dạng xuất
results = model.benchmark(data="coco128.yaml")

Kết luận#

Kết quả benchmark cho thấy rõ lợi ích của việc xuất model YOLO26 sang định dạng OpenVINO. Trên nhiều model và nền tảng phần cứng khác nhau, định dạng OpenVINO luôn vượt trội hơn các định dạng khác về tốc độ suy luận, đồng thời duy trì độ chính xác tương đương.

Các kết quả benchmark khẳng định hiệu quả của OpenVINO như một công cụ triển khai model deep learning. Bằng cách chuyển đổi model sang định dạng OpenVINO, developer có thể cải thiện đáng kể hiệu năng, giúp triển khai các model này trong ứng dụng thực tế dễ dàng hơn.

Để biết thông tin chi tiết và hướng dẫn sử dụng OpenVINO, hãy tham khảo tài liệu chính thức của OpenVINO.

Câu hỏi thường gặp#