Xuất Intel OpenVINO

Trong hướng dẫn này, chúng tôi đề cập đến việc xuất các model YOLO26 sang định dạng OpenVINO, định dạng có thể cung cấp tốc độ tăng lên gấp 3 lần trên CPU, cũng như tăng tốc quá trình suy luận (inference) YOLO trên phần cứng GPU và NPU của Intel.

OpenVINO, viết tắt của Open Visual Inference & Neural Network Optimization toolkit, là một bộ công cụ toàn diện để tối ưu hóa và triển khai các model suy luận AI. Mặc dù tên gọi có chứa Visual (Hình ảnh), OpenVINO cũng hỗ trợ nhiều tác vụ bổ sung khác bao gồm ngôn ngữ, âm thanh, chuỗi thời gian, v.v.

Ví dụ sử dụng

Xuất một model YOLO26n sang định dạng OpenVINO và thực hiện suy luận với model đã xuất.

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Các đối số (Arguments) xuất

Để biết thêm chi tiết về quy trình xuất, hãy truy cập trang tài liệu Ultralytics về xuất model.

Lợi ích của OpenVINO

1. Hiệu suất: OpenVINO mang lại khả năng suy luận hiệu suất cao bằng cách tận dụng sức mạnh của CPU Intel, các GPU tích hợp và rời, và FPGA.
2. Hỗ trợ thực thi không đồng nhất: OpenVINO cung cấp một API để viết code một lần và triển khai trên bất kỳ phần cứng Intel nào được hỗ trợ (CPU, GPU, FPGA, VPU, v.v.).
3. Model Optimizer: OpenVINO cung cấp Model Optimizer cho phép nhập, chuyển đổi và tối ưu hóa các model từ các khung deep learning phổ biến như PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle và Caffe.
4. Dễ sử dụng: Bộ công cụ đi kèm với hơn 80 notebook hướng dẫn (bao gồm tối ưu hóa YOLO26) dạy các khía cạnh khác nhau của bộ công cụ.

Cấu trúc xuất OpenVINO

Khi bạn xuất một model sang định dạng OpenVINO, nó tạo ra một thư mục chứa những thành phần sau:

1. Tệp XML: Mô tả cấu trúc liên kết mạng (network topology).
2. Tệp BIN: Chứa dữ liệu nhị phân về trọng số và thiên vị (weights and biases).
3. Tệp Mapping: Lưu trữ bản đồ ánh xạ các tensor đầu ra của model gốc sang tên tensor của OpenVINO.

Bạn có thể sử dụng các tệp này để chạy suy luận với OpenVINO Inference Engine.

Sử dụng xuất OpenVINO trong triển khai

Khi model của bạn được xuất thành công sang định dạng OpenVINO, bạn có hai tùy chọn chính để chạy suy luận:

1. Sử dụng gói ultralytics, cung cấp một API cấp cao và bao bọc OpenVINO Runtime.

2. Sử dụng gói openvino gốc để có quyền kiểm soát nâng cao hoặc tùy chỉnh hơn đối với hành vi suy luận.

Suy luận với Ultralytics

Gói ultralytics cho phép bạn dễ dàng chạy suy luận bằng cách sử dụng model OpenVINO đã xuất thông qua phương thức predict. Bạn cũng có thể chỉ định thiết bị mục tiêu (ví dụ: intel:gpu, intel:npu, intel:cpu) bằng đối số device.

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

Cách tiếp cận này lý tưởng cho việc tạo mẫu nhanh hoặc triển khai khi bạn không cần toàn quyền kiểm soát quy trình suy luận.

Suy luận với OpenVINO Runtime

OpenVINO Runtime cung cấp một API thống nhất cho việc suy luận trên tất cả các phần cứng Intel được hỗ trợ. Nó cũng cung cấp các khả năng nâng cao như cân bằng tải trên phần cứng Intel và thực thi không đồng bộ. Để biết thêm thông tin về việc chạy suy luận, hãy tham khảo YOLO26 notebooks.

Hãy nhớ rằng, bạn sẽ cần các tệp XML và BIN cũng như bất kỳ cài đặt cụ thể nào của ứng dụng như kích thước đầu vào, hệ số tỉ lệ cho chuẩn hóa, v.v., để thiết lập và sử dụng model đúng cách với Runtime.

Trong ứng dụng triển khai của bạn, thông thường bạn sẽ thực hiện các bước sau:

1. Khởi tạo OpenVINO bằng cách tạo core = Core().
2. Tải model bằng cách sử dụng phương thức core.read_model().
3. Biên dịch model bằng hàm core.compile_model().
4. Chuẩn bị đầu vào (hình ảnh, văn bản, âm thanh, v.v.).
5. Chạy suy luận bằng compiled_model(input_data).

Để biết các bước chi tiết hơn và các đoạn mã, hãy tham khảo tài liệu OpenVINO hoặc hướng dẫn API.

Điểm chuẩn YOLO26 OpenVINO

Đội ngũ Ultralytics đã đánh giá YOLO26 trên nhiều định dạng model và độ chính xác khác nhau, đánh giá tốc độ và độ chính xác trên các thiết bị Intel khác nhau tương thích với OpenVINO.

Intel® Core™ Ultra

Dòng Intel® Core™ Ultra™ đại diện cho một chuẩn mực mới trong lĩnh vực máy tính hiệu suất cao, được thiết kế để đáp ứng nhu cầu ngày càng phát triển của người dùng hiện đại—từ game thủ và người sáng tạo nội dung đến các chuyên gia tận dụng AI. Dòng sản phẩm thế hệ tiếp theo này không chỉ là một dòng CPU truyền thống; nó kết hợp các lõi CPU mạnh mẽ, khả năng GPU hiệu suất cao tích hợp và một bộ xử lý thần kinh (NPU) chuyên dụng bên trong một chip duy nhất, mang đến giải pháp thống nhất cho các khối lượng công việc tính toán đa dạng và chuyên sâu.

Trọng tâm của kiến trúc Intel® Core Ultra™ là thiết kế lai cho phép hiệu suất vượt trội trên các tác vụ xử lý truyền thống, các khối lượng công việc tăng tốc bằng GPU và các hoạt động dựa trên AI. Việc tích hợp NPU nâng cao khả năng suy luận AI trên thiết bị, cho phép machine learning và xử lý dữ liệu nhanh hơn, hiệu quả hơn trên nhiều ứng dụng.

Gia đình Core Ultra™ bao gồm nhiều model khác nhau được điều chỉnh cho các nhu cầu hiệu suất khác nhau, với các tùy chọn từ thiết kế tiết kiệm năng lượng đến các biến thể công suất cao được đánh dấu bằng ký hiệu "H"—lý tưởng cho laptop và các thiết kế nhỏ gọn đòi hỏi sức mạnh tính toán nghiêm túc. Trên toàn bộ dòng sản phẩm, người dùng được hưởng lợi từ sức mạnh tổng hợp của sự tích hợp giữa CPU, GPU và NPU, mang lại hiệu quả, độ phản hồi và khả năng đa nhiệm đáng kinh ngạc.

Là một phần trong quá trình đổi mới không ngừng của Intel, dòng Core Ultra™ đặt ra một tiêu chuẩn mới cho máy tính sẵn sàng cho tương lai. Với nhiều model có sẵn và nhiều model sắp ra mắt, dòng sản phẩm này nhấn mạnh cam kết của Intel trong việc cung cấp các giải pháp tiên tiến cho thế hệ thiết bị thông minh, tăng cường AI tiếp theo.

Các kết quả đánh giá dưới đây chạy trên Intel® Core™ Ultra™ X7 358H, Intel® Core™ Ultra™ 7 258V và Intel® Core™ Ultra™ 7 155H ở các độ chính xác FP32, FP16 và INT8.

Intel® Core™ Ultra™ X7 358H

Đánh giá

Intel® Arc™ GPU tích hợpIntel® Panther Lake CPUIntegrated Intel® AI Boost NPU

Kết quả đánh giá chi tiết

Model	Định dạng	Độ chính xác	Trạng thái	Kích thước (MB)	metrics/mAP50-95(B)	Thời gian suy luận (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	25.18
YOLO26n	OpenVINO	FP32	✅	9.6	0.4763	2.67
YOLO26n	OpenVINO	FP16	✅	5.1	0.4763	2.64
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	2.73
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	50.09
YOLO26s	OpenVINO	FP32	✅	36.7	0.5615	3.57
YOLO26s	OpenVINO	FP16	✅	18.6	0.5615	3.55
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	3.09
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	135.1
YOLO26m	OpenVINO	FP32	✅	78.3	0.6168	5.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	5.85
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	4.14
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	169.75
YOLO26l	OpenVINO	FP32	✅	95.3	0.6206	8.14
YOLO26l	OpenVINO	FP16	✅	48.1	0.6206	8.18
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	4.67
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	407.56
YOLO26x	OpenVINO	FP32	✅	213.2	0.6569	13.11
YOLO26x	OpenVINO	FP16	✅	107.1	0.6569	13.15
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	9.24

Intel® Core™ Ultra™ 7 258V

Đánh giá

Intel® Arc™ GPU tích hợpIntel® Lunar Lake CPUIntegrated Intel® AI Boost NPU

Kết quả đánh giá chi tiết

Model	Định dạng	Độ chính xác	Trạng thái	Kích thước (MB)	metrics/mAP50-95(B)	Thời gian suy luận (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	31.43
YOLO26n	OpenVINO	FP32	✅	9.6	0.4762	3.57
YOLO26n	OpenVINO	FP16	✅	5.1	0.4762	3.53
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	3.65
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	60.4
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	5.02
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	5.01
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	4.31
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	173.31
YOLO26m	OpenVINO	FP32	✅	78.3	0.6191	9.48
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	9.6
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	6.03
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6173	224.52
YOLO26l	OpenVINO	FP32	✅	95.3	0.3725	11.88
YOLO26l	OpenVINO	FP16	✅	48.1	0.6201	12.0
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	8.47
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	595.72
YOLO26x	OpenVINO	FP32	✅	213.2	0.6567	20.26
YOLO26x	OpenVINO	FP16	✅	107.1	0.6454	20.25
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	14.77

Intel® Core™ Ultra™ 7 155H

Đánh giá

Intel® Arc™ GPU tích hợpIntel® Meteor Lake CPU

Kết quả đánh giá chi tiết

Model	Định dạng	Độ chính xác	Trạng thái	Kích thước (MB)	metrics/mAP50-95(B)	Thời gian suy luận (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	38.77
YOLO26n	OpenVINO	FP32	✅	9.6	0.4774	9.87
YOLO26n	OpenVINO	FP16	✅	5.1	0.4774	9.84
YOLO26n	OpenVINO	INT8	✅	3.2	0.4705	5.86
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	69.54
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	17.29
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	17.06
YOLO26s	OpenVINO	INT8	✅	10.0	0.5452	10.33
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	192.22
YOLO26m	OpenVINO	FP32	✅	78.3	0.6187	34.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6187	34.75
YOLO26m	OpenVINO	INT8	✅	20.5	0.6073	15.99
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	245.62
YOLO26l	OpenVINO	FP32	✅	95.3	0.6202	43.7
YOLO26l	OpenVINO	FP16	✅	48.1	0.6202	44.65
YOLO26l	OpenVINO	INT8	✅	25.2	0.6048	20.31
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	513.06
YOLO26x	OpenVINO	FP32	✅	213.2	0.6544	80.19
YOLO26x	OpenVINO	FP16	✅	107.1	0.6544	79.83
YOLO26x	OpenVINO	INT8	✅	54.8	0.6393	35.16

Tái tạo kết quả của chúng tôi

Để tái tạo các điểm chuẩn Ultralytics ở trên cho tất cả các định dạng xuất, hãy chạy mã này:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

Kết luận

Kết quả đánh giá chứng minh rõ ràng những lợi ích của việc xuất mô hình YOLO26 sang định dạng OpenVINO. Trên các mô hình và nền tảng phần cứng khác nhau, định dạng OpenVINO liên tục vượt trội hơn các định dạng khác về tốc độ suy luận trong khi vẫn duy trì độ chính xác tương đương.

Các điểm chuẩn nhấn mạnh tính hiệu quả của OpenVINO như một công cụ để triển khai các mô hình học sâu. Bằng cách chuyển đổi các mô hình sang định dạng OpenVINO, các nhà phát triển có thể đạt được những cải thiện hiệu suất đáng kể, giúp việc triển khai các mô hình này trong các ứng dụng thực tế trở nên dễ dàng hơn.

Để biết thêm thông tin chi tiết và hướng dẫn về cách sử dụng OpenVINO, hãy tham khảo tài liệu OpenVINO chính thức.

Câu hỏi thường gặp

Làm thế nào để tôi xuất mô hình YOLO26 sang định dạng OpenVINO?

Việc xuất các mô hình YOLO26 sang định dạng OpenVINO có thể cải thiện đáng kể tốc độ CPU và kích hoạt tăng tốc GPU và NPU trên phần cứng Intel. Để xuất, bạn có thể sử dụng Python hoặc CLI như hiển thị bên dưới:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

Để biết thêm thông tin, hãy tham khảo tài liệu về các định dạng xuất.

Những lợi ích của việc sử dụng OpenVINO với các mô hình YOLO26 là gì?

Sử dụng bộ công cụ OpenVINO của Intel với các mô hình YOLO26 mang lại một số lợi ích:

1. Hiệu suất: Đạt tốc độ nhanh hơn tới 3 lần khi suy luận trên CPU và tận dụng GPU và NPU của Intel để tăng tốc.
2. Trình tối ưu hóa mô hình: Chuyển đổi, tối ưu hóa và thực thi các mô hình từ các khung phổ biến như PyTorch, TensorFlow và ONNX.
3. Dễ sử dụng: Hơn 80 notebook hướng dẫn có sẵn để giúp người dùng bắt đầu, bao gồm cả các hướng dẫn dành cho YOLO26.
4. Thực thi không đồng nhất: Triển khai các mô hình trên nhiều loại phần cứng Intel khác nhau với một API thống nhất.

Để so sánh hiệu suất chi tiết, hãy truy cập phần điểm chuẩn của chúng tôi.

Làm cách nào để tôi có thể chạy suy luận bằng mô hình YOLO26 đã xuất sang OpenVINO?

Sau khi xuất mô hình YOLO26n sang định dạng OpenVINO, bạn có thể chạy suy luận bằng Python hoặc CLI:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

Tham khảo tài liệu chế độ dự đoán của chúng tôi để biết thêm chi tiết.

Tại sao tôi nên chọn Ultralytics YOLO26 thay vì các mô hình khác để xuất OpenVINO?

Ultralytics YOLO26 được tối ưu hóa để phát hiện đối tượng theo thời gian thực với độ chính xác và tốc độ cao. Cụ thể, khi kết hợp với OpenVINO, YOLO26 cung cấp:

• Tăng tốc lên đến 3 lần trên CPU Intel
• Triển khai liền mạch trên GPU và NPU Intel
• Độ chính xác nhất quán và tương đương trên các định dạng xuất khác nhau

Để phân tích hiệu suất chuyên sâu, hãy kiểm tra điểm chuẩn YOLO26 chi tiết của chúng tôi trên các phần cứng khác nhau.

Tôi có thể đánh giá các mô hình YOLO26 trên các định dạng khác nhau như PyTorch, ONNX và OpenVINO không?

Có, bạn có thể đánh giá các mô hình YOLO26 ở nhiều định dạng khác nhau bao gồm PyTorch, TorchScript, ONNX và OpenVINO. Sử dụng đoạn mã sau để chạy các điểm chuẩn trên tập dữ liệu bạn đã chọn:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

Để biết kết quả điểm chuẩn chi tiết, hãy tham khảo phần điểm chuẩn và tài liệu định dạng xuất của chúng tôi.