Link to this sectionXuất dữ liệu Intel OpenVINO#

Trong hướng dẫn này, chúng tôi đề cập đến việc xuất các model YOLO26 sang định dạng OpenVINO, định dạng này có thể mang lại tốc độ nhanh hơn tới 3 lần trên CPU, cũng như tăng tốc quá trình suy luận (inference) YOLO trên phần cứng GPU và NPU của Intel.

OpenVINO, viết tắt của bộ công cụ Tối ưu hóa Neural Network & Suy luận Hình ảnh Mở (Open Visual Inference & Neural Network Optimization toolkit), là một bộ công cụ toàn diện để tối ưu hóa và triển khai các model suy luận AI. Mặc dù tên gọi có chứa từ "Visual", OpenVINO cũng hỗ trợ nhiều tác vụ bổ sung bao gồm ngôn ngữ, âm thanh, chuỗi thời gian, v.v.

Link to this sectionVí dụ về cách sử dụng#

Định dạng OpenVINO hỗ trợ các chế độ Export, Predict, và Validate. Hãy xuất model của bạn, sau đó tải model đã xuất để chạy suy luận hoặc kiểm tra độ chính xác trên Intel CPU, GPU tích hợp/rời, hoặc NPU.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to OpenVINO format
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

from ultralytics import YOLO

# Load the exported OpenVINO model
model = YOLO("yolo26n_openvino_model/")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

# Run inference on a specific device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

from ultralytics import YOLO

# Load the exported OpenVINO model
model = YOLO("yolo26n_openvino_model/")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Link to this sectionĐối số xuất#

Để biết thêm chi tiết về quy trình xuất, hãy truy cập trang tài liệu Ultralytics về xuất dữ liệu.

Link to this sectionLợi ích của OpenVINO#

1. Hiệu suất: OpenVINO mang lại hiệu suất suy luận cao bằng cách tận dụng sức mạnh của Intel CPU, GPU tích hợp và rời, và FPGA.
2. Hỗ trợ Thực thi Không đồng nhất (Heterogeneous Execution): OpenVINO cung cấp một API để viết code một lần và triển khai trên bất kỳ phần cứng Intel nào được hỗ trợ (CPU, GPU, FPGA, VPU, v.v.).
3. Model Optimizer: OpenVINO cung cấp một Model Optimizer để nhập, chuyển đổi và tối ưu hóa các model từ các framework deep learning phổ biến như PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle, và Caffe.
4. Dễ sử dụng: Bộ công cụ đi kèm với một bộ sưu tập lớn các notebook hướng dẫn (bao gồm tối ưu hóa YOLO26) giảng dạy các khía cạnh khác nhau của bộ công cụ.

Link to this sectionCấu trúc xuất OpenVINO#

Khi bạn xuất một model sang định dạng OpenVINO, nó sẽ tạo ra một thư mục chứa các thành phần sau:

1. Tệp XML: Mô tả cấu trúc liên kết mạng.
2. Tệp BIN: Chứa dữ liệu nhị phân của trọng số (weights) và bias.
3. Tệp Mapping: Chứa ánh xạ của các tensor đầu ra model gốc sang tên tensor của OpenVINO.

Bạn có thể sử dụng các tệp này để chạy suy luận với OpenVINO Inference Engine.

Link to this sectionSử dụng Xuất OpenVINO trong Triển khai#

Sau khi model của bạn được xuất thành công sang định dạng OpenVINO, bạn có hai tùy chọn chính để chạy suy luận:

1. Sử dụng gói ultralytics, cung cấp API cấp cao và bao bọc (wrap) OpenVINO Runtime.

2. Sử dụng gói openvino gốc để kiểm soát nâng cao hoặc tùy chỉnh hơn đối với hành vi suy luận.

Link to this sectionSuy luận với Ultralytics#

Gói ultralytics cho phép bạn dễ dàng chạy suy luận bằng model OpenVINO đã xuất thông qua phương thức predict. Bạn cũng có thể chỉ định thiết bị đích (ví dụ: intel:gpu, intel:npu, intel:cpu) bằng tham số device.

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

Cách tiếp cận này lý tưởng cho việc tạo mẫu nhanh hoặc triển khai khi bạn không cần toàn quyền kiểm soát quy trình suy luận.

Link to this sectionSuy luận với OpenVINO Runtime#

OpenVINO Runtime cung cấp một API thống nhất để suy luận trên tất cả các phần cứng Intel được hỗ trợ. Nó cũng cung cấp các khả năng nâng cao như cân bằng tải trên phần cứng Intel và thực thi không đồng bộ. Để biết thêm thông tin về việc chạy suy luận, hãy tham khảo YOLO26 notebooks.

Hãy nhớ rằng, bạn sẽ cần các tệp XML và BIN cũng như bất kỳ cài đặt dành riêng cho ứng dụng nào như kích thước đầu vào, hệ số tỷ lệ để chuẩn hóa, v.v., để thiết lập và sử dụng model với Runtime một cách chính xác.

Trong ứng dụng triển khai của mình, bạn thường sẽ thực hiện các bước sau:

1. Khởi tạo OpenVINO bằng cách tạo core = Core().
2. Tải model bằng phương thức core.read_model().
3. Biên dịch model bằng hàm core.compile_model().
4. Chuẩn bị đầu vào (hình ảnh, văn bản, âm thanh, v.v.).
5. Chạy suy luận bằng compiled_model(input_data).

Để biết các bước chi tiết hơn và các đoạn mã, hãy tham khảo tài liệu OpenVINO hoặc hướng dẫn API.

Link to this sectionĐiểm chuẩn (Benchmarks) YOLO26 trên OpenVINO#

Nhóm Ultralytics đã đánh giá YOLO26 trên nhiều định dạng model và độ chính xác, đánh giá tốc độ và độ chính xác trên các thiết bị Intel khác nhau tương thích với OpenVINO.

Link to this sectionIntel® Core™ Ultra#

Dòng Intel® Core™ Ultra™ đại diện cho một chuẩn mực mới trong điện toán hiệu năng cao, được thiết kế để đáp ứng nhu cầu ngày càng tăng của người dùng hiện đại—từ game thủ và người sáng tạo đến các chuyên gia tận dụng AI. Dòng sản phẩm thế hệ tiếp theo này không chỉ là một dòng CPU truyền thống; nó kết hợp các lõi CPU mạnh mẽ, khả năng GPU hiệu năng cao tích hợp và một Neural Processing Unit (NPU) chuyên dụng bên trong một con chip duy nhất, mang đến một giải pháp thống nhất cho các tải công việc điện toán đa dạng và chuyên sâu.

Trọng tâm của kiến trúc Intel® Core Ultra™ là thiết kế lai cho phép hiệu suất vượt trội trên các tác vụ xử lý truyền thống, các tải công việc tăng tốc bởi GPU và các hoạt động dựa trên AI. Việc bổ sung NPU tăng cường suy luận AI trên thiết bị, cho phép học máy và xử lý dữ liệu nhanh hơn, hiệu quả hơn trên nhiều ứng dụng.

Dòng Core Ultra™ bao gồm nhiều model được tùy chỉnh cho các nhu cầu hiệu suất khác nhau, với các tùy chọn từ các thiết kế tiết kiệm năng lượng đến các biến thể công suất cao được đánh dấu bằng ký hiệu "H"—lý tưởng cho máy tính xách tay và các thiết bị nhỏ gọn đòi hỏi sức mạnh tính toán nghiêm túc. Trên toàn bộ dòng sản phẩm, người dùng được hưởng lợi từ sự kết hợp của việc tích hợp CPU, GPU và NPU, mang lại hiệu quả, khả năng phản hồi và khả năng đa nhiệm đáng kinh ngạc.

Là một phần trong sự đổi mới liên tục của Intel, dòng Core Ultra™ đặt ra một tiêu chuẩn mới cho điện toán sẵn sàng cho tương lai. Với nhiều model có sẵn và nhiều model sắp ra mắt, dòng sản phẩm này nhấn mạnh cam kết của Intel trong việc cung cấp các giải pháp tiên tiến cho thế hệ thiết bị thông minh, hỗ trợ AI tiếp theo.

Các điểm chuẩn dưới đây chạy trên Intel® Core™ Ultra™ X7 358H, Intel® Core™ Ultra™ 7 258V và Intel® Core™ Ultra™ 7 155H với độ chính xác FP32, FP16 và INT8.

Link to this sectionIntel® Core™ Ultra™ X7 358H#

Điểm chuẩn (Benchmarks)

GPU Intel® Arc™ tích hợpIntel® Panther Lake CPUIntegrated Intel® AI Boost NPU

Kết quả Điểm chuẩn Chi tiết

Model	Định dạng	Độ chính xác (Precision)	Trạng thái	Kích thước (MB)	metrics/mAP50-95(B)	Thời gian suy luận (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	25.18
YOLO26n	OpenVINO	FP32	✅	9.6	0.4763	2.67
YOLO26n	OpenVINO	FP16	✅	5.1	0.4763	2.64
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	2.73
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	50.09
YOLO26s	OpenVINO	FP32	✅	36.7	0.5615	3.57
YOLO26s	OpenVINO	FP16	✅	18.6	0.5615	3.55
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	3.09
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	135.1
YOLO26m	OpenVINO	FP32	✅	78.3	0.6168	5.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	5.85
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	4.14
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	169.75
YOLO26l	OpenVINO	FP32	✅	95.3	0.6206	8.14
YOLO26l	OpenVINO	FP16	✅	48.1	0.6206	8.18
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	4.67
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	407.56
YOLO26x	OpenVINO	FP32	✅	213.2	0.6569	13.11
YOLO26x	OpenVINO	FP16	✅	107.1	0.6569	13.15
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	9.24

Link to this sectionIntel® Core™ Ultra™ 7 258V#

Điểm chuẩn (Benchmarks)

GPU Intel® Arc™ tích hợpIntel® Lunar Lake CPUIntegrated Intel® AI Boost NPU

Kết quả Điểm chuẩn Chi tiết

Model	Định dạng	Độ chính xác (Precision)	Trạng thái	Kích thước (MB)	metrics/mAP50-95(B)	Thời gian suy luận (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	31.43
YOLO26n	OpenVINO	FP32	✅	9.6	0.4762	3.57
YOLO26n	OpenVINO	FP16	✅	5.1	0.4762	3.53
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	3.65
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	60.4
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	5.02
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	5.01
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	4.31
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	173.31
YOLO26m	OpenVINO	FP32	✅	78.3	0.6191	9.48
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	9.6
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	6.03
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6173	224.52
YOLO26l	OpenVINO	FP32	✅	95.3	0.3725	11.88
YOLO26l	OpenVINO	FP16	✅	48.1	0.6201	12.0
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	8.47
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	595.72
YOLO26x	OpenVINO	FP32	✅	213.2	0.6567	20.26
YOLO26x	OpenVINO	FP16	✅	107.1	0.6454	20.25
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	14.77

Link to this sectionIntel® Core™ Ultra™ 7 155H#

Điểm chuẩn (Benchmarks)

GPU Intel® Arc™ tích hợpIntel® Meteor Lake CPU

Kết quả Điểm chuẩn Chi tiết

Model	Định dạng	Độ chính xác (Precision)	Trạng thái	Kích thước (MB)	metrics/mAP50-95(B)	Thời gian suy luận (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	38.77
YOLO26n	OpenVINO	FP32	✅	9.6	0.4774	9.87
YOLO26n	OpenVINO	FP16	✅	5.1	0.4774	9.84
YOLO26n	OpenVINO	INT8	✅	3.2	0.4705	5.86
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	69.54
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	17.29
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	17.06
YOLO26s	OpenVINO	INT8	✅	10.0	0.5452	10.33
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	192.22
YOLO26m	OpenVINO	FP32	✅	78.3	0.6187	34.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6187	34.75
YOLO26m	OpenVINO	INT8	✅	20.5	0.6073	15.99
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	245.62
YOLO26l	OpenVINO	FP32	✅	95.3	0.6202	43.7
YOLO26l	OpenVINO	FP16	✅	48.1	0.6202	44.65
YOLO26l	OpenVINO	INT8	✅	25.2	0.6048	20.31
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	513.06
YOLO26x	OpenVINO	FP32	✅	213.2	0.6544	80.19
YOLO26x	OpenVINO	FP16	✅	107.1	0.6544	79.83
YOLO26x	OpenVINO	INT8	✅	54.8	0.6393	35.16

Link to this sectionTái tạo kết quả của chúng tôi#

Để tái tạo các benchmark của Ultralytics nêu trên trên tất cả các định dạng xuất, hãy chạy mã này:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

Link to this sectionKết luận#

Kết quả benchmark chứng minh rõ ràng những lợi ích của việc xuất model YOLO26 sang định dạng OpenVINO. Trên các model và nền tảng phần cứng khác nhau, định dạng OpenVINO liên tục vượt trội hơn các định dạng khác về tốc độ suy luận trong khi vẫn duy trì độ chính xác tương đương.

Các benchmark nhấn mạnh tính hiệu quả của OpenVINO như một công cụ triển khai các model học sâu. Bằng cách chuyển đổi model sang định dạng OpenVINO, các lập trình viên có thể đạt được những cải thiện hiệu năng đáng kể, giúp việc triển khai các model này trong các ứng dụng thực tế trở nên dễ dàng hơn.

Để biết thêm thông tin chi tiết và hướng dẫn sử dụng OpenVINO, hãy tham khảo tài liệu OpenVINO chính thức.

Link to this sectionCâu hỏi thường gặp#

Link to this sectionLàm thế nào để xuất model YOLO26 sang định dạng OpenVINO?#

Việc xuất model YOLO26 sang định dạng OpenVINO có thể tăng đáng kể tốc độ CPU và cho phép tăng tốc GPU và NPU trên phần cứng Intel. Để xuất, bạn có thể sử dụng Python hoặc CLI như hiển thị bên dưới:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

Để biết thêm thông tin, hãy tham khảo tài liệu về các định dạng xuất.

Link to this sectionLợi ích của việc sử dụng OpenVINO với các model YOLO26 là gì?#

Việc sử dụng bộ công cụ OpenVINO của Intel với các model YOLO26 mang lại một số lợi ích:

1. Hiệu năng: Đạt tốc độ suy luận nhanh gấp 3 lần trên CPU và tận dụng GPU và NPU Intel để tăng tốc.
2. Model Optimizer: Chuyển đổi, tối ưu hóa và thực thi các model từ các framework phổ biến như PyTorch, TensorFlow và ONNX.
3. Dễ sử dụng: Có sẵn một bộ sưu tập lớn các notebook hướng dẫn để giúp người dùng bắt đầu, bao gồm các hướng dẫn cho YOLO26.
4. Thực thi không đồng nhất: Triển khai các model trên nhiều phần cứng Intel khác nhau với một API thống nhất.

Để so sánh hiệu năng chi tiết, hãy truy cập phần benchmark của chúng tôi.

Link to this sectionLàm thế nào tôi có thể chạy suy luận bằng model YOLO26 đã xuất sang OpenVINO?#

Sau khi xuất model YOLO26n sang định dạng OpenVINO, bạn có thể chạy suy luận bằng Python hoặc CLI:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

Tham khảo tài liệu chế độ dự đoán (predict mode) của chúng tôi để biết thêm chi tiết.

Link to this sectionTại sao tôi nên chọn Ultralytics YOLO26 thay vì các model khác để xuất sang OpenVINO?#

Ultralytics YOLO26 được tối ưu hóa cho phát hiện đối tượng thời gian thực với độ chính xác và tốc độ cao. Đặc biệt, khi kết hợp với OpenVINO, YOLO26 cung cấp:

• Tăng tốc lên đến 3 lần trên CPU Intel
• Triển khai liền mạch trên GPU và NPU Intel
• Độ chính xác nhất quán và tương đương trên các định dạng xuất khác nhau

Để phân tích hiệu năng chuyên sâu, hãy kiểm tra các benchmark YOLO26 chi tiết của chúng tôi trên các phần cứng khác nhau.

Link to this sectionTôi có thể benchmark các model YOLO26 trên các định dạng khác nhau như PyTorch, ONNX và OpenVINO không?#

Có, bạn có thể benchmark các model YOLO26 ở nhiều định dạng khác nhau bao gồm PyTorch, TorchScript, ONNX và OpenVINO. Sử dụng đoạn mã sau để chạy benchmark trên tập dữ liệu bạn chọn:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

Để biết kết quả benchmark chi tiết, hãy tham khảo phần benchmark của chúng tôi và tài liệu về các định dạng xuất.