Link to this sectionXuất Intel OpenVINO#

Trong hướng dẫn này, chúng tôi đề cập đến việc xuất các model YOLO26 sang định dạng OpenVINO, có thể cung cấp tốc độ nhanh hơn tới 3 lần trên CPU, cũng như tăng tốc suy luận YOLO trên phần cứng GPU và NPU của Intel.

OpenVINO, viết tắt của Open Visual Inference & Neural Network Optimization toolkit, là một bộ công cụ toàn diện để tối ưu hóa và triển khai các model suy luận AI. Mặc dù tên gọi chứa từ Visual, OpenVINO cũng hỗ trợ nhiều tác vụ bổ sung bao gồm ngôn ngữ, âm thanh, chuỗi thời gian, v.v.

Link to this sectionVí dụ Sử dụng#

Định dạng OpenVINO hỗ trợ các chế độ Export, Predict, và Validate. Hãy xuất model của bạn, sau đó tải model đã xuất để chạy suy luận hoặc xác thực độ chính xác của nó trên CPU, GPU tích hợp/rời hoặc NPU của Intel.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to OpenVINO format
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

from ultralytics import YOLO

# Load the exported OpenVINO model
model = YOLO("yolo26n_openvino_model/")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

# Run inference on a specific device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

from ultralytics import YOLO

# Load the exported OpenVINO model
model = YOLO("yolo26n_openvino_model/")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Link to this sectionĐối số xuất#

Để biết thêm chi tiết về quy trình xuất, hãy truy cập trang tài liệu của Ultralytics về việc xuất.

Link to this sectionLợi ích của OpenVINO#

1. Hiệu suất: OpenVINO mang lại khả năng suy luận hiệu suất cao bằng cách tận dụng sức mạnh của CPU, GPU tích hợp và rời, cùng các FPGA của Intel.
2. Hỗ trợ thực thi không đồng nhất: OpenVINO cung cấp API để viết một lần và triển khai trên mọi phần cứng Intel được hỗ trợ (CPU, GPU, FPGA, VPU, v.v.).
3. Model Optimizer: OpenVINO cung cấp một Model Optimizer cho phép nhập, chuyển đổi và tối ưu hóa các model từ các framework deep learning phổ biến như PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle và Caffe.
4. Dễ sử dụng: Bộ công cụ đi kèm với một bộ sưu tập lớn các tutorial notebooks (bao gồm tối ưu hóa YOLO26) hướng dẫn các khía cạnh khác nhau của bộ công cụ.

Link to this sectionCấu trúc xuất OpenVINO#

Khi bạn xuất một model sang định dạng OpenVINO, nó tạo ra một thư mục chứa những thành phần sau:

1. Tệp XML: Mô tả cấu trúc liên kết mạng.
2. Tệp BIN: Chứa dữ liệu nhị phân về trọng số và thiên vị (weights and biases).
3. Tệp Mapping: Chứa thông tin ánh xạ các tensor đầu ra của model gốc sang tên tensor của OpenVINO.

Bạn có thể sử dụng các tệp này để chạy suy luận với OpenVINO Inference Engine.

Link to this sectionSử dụng xuất OpenVINO trong triển khai#

Sau khi model của bạn đã được xuất thành công sang định dạng OpenVINO, bạn có hai lựa chọn chính để chạy suy luận:

1. Sử dụng gói ultralytics, cung cấp API cấp cao và bao bọc OpenVINO Runtime.

2. Sử dụng gói openvino gốc để kiểm soát nâng cao hoặc tùy chỉnh hơn đối với hành vi suy luận.

Link to this sectionSuy luận với Ultralytics#

Gói ultralytics cho phép bạn dễ dàng chạy suy luận bằng model OpenVINO đã xuất thông qua phương thức predict. Bạn cũng có thể chỉ định thiết bị mục tiêu (ví dụ: intel:gpu, intel:npu, intel:cpu) bằng cách sử dụng đối số device.

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

Cách tiếp cận này lý tưởng cho việc tạo mẫu nhanh hoặc triển khai khi bạn không cần toàn quyền kiểm soát quy trình suy luận.

Link to this sectionSuy luận với OpenVINO Runtime#

OpenVINO Runtime cung cấp một API thống nhất để suy luận trên tất cả các phần cứng Intel được hỗ trợ. Nó cũng cung cấp các tính năng nâng cao như cân bằng tải trên phần cứng Intel và thực thi không đồng bộ. Để biết thêm thông tin về việc chạy suy luận, hãy tham khảo YOLO26 notebooks.

Hãy nhớ rằng bạn sẽ cần các tệp XML và BIN cũng như mọi cài đặt cụ thể của ứng dụng như kích thước đầu vào, hệ số tỉ lệ để chuẩn hóa, v.v., để thiết lập và sử dụng đúng cách model với Runtime.

Trong ứng dụng triển khai của bạn, thông thường bạn sẽ thực hiện các bước sau:

1. Khởi tạo OpenVINO bằng cách tạo core = Core().
2. Tải model bằng phương thức core.read_model().
3. Biên dịch model bằng hàm core.compile_model().
4. Chuẩn bị đầu vào (hình ảnh, văn bản, âm thanh, v.v.).
5. Chạy suy luận bằng compiled_model(input_data).

Để biết thêm các bước chi tiết và đoạn mã mẫu, hãy tham khảo tài liệu OpenVINO hoặc API tutorial.

Link to this sectionĐiểm chuẩn YOLO26 của OpenVINO#

Đội ngũ Ultralytics đã đánh giá YOLO26 trên nhiều định dạng model và precision, đánh giá tốc độ và độ chính xác trên các thiết bị Intel khác nhau tương thích với OpenVINO.

Link to this sectionIntel® Core™ Ultra#

Dòng Intel® Core™ Ultra™ đại diện cho một tiêu chuẩn mới trong tính toán hiệu suất cao, được thiết kế để đáp ứng nhu cầu ngày càng tăng của người dùng hiện đại—từ game thủ và nhà sáng tạo đến các chuyên gia tận dụng AI. Dòng sản phẩm thế hệ tiếp theo này không chỉ là một dòng CPU truyền thống; nó kết hợp các lõi CPU mạnh mẽ, khả năng GPU tích hợp hiệu suất cao và bộ xử lý NPU chuyên dụng trong một con chip duy nhất, mang đến một giải pháp thống nhất cho các khối lượng công việc tính toán đa dạng và chuyên sâu.

Trọng tâm của kiến trúc Intel® Core Ultra™ là thiết kế lai cho phép đạt hiệu suất vượt trội trên các tác vụ xử lý truyền thống, các khối lượng công việc tăng tốc bởi GPU và các hoạt động điều khiển bằng AI. Việc tích hợp NPU giúp nâng cao khả năng suy luận AI trên thiết bị, cho phép học máy và xử lý dữ liệu nhanh hơn, hiệu quả hơn trên nhiều ứng dụng.

Dòng sản phẩm Core Ultra™ bao gồm nhiều model khác nhau được thiết kế riêng cho các nhu cầu hiệu suất khác nhau, với các tùy chọn từ thiết kế tiết kiệm năng lượng đến các biến thể công suất cao được đánh dấu bằng ký hiệu "H"—lý tưởng cho máy tính xách tay và các yếu tố hình thức nhỏ gọn đòi hỏi sức mạnh tính toán lớn. Trên toàn bộ dòng sản phẩm, người dùng được hưởng lợi từ sự kết hợp của tích hợp CPU, GPU và NPU, mang lại hiệu quả, khả năng phản hồi và khả năng đa nhiệm đáng kinh ngạc.

Là một phần trong sự đổi mới không ngừng của Intel, dòng Core Ultra™ thiết lập một tiêu chuẩn mới cho điện toán sẵn sàng cho tương lai. Với nhiều model hiện có và nhiều model khác sắp ra mắt, dòng sản phẩm này nhấn mạnh cam kết của Intel trong việc cung cấp các giải pháp tiên tiến cho thế hệ thiết bị thông minh, tích hợp AI tiếp theo.

Các điểm chuẩn dưới đây chạy trên Intel® Core™ Ultra™ X7 358H, Intel® Core™ Ultra™ 7 258V và Intel® Core™ Ultra™ 7 155H ở độ chính xác FP32, FP16 và INT8.

Link to this sectionIntel® Core™ Ultra™ X7 358H#

Điểm chuẩn (Benchmarks)

GPU tích hợp Intel® Arc™Intel® Panther Lake CPUIntegrated Intel® AI Boost NPU

Kết quả điểm chuẩn chi tiết

Mô hình	Định dạng	Precision	Trạng thái	Kích thước (MB)	metrics/mAP50-95(B)	Thời gian suy luận (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	25.18
YOLO26n	OpenVINO	FP32	✅	9.6	0.4763	2.67
YOLO26n	OpenVINO	FP16	✅	5.1	0.4763	2.64
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	2.73
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	50.09
YOLO26s	OpenVINO	FP32	✅	36.7	0.5615	3.57
YOLO26s	OpenVINO	FP16	✅	18.6	0.5615	3.55
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	3.09
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	135.1
YOLO26m	OpenVINO	FP32	✅	78.3	0.6168	5.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	5.85
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	4.14
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	169.75
YOLO26l	OpenVINO	FP32	✅	95.3	0.6206	8.14
YOLO26l	OpenVINO	FP16	✅	48.1	0.6206	8.18
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	4.67
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	407.56
YOLO26x	OpenVINO	FP32	✅	213.2	0.6569	13.11
YOLO26x	OpenVINO	FP16	✅	107.1	0.6569	13.15
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	9.24

Link to this sectionIntel® Core™ Ultra™ 7 258V#

Điểm chuẩn (Benchmarks)

GPU tích hợp Intel® Arc™Intel® Lunar Lake CPUIntegrated Intel® AI Boost NPU

Kết quả điểm chuẩn chi tiết

Mô hình	Định dạng	Precision	Trạng thái	Kích thước (MB)	metrics/mAP50-95(B)	Thời gian suy luận (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	31.43
YOLO26n	OpenVINO	FP32	✅	9.6	0.4762	3.57
YOLO26n	OpenVINO	FP16	✅	5.1	0.4762	3.53
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	3.65
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	60.4
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	5.02
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	5.01
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	4.31
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	173.31
YOLO26m	OpenVINO	FP32	✅	78.3	0.6191	9.48
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	9.6
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	6.03
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6173	224.52
YOLO26l	OpenVINO	FP32	✅	95.3	0.3725	11.88
YOLO26l	OpenVINO	FP16	✅	48.1	0.6201	12.0
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	8.47
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	595.72
YOLO26x	OpenVINO	FP32	✅	213.2	0.6567	20.26
YOLO26x	OpenVINO	FP16	✅	107.1	0.6454	20.25
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	14.77

Link to this sectionIntel® Core™ Ultra™ 7 155H#

Điểm chuẩn (Benchmarks)

GPU tích hợp Intel® Arc™Intel® Meteor Lake CPU

Kết quả điểm chuẩn chi tiết

Mô hình	Định dạng	Precision	Trạng thái	Kích thước (MB)	metrics/mAP50-95(B)	Thời gian suy luận (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	38.77
YOLO26n	OpenVINO	FP32	✅	9.6	0.4774	9.87
YOLO26n	OpenVINO	FP16	✅	5.1	0.4774	9.84
YOLO26n	OpenVINO	INT8	✅	3.2	0.4705	5.86
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	69.54
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	17.29
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	17.06
YOLO26s	OpenVINO	INT8	✅	10.0	0.5452	10.33
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	192.22
YOLO26m	OpenVINO	FP32	✅	78.3	0.6187	34.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6187	34.75
YOLO26m	OpenVINO	INT8	✅	20.5	0.6073	15.99
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	245.62
YOLO26l	OpenVINO	FP32	✅	95.3	0.6202	43.7
YOLO26l	OpenVINO	FP16	✅	48.1	0.6202	44.65
YOLO26l	OpenVINO	INT8	✅	25.2	0.6048	20.31
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	513.06
YOLO26x	OpenVINO	FP32	✅	213.2	0.6544	80.19
YOLO26x	OpenVINO	FP16	✅	107.1	0.6544	79.83
YOLO26x	OpenVINO	INT8	✅	54.8	0.6393	35.16

Link to this sectionTái tạo kết quả của chúng tôi#

Để tái hiện các điểm chuẩn của Ultralytics ở trên trên tất cả các định dạng xuất, hãy chạy mã này:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

Link to this sectionKết luận#

Kết quả đo điểm chuẩn chứng minh rõ ràng những lợi ích của việc xuất mô hình YOLO26 sang định dạng OpenVINO. Trên các mô hình và nền tảng phần cứng khác nhau, định dạng OpenVINO luôn vượt trội hơn các định dạng khác về tốc độ suy luận trong khi vẫn duy trì độ chính xác tương đương.

Các điểm chuẩn nhấn mạnh tính hiệu quả của OpenVINO như một công cụ để triển khai các mô hình deep learning. Bằng cách chuyển đổi các mô hình sang định dạng OpenVINO, các lập trình viên có thể đạt được những cải thiện hiệu suất đáng kể, giúp việc triển khai các mô hình này trong các ứng dụng thực tế trở nên dễ dàng hơn.

Để biết thêm thông tin chi tiết và hướng dẫn về cách sử dụng OpenVINO, hãy tham khảo tài liệu chính thức của OpenVINO.

Link to this sectionCâu hỏi thường gặp#

Link to this sectionLàm thế nào để xuất mô hình YOLO26 sang định dạng OpenVINO?#

Việc xuất các mô hình YOLO26 sang định dạng OpenVINO có thể tăng đáng kể tốc độ CPU và cho phép tăng tốc GPU và NPU trên phần cứng của Intel. Để xuất, bạn có thể sử dụng Python hoặc CLI như hiển thị dưới đây:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

Để biết thêm thông tin, hãy tham khảo tài liệu về các định dạng xuất.

Link to this sectionLợi ích của việc sử dụng OpenVINO với các mô hình YOLO26 là gì?#

Việc sử dụng bộ công cụ OpenVINO của Intel với các mô hình YOLO26 mang lại một số lợi ích:

1. Hiệu suất: Đạt tốc độ suy luận nhanh hơn tới 3 lần trên CPU và tận dụng GPU và NPU của Intel để tăng tốc.
2. Model Optimizer: Chuyển đổi, tối ưu hóa và thực thi các mô hình từ các framework phổ biến như PyTorch, TensorFlow và ONNX.
3. Dễ sử dụng: Một bộ sưu tập lớn các notebook hướng dẫn được cung cấp để giúp người dùng bắt đầu, bao gồm cả những notebook cho YOLO26.
4. Thực thi không đồng nhất: Triển khai các mô hình trên nhiều phần cứng Intel khác nhau với một API thống nhất.

Để có so sánh chi tiết về hiệu suất, hãy truy cập phần điểm chuẩn của chúng tôi.

Link to this sectionLàm thế nào để tôi có thể chạy suy luận bằng mô hình YOLO26 đã xuất sang OpenVINO?#

Sau khi xuất mô hình YOLO26n sang định dạng OpenVINO, bạn có thể chạy suy luận bằng Python hoặc CLI:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

Tham khảo tài liệu chế độ dự đoán (predict mode) của chúng tôi để biết thêm chi tiết.

Link to this sectionTại sao tôi nên chọn Ultralytics YOLO26 thay vì các mô hình khác cho việc xuất sang OpenVINO?#

Ultralytics YOLO26 được tối ưu hóa cho việc nhận diện đối tượng theo thời gian thực với độ chính xác và tốc độ cao. Cụ thể, khi kết hợp với OpenVINO, YOLO26 cung cấp:

• Tăng tốc độ lên tới 3 lần trên CPU Intel
• Triển khai liền mạch trên GPU và NPU Intel
• Độ chính xác ổn định và tương đương trên nhiều định dạng xuất khác nhau

Để phân tích hiệu suất chuyên sâu, hãy kiểm tra các điểm chuẩn YOLO26 chi tiết của chúng tôi trên các loại phần cứng khác nhau.

Link to this sectionTôi có thể đo điểm chuẩn các mô hình YOLO26 trên các định dạng khác nhau như PyTorch, ONNX và OpenVINO không?#

Có, bạn có thể đo điểm chuẩn các mô hình YOLO26 ở nhiều định dạng khác nhau bao gồm PyTorch, TorchScript, ONNX và OpenVINO. Sử dụng đoạn mã sau để chạy các điểm chuẩn trên tập dữ liệu bạn đã chọn:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

Để biết kết quả điểm chuẩn chi tiết, hãy tham khảo phần điểm chuẩn và tài liệu các định dạng xuất của chúng tôi.