Ultralytics YOLO26 trên Intel Core Ultra Series 3 sử dụng DL Streamer Pipeline Framework và OpenVINO™#

Hướng dẫn toàn diện này cung cấp các bước chi tiết để triển khai Ultralytics YOLO26 trên các nền tảng Intel Core Ultra Series 3 sử dụng DL Streamer Pipeline Framework và OpenVINO™ toolkit. Tại đây, chúng tôi sử dụng OpenVINO™ để tối đa hóa hiệu năng suy luận trên CPU Intel, GPU tích hợp và rời, cũng như NPU.

Nội dung: What is Intel DL Streamer? • Prerequisites • YOLO26 Model Preparation • Running Inference with YOLO26 • Multi-Stream Setup • FAQ

Intel DL Streamer là gì?#

Deep Learning Streamer (DL Streamer) Pipeline Framework là một framework phân tích phương tiện phát trực tuyến mã nguồn mở dựa trên GStreamer multimedia framework, được thiết kế để tạo các pipeline phân tích phương tiện phức tạp cho Cloud hoặc Edge.

DL Streamer cho phép phân tích các luồng âm thanh và video để phát hiện, phân loại, theo dõi, nhận diện và đếm các đối tượng, sự kiện và con người. Nó được tối ưu hóa cho phần cứng Intel và cung cấp khả năng tương tác giữa các GStreamer plugin được xây dựng trên nhiều thư viện backend khác nhau:

• Suy luận (Inference): Engine suy luận OpenVINO™, được tối ưu hóa cho CPU, GPU và NPU của Intel
• Mã hóa/Giải mã Video: Tăng tốc GPU qua VA-API
• Xử lý ảnh: Tăng tốc GPU qua VA-API
• Metadata: GStreamer Analytics cho các kết quả suy luận có cấu trúc
• Hệ sinh thái: Hàng trăm GStreamer plugin cho I/O phương tiện, muxing/demuxing, hỗ trợ codec và nhiều hơn nữa

DL Streamer hỗ trợ nhiều mô hình AI bao gồm toàn bộ dòng Ultralytics YOLO (từ YOLOv5 đến YOLO26) ở định dạng OpenVINO™.

DL Streamer được định kỳ kiểm chứng với các hệ thống được cung cấp trên System Requirements — Open Edge Platform Documentation

Điều kiện tiên quyết#

Trước khi bắt đầu, hãy đảm bảo các mục sau đã được cài đặt và cấu hình trên hệ thống Intel của bạn:

• Ubuntu 24.04 đã cài đặt driver GPU/NPU của Intel (xem installation guide)

• docker engine (xem installation guide)

Chuẩn bị mô hình YOLO26#

DL Streamer sử dụng các model ở OpenVINO™ IR format. Các model Ultralytics YOLO26 được xuất từ PyTorch sang OpenVINO™ IR bằng công cụ xuất của Ultralytics. DL Streamer tận dụng Ultralytics OpenVINO™ integration chính thức, cung cấp các tính năng xuất và suy luận được tối ưu hóa cho phần cứng Intel.

1. Tạo thư mục ~/intel/dlstreamer_demo và cài đặt OpenVINO™ cùng Ultralytics trong môi trường ảo

mkdir -p ~/intel/dlstreamer_demo && cd ~/intel/dlstreamer_demo
python3 -m venv .dls-venv && source .dls-venv/bin/activate
pip install openvino==2026.2.0 ultralytics==8.4.92

2. Tải xuống mô hình PyTorch YOLO26s từ Ultralytics, chuyển đổi nó sang định dạng OpenVINO™ IR và tạo biến thể độ chính xác INT8.

yolo export model=yolo26s.pt format=openvino dynamic=True quantize=8 data=coco128.yaml

Model cần được tải xuống thư mục ~/intel/dlstreamer_demo/yolo26s_int8_openvino_model.

Độ chính xác mô hình#

DL Streamer hỗ trợ các mô hình có độ chính xác FP32, FP16 và INT8. Mỗi loại yêu cầu một bước xuất riêng biệt:

# FP32 (default precision, highest accuracy)
yolo export model=yolo26s.pt format=openvino dynamic=True

# FP16 (recommended for GPU inference, good accuracy/performance balance)
yolo export model=yolo26s.pt format=openvino dynamic=True quantize=16

# INT8 (maximum performance, requires calibration dataset)
yolo export model=yolo26s.pt format=openvino dynamic=True quantize=8 data=coco128.yaml

Các ví dụ dưới đây sử dụng model INT8 đã được xuất trong preparation step. Để sử dụng model FP32 hoặc FP16, hãy thay thế đường dẫn model cho phù hợp (ví dụ: yolo26s_openvino_model/yolo26s.xml).

Chạy suy luận với YOLO26#

Trước khi chạy pipeline phát hiện suy luận YOLO26 của DL Streamer, hãy chạy docker image của DL Streamer ở chế độ tương tác. Hãy đảm bảo bạn đã làm theo bước YOLO26 Model Preparation và tải xuống tệp video sau từ cơ sở dữ liệu Pexels.

curl -L https://videos.pexels.com/video-files/1192116/1192116-sd_640_360_30fps.mp4 --output ~/intel/dlstreamer_demo/video1.mp4

Chạy docker image DL Streamer ở chế độ tương tác.

docker run -it --rm \
  -v ~/intel/dlstreamer_demo:/home/dlstreamer/demo \
  -v "$HOME/.Xauthority:/root/.Xauthority:rw" \
  -e DISPLAY=$DISPLAY \
  -e XDG_RUNTIME_DIR=/tmp \
  -v /tmp/.X11-unix:/tmp/.X11-unix \
  --device /dev/dri \
  --group-add $(stat -c "%g" /dev/dri/render*) \
  --device /dev/accel \
  --group-add $(stat -c "%g" /dev/accel/accel*) \
  -e ZE_ENABLE_ALT_DRIVERS=libze_intel_npu.so \
  intel/dlstreamer:latest

Độ chính xác INT8 (Hiệu năng tối đa)#

Lượng tử hóa INT8 mang lại thông lượng cao nhất bằng cách giảm trọng số mô hình xuống số nguyên 8-bit. Bộ xuất của Ultralytics xử lý việc hiệu chuẩn một cách tự động.

Chạy YOLO26s với INT8 trên GPU#

gst-launch-1.0 filesrc location=/home/dlstreamer/demo/video1.mp4 ! decodebin3 ! gvadetect model=/home/dlstreamer/demo/yolo26s_int8_openvino_model/yolo26s.xml device=GPU ! queue ! vapostproc ! gvawatermark ! gvafpscounter ! autovideosink sync=false

Chạy YOLO26s với INT8 trên GPU, lưu đầu ra vào tệp video (~/intel/dlstreamer_demo/yolo_video1_yolo26s_INT8_GPU.mp4)#

gst-launch-1.0 filesrc location=/home/dlstreamer/demo/video1.mp4 ! decodebin3 ! gvadetect model=/home/dlstreamer/demo/yolo26s_int8_openvino_model/yolo26s.xml device=GPU ! queue ! vapostproc ! gvawatermark ! gvafpscounter ! vah264enc ! h264parse ! mp4mux ! filesink location=/home/dlstreamer/demo/yolo_video1_yolo26s_INT8_GPU.mp4

Chạy YOLO26s với INT8 trên NPU#

gst-launch-1.0 filesrc location=/home/dlstreamer/demo/video1.mp4 ! decodebin3 ! gvadetect model=/home/dlstreamer/demo/yolo26s_int8_openvino_model/yolo26s.xml device=NPU ! queue ! vapostproc ! gvawatermark ! gvafpscounter ! autovideosink sync=false

Thiết lập đa luồng (Multi-Stream)#

DL Streamer hỗ trợ xử lý đa luồng (multi-stream), trong đó nhiều nguồn video được giải mã và suy luận đồng thời. Bạn có thể khởi chạy nhiều pipeline song song bằng phần tử vacompositor của GStreamer để kết hợp nhiều luồng.

Chạy nhiều pipeline (4 luồng) song song (GPU)#

gst-launch-1.0 vacompositor name=comp sink_0::xpos=0 sink_0::ypos=0 sink_1::xpos=660 sink_1::ypos=0 sink_2::xpos=0 sink_2::ypos=380 sink_3::xpos=660 sink_3::ypos=380 ! autovideosink sync=false \
  filesrc location=/home/dlstreamer/demo/video1.mp4 ! decodebin3 ! gvadetect model=/home/dlstreamer/demo/yolo26s_int8_openvino_model/yolo26s.xml device=GPU model-instance-id=inf0 scheduling-policy="latency" ! queue ! gvawatermark ! gvafpscounter ! comp.sink_0 \
  filesrc location=/home/dlstreamer/demo/video1.mp4 ! decodebin3 ! gvadetect model=/home/dlstreamer/demo/yolo26s_int8_openvino_model/yolo26s.xml device=GPU model-instance-id=inf0 scheduling-policy="latency" ! queue ! gvawatermark ! gvafpscounter ! comp.sink_1 \
  filesrc location=/home/dlstreamer/demo/video1.mp4 ! decodebin3 ! gvadetect model=/home/dlstreamer/demo/yolo26s_int8_openvino_model/yolo26s.xml device=GPU model-instance-id=inf0 scheduling-policy="latency" ! queue ! gvawatermark ! gvafpscounter ! comp.sink_2 \
  filesrc location=/home/dlstreamer/demo/video1.mp4 ! decodebin3 ! gvadetect model=/home/dlstreamer/demo/yolo26s_int8_openvino_model/yolo26s.xml device=GPU model-instance-id=inf0 scheduling-policy="latency" ! queue ! gvawatermark ! gvafpscounter ! comp.sink_3

Tài nguyên bổ sung#

• DL Streamer GitHub Repository
• DL Streamer Documentation
• DL Streamer Elements
• OpenVINO™ Toolkit
• Ultralytics YOLO26
• GStreamer Framework
• Supported Models Table

Câu hỏi thường gặp#