Link to this sectionUltralytics YOLO26 trên Intel Core Ultra Series 3 sử dụng DL Streamer Pipeline Framework và OpenVINO™#

Hướng dẫn toàn diện này cung cấp các bước chi tiết để triển khai Ultralytics YOLO26 trên nền tảng Intel Core Ultra Series 3 sử dụng DL Streamer Pipeline Framework và OpenVINO™ toolkit. Tại đây, chúng tôi sử dụng OpenVINO™ để tối ưu hóa hiệu năng suy luận (inference) trên các CPU Intel, GPU tích hợp/rời và NPU.

Mục lục: Intel DL Streamer là gì? • Yêu cầu tiên quyết • Chuẩn bị mô hình YOLO26 • Chạy suy luận với YOLO26 • Thiết lập đa luồng (Multi-Stream) • FAQ

Link to this sectionIntel DL Streamer là gì?#

Deep Learning Streamer (DL Streamer) Pipeline Framework là framework phân tích truyền thông dòng (streaming media) mã nguồn mở dựa trên framework đa phương tiện GStreamer, được thiết kế để xây dựng các pipeline phân tích phương tiện phức tạp cho Cloud hoặc Edge.

DL Streamer cho phép phân tích các luồng âm thanh và video để phát hiện, phân loại, theo dõi, nhận diện và đếm các đối tượng, sự kiện và con người. Nó được tối ưu hóa cho phần cứng Intel và cung cấp khả năng tương tác giữa các GStreamer plugin được xây dựng trên nhiều thư viện backend khác nhau:

Suy luận (Inference): Công cụ suy luận OpenVINO™, được tối ưu hóa cho Intel CPU, GPU và NPU
Mã hóa/Giải mã Video: Tăng tốc GPU qua VA-API
Xử lý ảnh: Tăng tốc GPU qua VA-API
Metadata: GStreamer Analytics cho các kết quả suy luận có cấu trúc
Hệ sinh thái: Hàng trăm GStreamer plugin cho I/O phương tiện, muxing/demuxing, hỗ trợ codec và nhiều hơn nữa

DL Streamer hỗ trợ nhiều mô hình AI bao gồm toàn bộ dòng Ultralytics YOLO (từ YOLOv5 đến YOLO26) ở định dạng OpenVINO™.

DL Streamer được kiểm định thường xuyên với các hệ thống được cung cấp trên Yêu cầu hệ thống — Tài liệu Nền tảng Edge mở

Link to this sectionĐiều kiện tiên quyết#

Trước khi bắt đầu, hãy đảm bảo các mục sau đã được cài đặt và cấu hình trên hệ thống Intel của bạn:

Ubuntu 24.04 với trình điều khiển Intel GPU/NPU đã được cài đặt (kiểm tra hướng dẫn cài đặt)
docker engine (kiểm tra hướng dẫn cài đặt)

Link to this sectionChuẩn bị mô hình YOLO26#

DL Streamer sử dụng các mô hình ở định dạng OpenVINO™ IR. Các mô hình Ultralytics YOLO26 được xuất từ PyTorch sang OpenVINO™ IR bằng bộ xuất của Ultralytics. DL Streamer tận dụng tích hợp Ultralytics OpenVINO™ chính thức, cung cấp khả năng xuất và suy luận tối ưu cho phần cứng Intel.

Tạo thư mục ~/intel/dlstreamer_demo và cài đặt OpenVINO™ cùng Ultralytics trong môi trường ảo

mkdir -p ~/intel/dlstreamer_demo && cd ~/intel/dlstreamer_demo
python3 -m venv .dls-venv && source .dls-venv/bin/activate
pip install openvino==2026.2.0 ultralytics==8.4.92

Tải xuống mô hình PyTorch YOLO26s từ Ultralytics, chuyển đổi nó sang định dạng OpenVINO™ IR và tạo biến thể độ chính xác INT8.

yolo export model=yolo26s.pt format=openvino dynamic=True quantize=8 data=coco128.yaml

Mô hình sẽ được tải xuống thư mục ~/intel/dlstreamer_demo/yolo26s_int8_openvino_model.

Link to this sectionĐộ chính xác mô hình#

DL Streamer hỗ trợ các mô hình có độ chính xác FP32, FP16 và INT8. Mỗi loại yêu cầu một bước xuất riêng biệt:

# FP32 (default precision, highest accuracy)
yolo export model=yolo26s.pt format=openvino dynamic=True

# FP16 (recommended for GPU inference, good accuracy/performance balance)
yolo export model=yolo26s.pt format=openvino dynamic=True quantize=16

# INT8 (maximum performance, requires calibration dataset)
yolo export model=yolo26s.pt format=openvino dynamic=True quantize=8 data=coco128.yaml

Các ví dụ dưới đây sử dụng mô hình INT8 được xuất ở bước chuẩn bị. Để sử dụng mô hình FP32 hoặc FP16, hãy thay thế đường dẫn mô hình tương ứng (ví dụ: yolo26s_openvino_model/yolo26s.xml).

Link to this sectionChạy suy luận với YOLO26#

Trước khi chạy pipeline phát hiện suy luận YOLO26 của DL Streamer, hãy chạy docker image của DL Streamer ở chế độ tương tác (interactive mode). Đảm bảo bạn đã làm theo bước Chuẩn bị mô hình YOLO26 và tải xuống tệp video sau từ cơ sở dữ liệu Pexels.

curl -L https://videos.pexels.com/video-files/1192116/1192116-sd_640_360_30fps.mp4 --output ~/intel/dlstreamer_demo/video1.mp4

Chạy docker image DL Streamer ở chế độ tương tác.

Lưu ý

Lệnh này dành cho các hệ thống được trang bị bộ xử lý Intel Core Ultra Series 3 với GPU tích hợp (iGPU) và NPU trên bo mạch.

docker run -it --rm \
  -v ~/intel/dlstreamer_demo:/home/dlstreamer/demo \
  -v "$HOME/.Xauthority:/root/.Xauthority:rw" \
  -e DISPLAY=$DISPLAY \
  -e XDG_RUNTIME_DIR=/tmp \
  -v /tmp/.X11-unix:/tmp/.X11-unix \
  --device /dev/dri \
  --group-add $(stat -c "%g" /dev/dri/render*) \
  --device /dev/accel \
  --group-add $(stat -c "%g" /dev/accel/accel*) \
  -e ZE_ENABLE_ALT_DRIVERS=libze_intel_npu.so \
  intel/dlstreamer:latest

Link to this sectionĐộ chính xác INT8 (Hiệu năng tối đa)#

Lượng tử hóa INT8 mang lại thông lượng cao nhất bằng cách giảm trọng số mô hình xuống số nguyên 8-bit. Bộ xuất của Ultralytics xử lý việc hiệu chuẩn một cách tự động.

Link to this sectionChạy YOLO26s với INT8 trên GPU#

gst-launch-1.0 filesrc location=/home/dlstreamer/demo/video1.mp4 ! decodebin3 ! gvadetect model=/home/dlstreamer/demo/yolo26s_int8_openvino_model/yolo26s.xml device=GPU ! queue ! vapostproc ! gvawatermark ! gvafpscounter ! autovideosink sync=false

Link to this sectionChạy YOLO26s với INT8 trên GPU, lưu đầu ra vào tệp video (~/intel/dlstreamer_demo/yolo_video1_yolo26s_INT8_GPU.mp4)#

gst-launch-1.0 filesrc location=/home/dlstreamer/demo/video1.mp4 ! decodebin3 ! gvadetect model=/home/dlstreamer/demo/yolo26s_int8_openvino_model/yolo26s.xml device=GPU ! queue ! vapostproc ! gvawatermark ! gvafpscounter ! vah264enc ! h264parse ! mp4mux ! filesink location=/home/dlstreamer/demo/yolo_video1_yolo26s_INT8_GPU.mp4

Link to this sectionChạy YOLO26s với INT8 trên NPU#

gst-launch-1.0 filesrc location=/home/dlstreamer/demo/video1.mp4 ! decodebin3 ! gvadetect model=/home/dlstreamer/demo/yolo26s_int8_openvino_model/yolo26s.xml device=NPU ! queue ! vapostproc ! gvawatermark ! gvafpscounter ! autovideosink sync=false

Link to this sectionThiết lập đa luồng (Multi-Stream)#

DL Streamer hỗ trợ xử lý đa luồng, nơi nhiều nguồn video được giải mã và suy luận đồng thời. Bạn có thể khởi chạy nhiều pipeline song song bằng cách sử dụng phần tử vacompositor của GStreamer để kết hợp nhiều luồng.

Link to this sectionChạy nhiều pipeline (4 luồng) song song (GPU)#

gst-launch-1.0 vacompositor name=comp sink_0::xpos=0 sink_0::ypos=0 sink_1::xpos=660 sink_1::ypos=0 sink_2::xpos=0 sink_2::ypos=380 sink_3::xpos=660 sink_3::ypos=380 ! autovideosink sync=false \
  filesrc location=/home/dlstreamer/demo/video1.mp4 ! decodebin3 ! gvadetect model=/home/dlstreamer/demo/yolo26s_int8_openvino_model/yolo26s.xml device=GPU model-instance-id=inf0 scheduling-policy="latency" ! queue ! gvawatermark ! gvafpscounter ! comp.sink_0 \
  filesrc location=/home/dlstreamer/demo/video1.mp4 ! decodebin3 ! gvadetect model=/home/dlstreamer/demo/yolo26s_int8_openvino_model/yolo26s.xml device=GPU model-instance-id=inf0 scheduling-policy="latency" ! queue ! gvawatermark ! gvafpscounter ! comp.sink_1 \
  filesrc location=/home/dlstreamer/demo/video1.mp4 ! decodebin3 ! gvadetect model=/home/dlstreamer/demo/yolo26s_int8_openvino_model/yolo26s.xml device=GPU model-instance-id=inf0 scheduling-policy="latency" ! queue ! gvawatermark ! gvafpscounter ! comp.sink_2 \
  filesrc location=/home/dlstreamer/demo/video1.mp4 ! decodebin3 ! gvadetect model=/home/dlstreamer/demo/yolo26s_int8_openvino_model/yolo26s.xml device=GPU model-instance-id=inf0 scheduling-policy="latency" ! queue ! gvawatermark ! gvafpscounter ! comp.sink_3

Link to this sectionCâu hỏi thường gặp#

Link to this sectionLàm cách nào để thiết lập Ultralytics YOLO26 trên nền tảng Intel với DL Streamer?#

Cài đặt DL Streamer theo Hướng dẫn cài đặt, thiết lập môi trường bằng source /opt/intel/dlstreamer/scripts/setup_dls_env.sh, cài đặt Ultralytics và OpenVINO™, tải xuống các mô hình bằng download_ultralytics_models.sh. Sau đó chạy suy luận với ứng dụng mẫu yolo_detect.sh của DL Streamer, cung cấp tập lệnh sẵn sàng sử dụng để chạy các pipeline suy luận YOLO26. Xem hướng dẫn ngắn để biết cách chạy nó.

Link to this sectionLợi ích của việc sử dụng OpenVINO™ với YOLO26 trên phần cứng Intel là gì?#

OpenVINO™ tối ưu hóa mô hình YOLO26 dành riêng cho phần cứng Intel thông qua các kỹ thuật như tối ưu hóa đồ thị, hợp nhất lớp và tinh chỉnh kernel theo phần cứng. Kết hợp với khả năng giải mã tăng tốc VA-API của DL Streamer và xử lý trước va-surface-sharing không cần sao chép dữ liệu, toàn bộ pipeline phân tích video đạt được thông lượng cao hơn đáng kể so với các framework không được tối ưu hóa.

Link to this sectionTôi có thể chạy YOLO26 với DL Streamer trên các thiết bị Intel khác nhau không?#

Có. DL Streamer hỗ trợ suy luận trên CPU Intel (Core, Core Ultra, Xeon), GPU tích hợp (Iris Xe, Arc), GPU rời (Arc A-Series, B-Series) và NPU (AI Boost) trên nhiều thế hệ nền tảng Intel. Chỉ cần thay đổi tham số DEVICE thành CPU, GPU hoặc NPU.

Link to this sectionLàm cách nào để chọn giữa độ chính xác FP16 và INT8?#

FP16 được khuyến nghị làm mặc định cho suy luận trên GPU — nó cung cấp độ chính xác gần với FP32 với thông lượng cải thiện gấp khoảng 2 lần.
INT8 mang lại hiệu năng cao nhất (gấp 2–3 lần so với FP32) với sự đánh đổi nhỏ về độ chính xác và là lựa chọn lý tưởng khi thông lượng tối đa là ưu tiên hàng đầu. Các mô hình INT8 được tự động hiệu chuẩn trong quá trình xuất Ultralytics.

Link to this sectionNhững tác vụ YOLO26 nào được hỗ trợ?#

DL Streamer hỗ trợ tất cả các biến thể tác vụ YOLO26: - Phát hiện (Detection): yolo26n, yolo26s, yolo26m, yolo26l, yolo26x - Oriented Bounding Box (OBB): yolo26s-obb (và tất cả các biến thể kích thước) - Phân đoạn thực thể (Instance Segmentation): yolo26s-seg (và tất cả các biến thể kích thước) - Ước tính tư thế (Pose Estimation): yolo26s-pose (và tất cả các biến thể kích thước) - Phân loại (Classification): yolo26s-cls (pipeline tổng hợp với phát hiện)

Link to this sectionLàm cách nào để xuất các kết quả phát hiện dưới dạng dữ liệu có cấu trúc?#

Sử dụng tùy chọn đầu ra json để ghi kết quả phát hiện dưới dạng JSON-lines vào một tệp:

./yolo_detect.sh yolo26s GPU input_video.mp4 json va-surface-sharing INT8

Ngoài ra, hãy sử dụng phần tử gvametapublish trong các pipeline tùy chỉnh để xuất metadata ra tệp, MQTT hoặc Kafka.

Link to this sectionTài nguyên bổ sung#

Người đóng góp

TBtbujewsk¹

Đã tạo 2 giờ trướcĐã cập nhật 2 giờ trước