Ultralytics YOLO26 trên NVIDIA Jetson sử dụng DeepStream SDK và TensorRT#

Hướng dẫn toàn diện này cung cấp hướng dẫn chi tiết từng bước để triển khai Ultralytics YOLO26 trên các thiết bị NVIDIA Jetson bằng cách sử dụng DeepStream SDK và TensorRT. Tại đây, chúng tôi sử dụng TensorRT để tối đa hóa hiệu suất suy luận trên nền tảng Jetson.

Hướng dẫn này đi qua cấu hình DeepStream cho YOLO26, hiệu chỉnh INT8, thiết lập đa luồng, và kết quả benchmark.

NVIDIA DeepStream là gì?#

NVIDIA's DeepStream SDK là một bộ công cụ phân tích phát trực tuyến hoàn chỉnh dựa trên GStreamer dành cho việc xử lý đa cảm biến dựa trên AI, hiểu biết về video, âm thanh và hình ảnh. Nó lý tưởng cho các nhà phát triển vision AI, đối tác phần mềm, startup và các nhà sản xuất thiết bị gốc (OEM) xây dựng các ứng dụng và dịch vụ IVA (Phân tích Video Thông minh). Giờ đây, bạn có thể tạo các đường ống xử lý luồng tích hợp neural networks và các tác vụ xử lý phức tạp khác như tracking, mã hóa/giải mã video và kết xuất video. Các đường ống này cho phép phân tích thời gian thực trên dữ liệu video, hình ảnh và cảm biến. Hỗ trợ đa nền tảng của DeepStream mang lại cho bạn cách nhanh hơn, dễ dàng hơn để phát triển các ứng dụng và dịch vụ vision AI on-premise, ở biên và trên đám mây.

Điều kiện tiên quyết#

Trước khi bạn bắt đầu thực hiện theo hướng dẫn này:

• Truy cập tài liệu của chúng tôi, Quick Start Guide: NVIDIA Jetson with Ultralytics YOLO26 để thiết lập thiết bị NVIDIA Jetson của bạn với Ultralytics YOLO26
• Cài đặt DeepStream SDK theo phiên bản JetPack
  • Đối với JetPack 4.6.4, hãy cài đặt DeepStream 6.0.1
  • Đối với JetPack 5.1.3, hãy cài đặt DeepStream 6.3
  • Đối với JetPack 6.1, hãy cài đặt DeepStream 7.1
  • Đối với JetPack 7.1, hãy cài đặt DeepStream 9.0

Cấu hình DeepStream cho YOLO26#

Tại đây, chúng tôi đang sử dụng kho lưu trữ GitHub marcoslucianops/DeepStream-Yolo bao gồm hỗ trợ NVIDIA DeepStream SDK cho các model YOLO. Chúng tôi đánh giá cao những nỗ lực đóng góp của marcoslucianops!

1. Cài đặt Ultralytics với các phụ thuộc cần thiết

   cd ~
   pip install -U pip
   git clone https://github.com/ultralytics/ultralytics
   cd ultralytics
   pip install -e ".[export]" onnxslim

2. Clone kho lưu trữ DeepStream-Yolo

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo

3. Sao chép tệp export_yolo26.py từ thư mục DeepStream-Yolo/utils sang thư mục ultralytics

   cp ~/DeepStream-Yolo/utils/export_yolo26.py ~/ultralytics
   cd ultralytics

4. Tải xuống một model phát hiện Ultralytics YOLO26 (.pt) tùy ý từ YOLO26 project. Ở đây chúng tôi sử dụng yolo26s.pt.

   wget https://github.com/ultralytics/assets/releases/download/v8.4.0/yolo26s.pt

5. Chuyển đổi model sang ONNX

   python3 export_yolo26.py -w yolo26s.pt

--opset 12

-s SIZE
--size SIZE
-s HEIGHT WIDTH
--size HEIGHT WIDTH

-s 1280
or
-s 1280 1280

--simplify

--dynamic

--batch 4

6. Sao chép tệp model .onnx được tạo và tệp labels.txt sang thư mục DeepStream-Yolo

   cp yolo26s.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo

7. Đặt phiên bản CUDA theo phiên bản JetPack đã cài đặt

   Đối với JetPack 4.6.4:

   export CUDA_VER=10.2

   Đối với JetPack 5.1.3:

   export CUDA_VER=11.4

   Đối với JetPack 6.1:

   export CUDA_VER=12.6

8. Biên dịch thư viện

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

9. Chỉnh sửa tệp config_infer_primary_yolo26.txt theo model của bạn (đối với YOLO26s với 80 lớp)

   [property]
   ...
   onnx-file=yolo26s.onnx
   ...
   num-detected-classes=80
   ...
   parse-bbox-func-name=NvDsInferParseYolo
   ...

[property]
...
maintain-aspect-ratio=1
symmetric-padding=1
cluster-mode=4
...

10. Chỉnh sửa tệp deepstream_app_config

    ...
    [primary-gie]
    ...
    config-file=config_infer_primary_yolo26.txt

11. Bạn cũng có thể thay đổi nguồn video trong tệp deepstream_app_config. Tại đây, một tệp video mặc định được tải

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

Chạy Inference#

deepstream-app -c deepstream_app_config.txt

Hiệu chỉnh INT8#

Nếu bạn muốn sử dụng độ chính xác INT8 cho inference, bạn cần thực hiện theo các bước dưới đây:

1. Thiết lập biến môi trường OPENCV

   export OPENCV=1

2. Biên dịch thư viện

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

3. Đối với tập dữ liệu COCO, hãy tải xuống val2017, giải nén và chuyển đến thư mục DeepStream-Yolo

4. Tạo một thư mục mới cho các hình ảnh hiệu chỉnh

   mkdir calibration

5. Chạy lệnh sau để chọn ngẫu nhiên 1000 hình ảnh từ tập dữ liệu COCO để thực hiện hiệu chỉnh

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done

6. Tạo tệp calibration.txt với tất cả các hình ảnh đã chọn

   realpath calibration/*jpg > calibration.txt

7. Đặt các biến môi trường

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1

8. Cập nhật tệp config_infer_primary_yolo26.txt

   Từ

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...

   Đến

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...

Chạy Inference INT8#

Chạy cùng lệnh đó để xây dựng engine INT8 và bắt đầu inference:

deepstream-app -c deepstream_app_config.txt

Thiết lập đa luồng (MultiStream)#

Để thiết lập nhiều luồng dưới một ứng dụng DeepStream duy nhất, hãy thực hiện các thay đổi sau đối với tệp deepstream_app_config.txt:

1. Thay đổi số hàng và số cột để tạo lưới hiển thị theo số lượng luồng bạn muốn có. Ví dụ, đối với 4 luồng, chúng ta có thể thêm 2 hàng và 2 cột.

   [tiled-display]
   rows=2
   columns=2

2. Thêm một nhóm [sourceN] riêng biệt cho mỗi luồng, mỗi nhóm có uri và num-sources=1 riêng.

   [source0]
   enable=1
   type=3
   uri=file:///path/to/video1.mp4
   num-sources=1
   
   [source1]
   enable=1
   type=3
   uri=file:///path/to/video2.mp4
   num-sources=1
   
   [source2]
   enable=1
   type=3
   uri=file:///path/to/video3.mp4
   num-sources=1
   
   [source3]
   enable=1
   type=3
   uri=file:///path/to/video4.mp4
   num-sources=1

Chạy Inference Đa luồng#

Chạy cùng lệnh đó để khởi chạy tất cả các luồng trong chế độ hiển thị dạng lưới:

deepstream-app -c deepstream_app_config.txt

Kết quả Benchmark#

Các benchmarks sau đây tóm tắt cách các model YOLO11 hoạt động ở các mức độ chính xác TensorRT khác nhau với kích thước đầu vào 640x640 trên NVIDIA Jetson Orin NX 16GB. YOLO26 sử dụng cùng quy trình xuất và suy luận DeepStream được mô tả ở trên.

Biểu đồ so sánh#

Bảng so sánh chi tiết#

Lời cảm ơn#

Hướng dẫn này ban đầu được tạo bởi những người bạn của chúng tôi tại Seeed Studio, Lakshantha và Elaine.

Câu hỏi thường gặp#