Ultralytics YOLO26 trên NVIDIA Jetson sử dụng DeepStream SDK và TensorRT#

Hướng dẫn toàn diện này cung cấp quy trình chi tiết để triển khai Ultralytics YOLO26 trên các thiết bị NVIDIA Jetson bằng DeepStream SDK và TensorRT. Tại đây, chúng ta sử dụng TensorRT để tối đa hóa hiệu năng inference trên nền tảng Jetson.

Hướng dẫn này trình bày cấu hình DeepStream cho YOLO26, hiệu chuẩn INT8, thiết lập đa luồng và kết quả benchmark.

NVIDIA DeepStream là gì?#

DeepStream SDK của NVIDIA là bộ công cụ phân tích streaming hoàn chỉnh dựa trên GStreamer dành cho xử lý đa cảm biến, video, âm thanh và nhận hiểu hình ảnh bằng AI. Đây là lựa chọn lý tưởng cho các nhà phát triển vision AI, đối tác phần mềm, startup và OEM xây dựng các ứng dụng và dịch vụ IVA (phân tích video thông minh). Bạn có thể tạo các pipeline xử lý stream tích hợp mạng neural và các tác vụ xử lý phức tạp khác như tracking, mã hóa/giải mã video và render video. Các pipeline này cho phép phân tích dữ liệu video, hình ảnh và cảm biến theo thời gian thực. Khả năng hỗ trợ đa nền tảng của DeepStream mang đến cách thức nhanh hơn, đơn giản hơn để phát triển các ứng dụng và dịch vụ vision AI tại chỗ, ở edge và trên cloud.

Điều kiện tiên quyết#

Trước khi bắt đầu làm theo hướng dẫn này:

• Truy cập tài liệu của chúng tôi, Hướng dẫn bắt đầu nhanh: NVIDIA Jetson với Ultralytics YOLO26, để thiết lập thiết bị NVIDIA Jetson với Ultralytics YOLO26
• Cài đặt DeepStream SDK theo phiên bản JetPack
  • Đối với JetPack 4.6.4, cài đặt DeepStream 6.0.1
  • Đối với JetPack 5.1.3, cài đặt DeepStream 6.3
  • Đối với JetPack 6.1, cài đặt DeepStream 7.1
  • Đối với JetPack 7.1, cài đặt DeepStream 9.0

Cấu hình DeepStream cho YOLO26#

Tại đây, chúng ta sử dụng repository GitHub marcoslucianops/DeepStream-Yolo, trong đó có hỗ trợ NVIDIA DeepStream SDK cho các model YOLO. Chúng tôi trân trọng những nỗ lực và đóng góp của marcoslucianops!

1. Cài đặt Ultralytics cùng các dependency cần thiết

   pip install ultralytics onnx onnxslim

2. Clone repository DeepStream-Yolo

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo

3. Tải model phát hiện Ultralytics YOLO26 (.pt) tùy chọn từ dự án YOLO26. Ở đây, chúng ta sử dụng yolo26s.pt.

   wget https://github.com/ultralytics/assets/releases/download/v8.4.0/yolo26s.pt

4. Chuyển đổi model sang ONNX và tạo tệp labels.txt để DeepStream đọc tên các lớp từ đó

   from ultralytics import YOLO
   
   model = YOLO("yolo26s.pt")
   model.export(format="onnx", nms=False, agnostic_nms=True)  # creates 'yolo26s.onnx'
   with open("labels.txt", "w") as f:
       f.write("\n".join(model.names.values()))

5. Sao chép file model .onnx đã tạo và file labels.txt vào thư mục DeepStream-Yolo

   cp yolo26s.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo

6. Đặt phiên bản CUDA theo phiên bản JetPack đã cài đặt

   Đối với JetPack 4.6.4:

   export CUDA_VER=10.2

   Đối với JetPack 5.1.3:

   export CUDA_VER=11.4

   Đối với JetPack 6.1:

   export CUDA_VER=12.6

   Đối với JetPack 7.1:

   export CUDA_VER=13.0

7. Biên dịch library

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

8. Chỉnh sửa file config_infer_primary_yolo26.txt theo model của bạn (đối với YOLO26s có 80 class)

   [property]
   ...
   onnx-file=yolo26s.onnx
   ...
   num-detected-classes=80
   ...
   parse-bbox-func-name=NvDsInferParseYolo
   ...

[property]
...
maintain-aspect-ratio=1
symmetric-padding=1
cluster-mode=4
...

9. Chỉnh sửa file deepstream_app_config

   ...
   [primary-gie]
   ...
   config-file=config_infer_primary_yolo26.txt

10. Bạn cũng có thể thay đổi nguồn video trong file deepstream_app_config. Ở đây, một file video mặc định được tải

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

Chạy inference#

deepstream-app -c deepstream_app_config.txt

Hiệu chuẩn INT8#

Nếu muốn sử dụng độ chính xác INT8 cho inference, bạn cần thực hiện các bước dưới đây:

1. Đặt biến môi trường OPENCV

   export OPENCV=1

2. Biên dịch library

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

3. Đối với dataset COCO, tải val2017, giải nén và di chuyển vào thư mục DeepStream-Yolo

4. Tạo thư mục mới cho các ảnh hiệu chuẩn

   mkdir calibration

5. Chạy lệnh sau để chọn ngẫu nhiên 1000 ảnh từ dataset COCO nhằm thực hiện hiệu chuẩn

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done

6. Tạo file calibration.txt chứa tất cả các ảnh đã chọn

   realpath calibration/*jpg > calibration.txt

7. Đặt các biến môi trường

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1

8. Cập nhật file config_infer_primary_yolo26.txt

   Từ

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...

   Thành

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...

Chạy inference INT8#

Chạy cùng lệnh để xây dựng engine INT8 và bắt đầu inference:

deepstream-app -c deepstream_app_config.txt

Thiết lập MultiStream#

Để thiết lập nhiều stream trong một ứng dụng DeepStream duy nhất, hãy thực hiện các thay đổi sau đối với file deepstream_app_config.txt:

1. Thay đổi số hàng và cột để tạo màn hình dạng lưới theo số stream bạn muốn sử dụng. Ví dụ, với 4 stream, chúng ta có thể thêm 2 hàng và 2 cột.

   [tiled-display]
   rows=2
   columns=2

2. Thêm một group [sourceN] riêng cho mỗi stream, mỗi group có uri và num-sources=1 riêng.

   [source0]
   enable=1
   type=3
   uri=file:///path/to/video1.mp4
   num-sources=1
   
   [source1]
   enable=1
   type=3
   uri=file:///path/to/video2.mp4
   num-sources=1
   
   [source2]
   enable=1
   type=3
   uri=file:///path/to/video3.mp4
   num-sources=1
   
   [source3]
   enable=1
   type=3
   uri=file:///path/to/video4.mp4
   num-sources=1

Chạy inference Multi-Stream#

Chạy cùng lệnh để khởi chạy tất cả stream trên màn hình dạng ô:

deepstream-app -c deepstream_app_config.txt

Kết quả benchmark#

Các benchmark sau đây tóm tắt hiệu năng của các model YOLO11 ở những mức độ chính xác TensorRT khác nhau với kích thước đầu vào 640x640 trên NVIDIA Jetson Orin NX 16GB. YOLO26 sử dụng cùng quy trình export và inference DeepStream được mô tả ở trên.

Biểu đồ so sánh#

Bảng so sánh chi tiết#

Lời cảm ơn#

Hướng dẫn này ban đầu được tạo bởi những người bạn của chúng tôi tại Seeed Studio, Lakshantha và Elaine.

FAQ#