Ultralytics YOLO26 trên NVIDIA Jetson với DeepStream SDK và TensorRT#

Hướng dẫn toàn diện này trình bày chi tiết cách triển khai Ultralytics YOLO26 trên thiết bị NVIDIA Jetson bằng DeepStream SDK và TensorRT. Trong hướng dẫn này, chúng ta sử dụng TensorRT để tối đa hóa hiệu năng suy luận trên nền tảng Jetson.

Hướng dẫn này trình bày cách thực hiện cấu hình DeepStream cho YOLO26, hiệu chuẩn INT8, thiết lập đa luồng và kết quả benchmark.

NVIDIA DeepStream là gì?#

DeepStream SDK của NVIDIA là bộ công cụ phân tích luồng hoàn chỉnh dựa trên GStreamer, phục vụ xử lý đa cảm biến, video, âm thanh và hiểu hình ảnh bằng AI. Đây là lựa chọn lý tưởng cho các nhà phát triển vision AI, đối tác phần mềm, startup và OEM xây dựng ứng dụng và dịch vụ phân tích video thông minh (IVA). Giờ đây, bạn có thể tạo các pipeline xử lý luồng tích hợp mạng nơ-ron cùng những tác vụ xử lý phức tạp khác như tracking, mã hóa/giải mã video và kết xuất video. Các pipeline này hỗ trợ phân tích dữ liệu video, hình ảnh và cảm biến theo thời gian thực. Khả năng hỗ trợ đa nền tảng của DeepStream giúp bạn phát triển ứng dụng và dịch vụ vision AI nhanh hơn, dễ dàng hơn tại chỗ, ở biên và trên đám mây.

Điều kiện tiên quyết#

Trước khi bắt đầu làm theo hướng dẫn này:

• Truy cập tài liệu của chúng tôi, Hướng dẫn bắt đầu nhanh: NVIDIA Jetson với Ultralytics YOLO26, để thiết lập thiết bị NVIDIA Jetson với Ultralytics YOLO26
• Cài đặt DeepStream SDK tương thích với phiên bản JetPack
  • Với JetPack 4.6.4, hãy cài đặt DeepStream 6.0.1
  • Với JetPack 5.1.3, hãy cài đặt DeepStream 6.3
  • Với JetPack 6.1, hãy cài đặt DeepStream 7.1
  • Với JetPack 7.1, hãy cài đặt DeepStream 9.0

Cấu hình DeepStream cho YOLO26#

Ở đây, chúng tôi sử dụng repository GitHub marcoslucianops/DeepStream-Yolo, repository này hỗ trợ NVIDIA DeepStream SDK cho các model YOLO. Chúng tôi trân trọng những đóng góp của marcoslucianops!

1. Cài đặt Ultralytics cùng các dependency cần thiết

   pip install ultralytics onnx onnxslim

2. Clone repository DeepStream-Yolo

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo

3. Tải model phát hiện Ultralytics YOLO26 (.pt) bạn chọn từ dự án YOLO26. Ở đây, chúng tôi sử dụng yolo26s.pt.

   wget https://github.com/ultralytics/assets/releases/download/v8.4.0/yolo26s.pt

4. Chuyển đổi model sang ONNX và ghi file labels.txt để DeepStream đọc tên các class

   from ultralytics import YOLO
   
   model = YOLO("yolo26s.pt")
   model.export(format="onnx", nms=False, agnostic_nms=True)  # creates 'yolo26s.onnx'
   with open("labels.txt", "w") as f:
       f.write("\n".join(model.names.values()))

5. Sao chép file model .onnx được tạo và file labels.txt vào thư mục DeepStream-Yolo

   cp yolo26s.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo

6. Đặt phiên bản CUDA phù hợp với phiên bản JetPack đã cài đặt

   Với JetPack 4.6.4:

   export CUDA_VER=10.2

   Với JetPack 5.1.3:

   export CUDA_VER=11.4

   Với JetPack 6.1:

   export CUDA_VER=12.6

   Với JetPack 7.1:

   export CUDA_VER=13.0

7. Biên dịch thư viện

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

8. Chỉnh sửa file config_infer_primary_yolo26.txt theo model của bạn (đối với YOLO26s có 80 class)

   [property]
   ...
   onnx-file=yolo26s.onnx
   ...
   num-detected-classes=80
   ...
   parse-bbox-func-name=NvDsInferParseYolo
   ...

[property]
...
maintain-aspect-ratio=1
symmetric-padding=1
cluster-mode=4
...

9. Chỉnh sửa file deepstream_app_config

   ...
   [primary-gie]
   ...
   config-file=config_infer_primary_yolo26.txt

10. Bạn cũng có thể thay đổi nguồn video trong file deepstream_app_config. Ở đây, một file video mặc định được tải.

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

Chạy suy luận#

deepstream-app -c deepstream_app_config.txt

Hiệu chuẩn INT8#

Nếu muốn sử dụng độ chính xác INT8 để suy luận, bạn cần làm theo các bước sau:

1. Đặt biến môi trường OPENCV

   export OPENCV=1

2. Biên dịch thư viện

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

3. Đối với bộ dữ liệu COCO, hãy tải val2017, giải nén và chuyển vào thư mục DeepStream-Yolo

4. Tạo thư mục mới để chứa ảnh hiệu chuẩn

   mkdir calibration

5. Chạy lệnh sau để chọn ngẫu nhiên 1000 ảnh từ bộ dữ liệu COCO phục vụ hiệu chuẩn

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done

6. Tạo file calibration.txt chứa tất cả ảnh đã chọn

   realpath calibration/*jpg > calibration.txt

7. Thiết lập các biến môi trường

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1

8. Cập nhật file config_infer_primary_yolo26.txt

   Từ

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...

   Sang

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...

Chạy suy luận INT8#

Chạy cùng lệnh để xây dựng engine INT8 và bắt đầu suy luận:

deepstream-app -c deepstream_app_config.txt

Thiết lập MultiStream#

Để thiết lập nhiều luồng trong cùng một ứng dụng DeepStream, hãy thực hiện các thay đổi sau trong file deepstream_app_config.txt:

1. Thay đổi số hàng và cột để tạo bố cục lưới phù hợp với số luồng bạn muốn sử dụng. Ví dụ, với 4 luồng, có thể thêm 2 hàng và 2 cột.

   [tiled-display]
   rows=2
   columns=2

2. Thêm một nhóm [sourceN] riêng cho mỗi luồng, mỗi nhóm có uri và num-sources=1 riêng.

   [source0]
   enable=1
   type=3
   uri=file:///path/to/video1.mp4
   num-sources=1
   
   [source1]
   enable=1
   type=3
   uri=file:///path/to/video2.mp4
   num-sources=1
   
   [source2]
   enable=1
   type=3
   uri=file:///path/to/video3.mp4
   num-sources=1
   
   [source3]
   enable=1
   type=3
   uri=file:///path/to/video4.mp4
   num-sources=1

Chạy suy luận đa luồng#

Chạy cùng lệnh để khởi chạy tất cả luồng trong màn hình dạng lưới:

deepstream-app -c deepstream_app_config.txt

Kết quả benchmark#

Các benchmark sau đây tóm tắt hiệu năng của các model YOLO11 ở những mức độ chính xác TensorRT khác nhau, với kích thước đầu vào 640x640 trên NVIDIA Jetson Orin NX 16GB. YOLO26 sử dụng cùng quy trình xuất model và suy luận DeepStream đã mô tả ở trên.

Biểu đồ so sánh#

Bảng so sánh chi tiết#

Lời cảm ơn#

Hướng dẫn này ban đầu được xây dựng bởi những người bạn của chúng tôi tại Seeed Studio, Lakshantha và Elaine.

Câu hỏi thường gặp#