Ultralytics YOLO11 TRÊN NVIDIA Jetson sử dụng DeepStream SDK và TensorRT

Đồng hồ: Cách chạy nhiều luồng với DeepStream SDK trên Jetson Nano bằng cách sử dụng Ultralytics YOLO11

Hướng dẫn toàn diện này cung cấp hướng dẫn chi tiết để triển khai Ultralytics YOLO11 trên các thiết bị NVIDIA Jetson sử dụng DeepStream SDK và TensorRT . Ở đây chúng tôi sử dụng TensorRT để tối đa hóa hiệu suất suy luận trên nền tảng Jetson.

Là gì NVIDIA Dòng sâu?

DeepStream SDK của NVIDIA là bộ công cụ phân tích luồng hoàn chỉnh dựa trên GStreamer để xử lý đa cảm biến dựa trên AI, hiểu video, âm thanh và hình ảnh. Bộ công cụ này lý tưởng cho các nhà phát triển AI về thị giác, đối tác phần mềm, công ty khởi nghiệp và OEM xây dựng các ứng dụng và dịch vụ IVA (Phân tích video thông minh). Giờ đây, bạn có thể tạo các đường ống xử lý luồng kết hợp mạng nơ-ron và các tác vụ xử lý phức tạp khác như theo dõi, mã hóa/giải mã video và kết xuất video. Các đường ống này cho phép phân tích dữ liệu video, hình ảnh và cảm biến theo thời gian thực. Hỗ trợ đa nền tảng của DeepStream mang đến cho bạn cách nhanh hơn, dễ dàng hơn để phát triển các ứng dụng và dịch vụ AI về thị giác tại chỗ, tại biên và trên đám mây.

Điều kiện tiên quyết

Trước khi bắt đầu làm theo hướng dẫn này:

• Truy cập tài liệu của chúng tôi, Hướng dẫn bắt đầu nhanh: NVIDIA Jetson với Ultralytics YOLO11 để thiết lập NVIDIA Thiết bị Jetson với Ultralytics YOLO11

• Cài đặt DeepStream SDK theo phiên bản JetPack

  • Đối với JetPack 4.6.4, hãy cài đặt DeepStream 6.0.1
  • Đối với JetPack 5.1.3, hãy cài đặt DeepStream 6.3
  • For JetPack 6.1, install DeepStream 7.1

Cấu hình DeepStream cho YOLO11

Ở đây chúng tôi sử dụng marcoslucianops/DeepStream- Kho lưu trữ GitHub Yolo bao gồm NVIDIA Hỗ trợ DeepStream SDK cho YOLO mô hình. Chúng tôi đánh giá cao những nỗ lực của marcoslucianops vì những đóng góp của ông!

1. Install Ultralytics with necessary dependencies

   cd ~
   pip install -U pip
   git clone https://github.com/ultralytics/ultralytics
   cd ultralytics
   pip install -e ".[export]" onnxslim
   

2. Clone the DeepStream-Yolo repository

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo
   

3. Copy the export_yoloV8.py file from DeepStream-Yolo/utils directory to the ultralytics thư mục

   cp ~/DeepStream-Yolo/utils/export_yoloV8.py ~/ultralytics
   cd ultralytics
   

   Ghi chú

   export_yoloV8.py works for both YOLOv8 and YOLO11 models.

4. Download Ultralytics YOLO11 detection model (.pt) of your choice from YOLO11 releases. Here we use yolo11s.pt.

   wget https://github.com/ultralytics/assets/releases/download/v8.3.0/yolo11s.pt
   

   Ghi chú

   Bạn cũng có thể sử dụng mô hình YOLO11 được đào tạo tùy chỉnh .

5. Chuyển đổi mô hình thành ONNX

   python3 export_yoloV8.py -w yolo11s.pt
   

   Truyền các đối số bên dưới vào lệnh trên

   Đối với DeepStream 6.0.1, hãy sử dụng opset 12 hoặc thấp hơn. Opset mặc định là 16.

   --opset 12
   

   Để thay đổi kích thước suy luận (mặc định: 640)

   -s SIZE
   --size SIZE
   -s HEIGHT WIDTH
   --size HEIGHT WIDTH
   

   Ví dụ cho 1280:

   -s 1280
   or
   -s 1280 1280
   

   Để đơn giản hóa ONNX mô hình (DeepStream >= 6.0)

   --simplify
   

   Để sử dụng kích thước lô động (DeepStream >= 6.1)

   --dynamic
   

   Để sử dụng batch-size tĩnh (ví dụ cho batch-size = 4)

   --batch 4
   

6. Copy the generated .onnx model file and labels.txt file to the DeepStream-Yolo thư mục

   cp yolo11s.pt.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo
   

7. Đặt CUDA phiên bản theo phiên bản JetPack đã cài đặt

   Đối với JetPack 4.6.4:

   export CUDA_VER=10.2
   

   Đối với JetPack 5.1.3:

   export CUDA_VER=11.4
   

   For Jetpack 6.1:

   export CUDA_VER=12.6
   

8. Biên soạn thư viện

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo
   

9. Chỉnh sửa config_infer_primary_yoloV8.txt file according to your model (for YOLO11s with 80 classes)

   [property]
   ...
   onnx-file=yolo11s.pt.onnx
   ...
   num-detected-classes=80
   ...
   

10. Chỉnh sửa deepstream_app_config tài liệu

    ...
    [primary-gie]
    ...
    config-file=config_infer_primary_yoloV8.txt
    

11. Bạn cũng có thể thay đổi nguồn video trong deepstream_app_config tập tin. Ở đây một tập tin video mặc định được tải

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4
    

Chạy suy luận

deepstream-app -c deepstream_app_config.txt

Hiệu chuẩn INT8

Nếu bạn muốn sử dụng độ chính xác INT8 để suy luận, bạn cần làm theo các bước dưới đây

1. Bộ OPENCV biến môi trường

   export OPENCV=1
   

2. Biên soạn thư viện

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo
   

3. Đối với tập dữ liệu COCO, hãy tải xuống val2017, trích xuất và di chuyển đến DeepStream-Yolo thư mục

4. Tạo một thư mục mới cho hình ảnh hiệu chuẩn

   mkdir calibration
   

5. Chạy lệnh sau để chọn 1000 hình ảnh ngẫu nhiên từ tập dữ liệu COCO để chạy hiệu chuẩn

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do \
       cp ${jpg} calibration/; \
   done
   

   Ghi chú

   NVIDIA khuyến nghị ít nhất 500 hình ảnh để có độ chính xác tốt. Trong ví dụ này, 1000 hình ảnh được chọn để có độ chính xác tốt hơn (nhiều hình ảnh hơn = độ chính xác hơn). Bạn có thể đặt từ head -1000 . Ví dụ, đối với 2000 hình ảnh, head -2000 . Quá trình này có thể mất nhiều thời gian.

6. Tạo ra calibration.txt tập tin có tất cả các hình ảnh đã chọn

   realpath calibration/*jpg > calibration.txt
   

7. Thiết lập biến môi trường

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1
   

   Ghi chú

   Giá trị INT8_CALIB_BATCH_SIZE cao hơn sẽ mang lại độ chính xác cao hơn và tốc độ hiệu chuẩn nhanh hơn. Thiết lập theo ý bạn GPU ký ức.

8. Cập nhật config_infer_primary_yoloV8.txt tài liệu

   Từ

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...
   

   ĐẾN

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...
   

Chạy suy luận

deepstream-app -c deepstream_app_config.txt

Thiết lập MultiStream

Để thiết lập nhiều luồng trong một ứng dụng deepstream duy nhất, bạn có thể thực hiện các thay đổi sau đối với deepstream_app_config.txt tài liệu

1. Thay đổi các hàng và cột để xây dựng một lưới hiển thị theo số luồng bạn muốn có. Ví dụ, đối với 4 luồng, chúng ta có thể thêm 2 hàng và 2 cột.

   [tiled-display]
   rows=2
   columns=2
   

2. Bộ num-sources=4 và thêm uri của tất cả 4 luồng

   [source0]
   enable=1
   type=3
   uri=<path_to_video>
   uri=<path_to_video>
   uri=<path_to_video>
   uri=<path_to_video>
   num-sources=4
   

Chạy suy luận

deepstream-app -c deepstream_app_config.txt

Kết quả chuẩn mực

The following benchmarks summarizes how YOLO11 models perform at different TensorRT precision levels with an input size of 640x640 on NVIDIA Jetson Orin NX 16GB.

Biểu đồ so sánh

Bảng so sánh chi tiết

Lời cảm ơn

Hướng dẫn này ban đầu được tạo ra bởi những người bạn của chúng tôi tại Seeed Studio là Lakshantha và Elaine.

CÂU HỎI THƯỜNG GẶP

Làm thế nào để tôi thiết lập Ultralytics YOLO11 trên một NVIDIA Thiết bị Jetson?

Để thiết lập Ultralytics YOLO11 trên thiết bị NVIDIA Jetson , trước tiên bạn cần cài đặt DeepStream SDK tương thích với phiên bản JetPack của bạn. Làm theo hướng dẫn từng bước trong Hướng dẫn bắt đầu nhanh của chúng tôi để cấu hình NVIDIA Jetson cho YOLO11 triển khai.

Lợi ích của việc sử dụng là gì? TensorRT với YOLO11 TRÊN NVIDIA Jetson à?

Sử dụng TensorRT với YOLO11 tối ưu hóa mô hình để suy luận, giảm đáng kể độ trễ và cải thiện thông lượng trên NVIDIA Thiết bị Jetson. TensorRT cung cấp suy luận học sâu hiệu suất cao, độ trễ thấp thông qua hợp nhất lớp, hiệu chuẩn độ chính xác và tự động điều chỉnh hạt nhân. Điều này dẫn đến thực thi nhanh hơn và hiệu quả hơn, đặc biệt hữu ích cho các ứng dụng thời gian thực như phân tích video và máy tự động.

Tôi có thể chạy không? Ultralytics YOLO11 với DeepStream SDK trên nhiều NVIDIA Phần cứng Jetson?

Vâng, hướng dẫn triển khai Ultralytics YOLO11 với DeepStream SDK và TensorRT tương thích trên toàn bộ NVIDIA Dòng sản phẩm Jetson. Bao gồm các thiết bị như Jetson Orin NX 16GB với JetPack 5.1.3 và Jetson Nano 4GB với JetPack 4.6.4 . Tham khảo phần Cấu hình DeepStream cho YOLO11 để biết các bước chi tiết.

Làm thế nào tôi có thể chuyển đổi một YOLO11 mô hình để ONNX dành cho DeepStream?

Để chuyển đổi một YOLO11 mô hình để ONNX định dạng để triển khai với DeepStream, sử dụng utils/export_yoloV8.py kịch bản từ DeepStream- Yolo kho lưu trữ.

Sau đây là một lệnh ví dụ:

python3 utils/export_yoloV8.py -w yolo11s.pt --opset 12 --simplify

Để biết thêm chi tiết về chuyển đổi mô hình, hãy xem phần xuất mô hình của chúng tôi.

Tiêu chuẩn hiệu suất cho là gì? YOLO TRÊN NVIDIA Jetson Orin NX là gì?

The performance of YOLO11 models on NVIDIA Jetson Orin NX 16GB varies based on TensorRT precision levels. For example, YOLO11s models achieve:

• FP32 Precision: 14.6 ms/im, 68.5 FPS
• Độ chính xác FP16 : 7,94 ms/im, 126 FPS
• INT8 Precision: 5.95 ms/im, 168 FPS

Những chuẩn mực này nhấn mạnh hiệu quả và khả năng sử dụng TensorRT -được tối ưu hóa YOLO11 mô hình trên NVIDIA Phần cứng Jetson. Để biết thêm chi tiết, hãy xem phần Kết quả chuẩn của chúng tôi.

📅 Được tạo ra cách đây 6 tháng ✏️ Đã cập nhật cách đây 1 ngày

Bình luận