Bỏ để qua phần nội dung

TensorRT Xuất khẩu cho YOLOv8 Mô hình

Deploying computer vision models in high-performance environments can require a format that maximizes speed and efficiency. This is especially true when you are deploying your model on NVIDIA GPUs.

By using the TensorRT export format, you can enhance your Ultralytics YOLOv8 models for swift and efficient inference on NVIDIA hardware. This guide will give you easy-to-follow steps for the conversion process and help you make the most of NVIDIA's advanced technology in your deep learning projects.

TensorRT

TensorRT Tổng quan

TensorRT, developed by NVIDIA, is an advanced software development kit (SDK) designed for high-speed deep learning inference. It's well-suited for real-time applications like object detection.

Bộ công cụ này tối ưu hóa các mô hình deep learning cho NVIDIA GPU và kết quả là hoạt động nhanh hơn và hiệu quả hơn. TensorRT Mô hình trải qua TensorRT tối ưu hóa, bao gồm các kỹ thuật như hợp nhất lớp, hiệu chuẩn chính xác (INT8 và FP16), động tensor Quản lý bộ nhớ và tự động điều chỉnh kernel. Chuyển đổi các mô hình deep learning thành TensorRT Định dạng cho phép các nhà phát triển nhận ra tiềm năng của NVIDIA GPU đầy đủ.

TensorRT is known for its compatibility with various model formats, including TensorFlow, PyTorch, and ONNX, providing developers with a flexible solution for integrating and optimizing models from different frameworks. This versatility enables efficient model deployment across diverse hardware and software environments.

Các tính năng chính của TensorRT Mô hình

TensorRT Các mô hình cung cấp một loạt các tính năng chính góp phần vào hiệu quả và hiệu quả của chúng trong suy luận deep learning tốc độ cao:

  • Hiệu chuẩn chính xác: TensorRT Hỗ trợ hiệu chuẩn chính xác, cho phép các mô hình được tinh chỉnh cho các yêu cầu độ chính xác cụ thể. Điều này bao gồm hỗ trợ giảm các định dạng chính xác như INT8 và FP16, có thể tăng thêm tốc độ suy luận trong khi vẫn duy trì mức độ chính xác chấp nhận được.

  • Layer Fusion: The TensorRT optimization process includes layer fusion, where multiple layers of a neural network are combined into a single operation. This reduces computational overhead and improves inference speed by minimizing memory access and computation.

TensorRT Lớp Fusion

  • Năng động Tensor Quản lý bộ nhớ: TensorRT Quản lý hiệu quả tensor Sử dụng bộ nhớ trong quá trình suy luận, giảm chi phí bộ nhớ và tối ưu hóa phân bổ bộ nhớ. Điều này dẫn đến hiệu quả hơn GPU sử dụng bộ nhớ.

  • Điều chỉnh hạt nhân tự động: TensorRT Áp dụng điều chỉnh hạt nhân tự động để chọn tối ưu nhất GPU hạt nhân cho mỗi lớp của mô hình. Cách tiếp cận thích ứng này đảm bảo rằng mô hình tận dụng tối đa lợi thế của GPUsức mạnh tính toán của nó.

Tùy chọn triển khai trong TensorRT

Trước khi chúng ta xem xét mã để xuất YOLOv8 mô hình cho TensorRT định dạng, hãy hiểu ở đâu TensorRT Mô hình thường được sử dụng.

TensorRT Cung cấp một số tùy chọn triển khai và mỗi tùy chọn cân bằng giữa tính dễ tích hợp, tối ưu hóa hiệu suất và tính linh hoạt khác nhau:

  • Deploying within TensorFlow: This method integrates TensorRT into TensorFlow, allowing optimized models to run in a familiar TensorFlow environment. It's useful for models with a mix of supported and unsupported layers, as TF-TRT can handle these efficiently.

TensorRT Tổng quan

  • Độc lập TensorRT API thời gian chạy: Cung cấp khả năng kiểm soát chi tiết, lý tưởng cho các ứng dụng quan trọng về hiệu suất. Nó phức tạp hơn nhưng cho phép triển khai tùy chỉnh các toán tử không được hỗ trợ.

  • NVIDIA Triton Inference Server: Một tùy chọn hỗ trợ các mô hình từ các framework khác nhau. Đặc biệt thích hợp cho suy luận đám mây hoặc biên, nó cung cấp các tính năng như thực thi mô hình đồng thời và phân tích mô hình.

Xuất khẩu YOLOv8 Mô hình để TensorRT

Bạn có thể cải thiện hiệu quả thực thi và tối ưu hóa hiệu suất bằng cách chuyển đổi YOLOv8 mô hình để TensorRT định dạng.

Cài đặt

Để cài đặt gói yêu cầu, hãy chạy:

Cài đặt

# Install the required package for YOLOv8
pip install ultralytics

Để biết hướng dẫn chi tiết và các phương pháp hay nhất liên quan đến quá trình cài đặt, hãy kiểm tra YOLOv8 Hướng dẫn cài đặt. Trong khi cài đặt các gói cần thiết cho YOLOv8, nếu bạn gặp bất kỳ khó khăn nào, hãy tham khảo hướng dẫn Các vấn đề thường gặp của chúng tôi để biết các giải pháp và mẹo.

Sử dụng

Trước khi đi sâu vào hướng dẫn sử dụng, hãy chắc chắn kiểm tra phạm vi của YOLOv8 Mô hình được cung cấp bởi Ultralytics. Điều này sẽ giúp bạn chọn mô hình phù hợp nhất cho yêu cầu dự án của bạn.

Sử dụng

from ultralytics import YOLO

# Load the YOLOv8 model
model = YOLO("yolov8n.pt")

# Export the model to TensorRT format
model.export(format="engine")  # creates 'yolov8n.engine'

# Load the exported TensorRT model
tensorrt_model = YOLO("yolov8n.engine")

# Run inference
results = tensorrt_model("https://ultralytics.com/images/bus.jpg")
# Export a YOLOv8n PyTorch model to TensorRT format
yolo export model=yolov8n.pt format=engine  # creates 'yolov8n.engine''

# Run inference with the exported model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

Để biết thêm chi tiết về quy trình xuất, hãy truy cập Ultralytics trang tài liệu về xuất khẩu.

Xuất khẩu TensorRT với INT8 Quantization

Exporting Ultralytics YOLO models using TensorRT with INT8 precision executes post-training quantization (PTQ). TensorRT uses calibration for PTQ, which measures the distribution of activations within each activation tensor as the YOLO model processes inference on representative input data, and then uses that distribution to estimate scale values for each tensor. Each activation tensor that is a candidate for quantization has an associated scale that is deduced by a calibration process.

Khi xử lý các mạng lượng tử hóa ngầm TensorRT sử dụng INT8 cơ hội để tối ưu hóa thời gian thực thi lớp. Nếu một lớp chạy nhanh hơn trong INT8 và đã gán thang đo lượng tử hóa trên đầu vào và đầu ra dữ liệu của nó, thì một hạt nhân có độ chính xác INT8 được gán cho lớp đó, nếu không TensorRT chọn độ chính xác của FP32 hoặc FP16 cho hạt nhân dựa trên bất kỳ kết quả nào dẫn đến thời gian thực thi nhanh hơn cho lớp đó.

Mẹo

Điều quan trọng là phải đảm bảo rằng cùng một thiết bị sẽ sử dụng TensorRT trọng lượng mô hình để triển khai được sử dụng để xuất với độ chính xác INT8, vì kết quả hiệu chuẩn có thể khác nhau giữa các thiết bị.

Cấu hình INT8 Export

Các đối số được cung cấp khi sử dụng xuất khẩu cho một Ultralytics YOLO Mô hình sẽ Rất nhiều ảnh hưởng đến hiệu suất của mô hình xuất khẩu. Chúng cũng sẽ cần được chọn dựa trên tài nguyên thiết bị có sẵn, tuy nhiên các đối số mặc định nên Làm việc cho hầu hết Ampe (hoặc mới hơn) NVIDIA GPU rời. Thuật toán hiệu chuẩn được sử dụng là "ENTROPY_CALIBRATION_2" Và bạn có thể đọc thêm chi tiết về các tùy chọn có sẵn trong TensorRT Hướng dẫn dành cho nhà phát triển. Ultralytics Các xét nghiệm cho thấy "ENTROPY_CALIBRATION_2" là sự lựa chọn tốt nhất và xuất khẩu được cố định để sử dụng thuật toán này.

  • workspace : Kiểm soát kích thước (tính bằng GiB) của phân bổ bộ nhớ thiết bị trong khi chuyển đổi trọng số mô hình.

    • Điều chỉnh workspace Giá trị theo nhu cầu hiệu chuẩn và tính sẵn có của tài nguyên. Trong khi lớn hơn workspace may increase calibration time, it allows TensorRT to explore a wider range of optimization tactics, potentially enhancing model performance and accuracy. Conversely, a smaller workspace có thể làm giảm thời gian hiệu chuẩn nhưng có thể hạn chế các chiến lược tối ưu hóa, ảnh hưởng đến chất lượng của mô hình lượng tử hóa.

    • Mặc định là workspace=4 (GiB), giá trị này có thể cần phải được tăng lên nếu hiệu chuẩn gặp sự cố (thoát mà không có cảnh báo).

    • TensorRT sẽ báo cáo UNSUPPORTED_STATE trong quá trình xuất nếu giá trị cho workspace lớn hơn bộ nhớ có sẵn cho thiết bị, có nghĩa là giá trị cho workspace nên hạ xuống.

    • Nếu workspace được đặt thành giá trị tối đa và hiệu chuẩn không thành công/sự cố, hãy xem xét giảm các giá trị cho imgszbatch để giảm yêu cầu bộ nhớ.

    • Hãy nhớ rằng hiệu chuẩn cho INT8 là cụ thể cho từng thiết bị, vay mượn một "cao cấp" GPU Để hiệu chuẩn, có thể dẫn đến hiệu suất kém khi suy luận được chạy trên một thiết bị khác.

  • batch : Kích thước lô tối đa sẽ được sử dụng để suy luận. Trong quá trình suy luận, các lô nhỏ hơn có thể được sử dụng, nhưng suy luận sẽ không chấp nhận các lô lớn hơn những gì được chỉ định.

Ghi

Trong quá trình hiệu chuẩn, hai lần batch Kích thước cung cấp sẽ được sử dụng. Sử dụng các lô nhỏ có thể dẫn đến tỷ lệ không chính xác trong quá trình hiệu chuẩn. Điều này là do quá trình điều chỉnh dựa trên dữ liệu mà nó nhìn thấy. Các lô nhỏ có thể không nắm bắt được đầy đủ các giá trị, dẫn đến các vấn đề với hiệu chuẩn cuối cùng, do đó, batch size is doubled automatically. If no batch size is specified batch=1, hiệu chuẩn sẽ được chạy tại batch=1 * 2 để giảm lỗi thay đổi quy mô hiệu chuẩn.

Thử nghiệm bởi NVIDIA khiến họ khuyên bạn nên sử dụng ít nhất 500 hình ảnh hiệu chuẩn đại diện cho dữ liệu cho mô hình của bạn, với hiệu chuẩn lượng tử hóa INT8. Đây là một hướng dẫn và không phải là một cứng yêu cầu, và Bạn sẽ cần phải thử nghiệm với những gì được yêu cầu để thực hiện tốt cho tập dữ liệu của bạn. Vì dữ liệu hiệu chuẩn là cần thiết để hiệu chuẩn INT8 với TensorRT, hãy chắc chắn sử dụng data Lập luận khi int8=True cho TensorRT và sử dụng data="my_dataset.yaml", sẽ sử dụng hình ảnh từ Xác nhận để hiệu chỉnh với. Khi không có giá trị nào được truyền cho data với xuất khẩu sang TensorRT với lượng tử hóa INT8, mặc định sẽ là sử dụng một trong các Bộ dữ liệu ví dụ "nhỏ" dựa trên tác vụ mô hình thay vì ném lỗi.

Ví dụ

from ultralytics import YOLO

model = YOLO("yolov8n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    int8=True,
    data="coco.yaml",  # (4)!
)

# Load the exported TensorRT INT8 model
model = YOLO("yolov8n.engine", task="detect")

# Run inference
result = model.predict("https://ultralytics.com/images/bus.jpg")
  1. Xuất với trục động, điều này sẽ được bật theo mặc định khi xuất với int8=True ngay cả khi không được thiết lập rõ ràng. Xem Xuất đối số để biết thêm thông tin.
  2. Đặt kích thước lô tối đa là 8 cho kiểu máy đã xuất, hiệu chỉnh bằng batch = 2 * 8 để tránh lỗi chia tỷ lệ trong quá trình hiệu chuẩn.
  3. Phân bổ 4 GiB bộ nhớ thay vì phân bổ toàn bộ thiết bị cho quá trình chuyển đổi.
  4. Sử dụng bộ dữ liệu COCO để hiệu chuẩn, cụ thể là hình ảnh được sử dụng để xác thực (tổng cộng 5.000).
# Export a YOLOv8n PyTorch model to TensorRT format with INT8 quantization
yolo export model=yolov8n.pt format=engine batch=8 workspace=4 int8=True data=coco.yaml  # creates 'yolov8n.engine''

# Run inference with the exported TensorRT quantized model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'
Bộ nhớ cache hiệu chuẩn

TensorRT sẽ tạo ra hiệu chuẩn .cache có thể được sử dụng lại để tăng tốc độ xuất trọng lượng mô hình trong tương lai bằng cách sử dụng cùng một dữ liệu, nhưng điều này có thể dẫn đến hiệu chuẩn kém khi dữ liệu khác nhau rất nhiều hoặc nếu batch Giá trị được thay đổi mạnh mẽ. Trong những trường hợp này, hiện tại .cache nên được đổi tên và chuyển sang một thư mục khác hoặc bị xóa hoàn toàn.

Ưu điểm của việc sử dụng YOLO với TensorRT INT8

  • Giảm kích thước mô hình: Lượng tử hóa từ FP32 đến INT8 có thể làm giảm kích thước mô hình xuống 4x (trên đĩa hoặc trong bộ nhớ), dẫn đến thời gian tải xuống nhanh hơn. yêu cầu lưu trữ thấp hơn và giảm dung lượng bộ nhớ khi triển khai mô hình.

  • Tiêu thụ điện năng thấp hơn: Giảm hoạt động chính xác cho xuất INT8 YOLO các mô hình có thể tiêu thụ ít năng lượng hơn so với các mẫu FP32, đặc biệt là đối với các thiết bị chạy bằng pin.

  • Cải thiện tốc độ suy luận: TensorRT tối ưu hóa mô hình cho phần cứng mục tiêu, có khả năng dẫn đến tốc độ suy luận nhanh hơn trên GPU, thiết bị nhúng và bộ tăng tốc.

Lưu ý về tốc độ suy luận

Một vài cuộc gọi suy luận đầu tiên với một mô hình được xuất sang TensorRT INT8 có thể được dự kiến sẽ có thời gian tiền xử lý, suy luận và / hoặc xử lý hậu kỳ lâu hơn bình thường. Điều này cũng có thể xảy ra khi thay đổi imgsz trong quá trình suy luận, đặc biệt là khi imgsz không giống như những gì đã được chỉ định trong quá trình xuất khẩu (xuất khẩu imgsz được đặt là TensorRT hồ sơ "tối ưu").

Hạn chế của việc sử dụng YOLO với TensorRT INT8

  • Giảm số liệu đánh giá: Sử dụng độ chính xác thấp hơn sẽ có nghĩa là mAP, Precision, Recall hoặc bất kỳ Các chỉ số khác được sử dụng để đánh giá hiệu suất mô hình có khả năng sẽ có phần tồi tệ hơn. Xem Phần kết quả hoạt động để so sánh sự khác biệt trong mAP50mAP50-95 khi xuất với INT8 trên mẫu nhỏ của các thiết bị khác nhau.

  • Tăng thời gian phát triển: Việc tìm kiếm các cài đặt "tối ưu" để hiệu chuẩn INT8 cho tập dữ liệu và thiết bị có thể mất một lượng thử nghiệm đáng kể.

  • Phụ thuộc phần cứng: Hiệu chuẩn và tăng hiệu suất có thể phụ thuộc nhiều vào phần cứng và trọng lượng mô hình ít chuyển nhượng hơn.

Ultralytics YOLO TensorRT Hiệu suất xuất khẩu

NVIDIA A100

Hiệu năng

Đã thử nghiệm với Ubuntu 22.04.3 LTS, python 3.10.12, ultralytics==8.2.4, tensorrt==8.6.1.post1

Xem Tài liệu phát hiện để biết các ví dụ sử dụng với các mô hình này được đào tạo về COCO, bao gồm 80 lớp được đào tạo trước.

Ghi

Thời gian suy luận được hiển thị cho mean, min (nhanh nhất), và max (chậm nhất) cho mỗi bài kiểm tra sử dụng trọng lượng được đào tạo trước yolov8n.engine

Chính xác Xét nghiệm Eval trung bình
(Cô)
tối thiểu | Max
(Cô)
bản đồVal
50 (B)
bản đồVal
50-95 (B)
batch kích thước
(điểm ảnh)
FP32 Dự đoán 0.52 0,51 | 0.56 8 640
FP32 COCOval 0.52 0.52 0.37 1 640
FP16 Dự đoán 0.34 0.34 | 0.41 8 640
FP16 COCOval 0.33 0.52 0.37 1 640
INT8 Dự đoán 0.28 0.27 | 0.31 8 640
INT8 COCOval 0.29 0.47 0.33 1 640

Xem Tài liệu phân đoạn để biết các ví dụ sử dụng với các mô hình này được đào tạo về COCO, bao gồm 80 lớp được đào tạo trước.

Ghi

Thời gian suy luận được hiển thị cho mean, min (nhanh nhất), và max (chậm nhất) cho mỗi bài kiểm tra sử dụng trọng lượng được đào tạo trước yolov8n-seg.engine

Chính xác Xét nghiệm Eval trung bình
(Cô)
tối thiểu | Max
(Cô)
bản đồVal
50 (B)
bản đồVal
50-95 (B)
bản đồVal
50 (M)
bản đồVal
50-95 (M)
batch kích thước
(điểm ảnh)
FP32 Dự đoán 0.62 0.61 | 0.68 8 640
FP32 COCOval 0.63 0.52 0.36 0.49 0.31 1 640
FP16 Dự đoán 0.40 0.39 | 0.44 8 640
FP16 COCOval 0.43 0.52 0.36 0.49 0.30 1 640
INT8 Dự đoán 0.34 0.33 | 0.37 8 640
INT8 COCOval 0.36 0.46 0.32 0.43 0.27 1 640

Xem Tài liệu phân loại để biết các ví dụ sử dụng với các mô hình này được đào tạo trên ImageNet, bao gồm 1000 lớp được đào tạo trước.

Ghi

Thời gian suy luận được hiển thị cho mean, min (nhanh nhất), và max (chậm nhất) cho mỗi bài kiểm tra sử dụng trọng lượng được đào tạo trước yolov8n-cls.engine

Chính xác Xét nghiệm Eval trung bình
(Cô)
tối thiểu | Max
(Cô)
Top 1 Top 5 batch kích thước
(điểm ảnh)
FP32 Dự đoán 0.26 0.25 | 0.28 8 640
FP32 ImageNetval 0.26 0.35 0.61 1 640
FP16 Dự đoán 0.18 0,17 | 0.19 8 640
FP16 ImageNetval 0.18 0.35 0.61 1 640
INT8 Dự đoán 0.16 0.15 | 0.57 8 640
INT8 ImageNetval 0.15 0.32 0.59 1 640

Xem Tài liệu ước tính tư thế để biết các ví dụ sử dụng với các mô hình này được đào tạo về COCO, bao gồm 1 lớp được đào tạo trước, "người".

Ghi

Thời gian suy luận được hiển thị cho mean, min (nhanh nhất), và max (chậm nhất) cho mỗi bài kiểm tra sử dụng trọng lượng được đào tạo trước yolov8n-pose.engine

Chính xác Xét nghiệm Eval trung bình
(Cô)
tối thiểu | Max
(Cô)
bản đồVal
50 (B)
bản đồVal
50-95 (B)
bản đồVal
50 (P)
bản đồVal
50-95 (P)
batch kích thước
(điểm ảnh)
FP32 Dự đoán 0.54 0.53 | 0.58 8 640
FP32 COCOval 0.55 0.91 0.69 0.80 0.51 1 640
FP16 Dự đoán 0.37 0.35 | 0.41 8 640
FP16 COCOval 0.36 0.91 0.69 0.80 0.51 1 640
INT8 Dự đoán 0.29 0.28 | 0.33 8 640
INT8 COCOval 0.30 0.90 0.68 0.78 0.47 1 640

Xem Tài liệu phát hiện theo hướng để biết các ví dụ sử dụng với các mô hình này được đào tạo trên DOTAv1, bao gồm 15 lớp được đào tạo trước.

Ghi

Thời gian suy luận được hiển thị cho mean, min (nhanh nhất), và max (chậm nhất) cho mỗi bài kiểm tra sử dụng trọng lượng được đào tạo trước yolov8n-obb.engine

Chính xác Xét nghiệm Eval trung bình
(Cô)
tối thiểu | Max
(Cô)
bản đồVal
50 (B)
bản đồVal
50-95 (B)
batch kích thước
(điểm ảnh)
FP32 Dự đoán 0.52 0,51 | 0.59 8 640
FP32 DOTAv1val 0.76 0.50 0.36 1 640
FP16 Dự đoán 0.34 0.33 | 0.42 8 640
FP16 DOTAv1val 0.59 0.50 0.36 1 640
INT8 Dự đoán 0.29 0.28 | 0.33 8 640
INT8 DOTAv1val 0.32 0.45 0.32 1 640

GPU tiêu dùng

Hiệu suất phát hiện (COCO)

Đã thử nghiệm với Windows 10.0.19045, python 3.10.9, ultralytics==8.2.4, tensorrt==10.0.0b6

Ghi

Thời gian suy luận được hiển thị cho mean, min (nhanh nhất), và max (chậm nhất) cho mỗi bài kiểm tra sử dụng trọng lượng được đào tạo trước yolov8n.engine

Chính xác Xét nghiệm Eval trung bình
(Cô)
tối thiểu | Max
(Cô)
bản đồVal
50 (B)
bản đồVal
50-95 (B)
batch kích thước
(điểm ảnh)
FP32 Dự đoán 1.06 0.75 | 1.88 8 640
FP32 COCOval 1.37 0.52 0.37 1 640
FP16 Dự đoán 0.62 0.75 | 1.13 8 640
FP16 COCOval 0.85 0.52 0.37 1 640
INT8 Dự đoán 0.52 0.38 | 1.00 8 640
INT8 COCOval 0.74 0.47 0.33 1 640

Đã thử nghiệm với Windows 10.0.22631, python 3.11.9, ultralytics==8.2.4, tensorrt==10.0.1

Ghi

Thời gian suy luận được hiển thị cho mean, min (nhanh nhất), và max (chậm nhất) cho mỗi bài kiểm tra sử dụng trọng lượng được đào tạo trước yolov8n.engine

Chính xác Xét nghiệm Eval trung bình
(Cô)
tối thiểu | Max
(Cô)
bản đồVal
50 (B)
bản đồVal
50-95 (B)
batch kích thước
(điểm ảnh)
FP32 Dự đoán 1.76 1,69 | 1.87 8 640
FP32 COCOval 1.94 0.52 0.37 1 640
FP16 Dự đoán 0.86 0.75 | 1.00 8 640
FP16 COCOval 1.43 0.52 0.37 1 640
INT8 Dự đoán 0.80 0.75 | 1.00 8 640
INT8 COCOval 1.35 0.47 0.33 1 640

Đã thử nghiệm với Pop!_OS 22.04 LTS, python 3.10.12, ultralytics==8.2.4, tensorrt==8.6.1.post1

Ghi

Thời gian suy luận được hiển thị cho mean, min (nhanh nhất), và max (chậm nhất) cho mỗi bài kiểm tra sử dụng trọng lượng được đào tạo trước yolov8n.engine

Chính xác Xét nghiệm Eval trung bình
(Cô)
tối thiểu | Max
(Cô)
bản đồVal
50 (B)
bản đồVal
50-95 (B)
batch kích thước
(điểm ảnh)
FP32 Dự đoán 2.84 2.84 | 2.85 8 640
FP32 COCOval 2.94 0.52 0.37 1 640
FP16 Dự đoán 1.09 1.09 | 1.10 8 640
FP16 COCOval 1.20 0.52 0.37 1 640
INT8 Dự đoán 0.75 0.74 | 0.75 8 640
INT8 COCOval 0.76 0.47 0.33 1 640

Thiết bị nhúng

Hiệu suất phát hiện (COCO)

Đã thử nghiệm với JetPack 6.0 (L4T 36.3) Ubuntu 22.04.4 LTS, python 3.10.12, ultralytics==8.2.16, tensorrt==10.0.1

Ghi

Thời gian suy luận được hiển thị cho mean, min (nhanh nhất), và max (chậm nhất) cho mỗi bài kiểm tra sử dụng trọng lượng được đào tạo trước yolov8n.engine

Chính xác Xét nghiệm Eval trung bình
(Cô)
tối thiểu | Max
(Cô)
bản đồVal
50 (B)
bản đồVal
50-95 (B)
batch kích thước
(điểm ảnh)
FP32 Dự đoán 6.11 6.10 | 6.29 8 640
FP32 COCOval 6.17 0.52 0.37 1 640
FP16 Dự đoán 3.18 3.18 | 3.20 8 640
FP16 COCOval 3.19 0.52 0.37 1 640
INT8 Dự đoán 2.30 2.29 | 2.35 8 640
INT8 COCOval 2.32 0.46 0.32 1 640

Thông tin

Xem của chúng tôi Hướng dẫn bắt đầu nhanh về NVIDIA Jetson với Ultralytics YOLO để tìm hiểu thêm về cách thiết lập và cấu hình.

Phương pháp đánh giá

Mở rộng các phần bên dưới để biết thông tin về cách các mô hình này được xuất và thử nghiệm.

Xuất cấu hình

Xem chế độ xuất để biết chi tiết về các đối số cấu hình xuất.

from ultralytics import YOLO

model = YOLO("yolov8n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, half=True)

# TensorRT INT8 with calibration `data` (i.e. COCO, ImageNet, or DOTAv1 for appropriate model task)
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, int8=True, data="coco8.yaml"
)
Vòng lặp dự đoán

Xem chế độ dự đoán để biết thêm thông tin.

import cv2

from ultralytics import YOLO

model = YOLO("yolov8n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 of the same image
        verbose=False,
        device="cuda",
    )
Cấu hình xác thực

Xem val chế độ để tìm hiểu thêm về các đối số cấu hình xác thực.

from ultralytics import YOLO

model = YOLO("yolov8n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet, or DOTAv1 for appropriate model task
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

Triển khai xuất khẩu YOLOv8 TensorRT Mô hình

Đã xuất thành công Ultralytics YOLOv8 mô hình để TensorRT , bây giờ bạn đã sẵn sàng để triển khai chúng. Để được hướng dẫn chuyên sâu về cách triển khai TensorRT Các mô hình trong các cài đặt khác nhau, hãy xem các tài nguyên sau:

Tóm tắt

Trong hướng dẫn này, chúng tôi tập trung vào việc chuyển đổi Ultralytics YOLOv8 mô hình để NVIDIA's TensorRT định dạng mô hình. Bước chuyển đổi này rất quan trọng để cải thiện hiệu quả và tốc độ của YOLOv8 mô hình, làm cho chúng hiệu quả hơn và phù hợp với môi trường triển khai đa dạng.

Để biết thêm thông tin về chi tiết sử dụng, hãy xem TensorRT Tài liệu chính thức.

Nếu bạn tò mò về bổ sung Ultralytics YOLOv8 Tích hợp, trang hướng dẫn tích hợp của chúng tôi cung cấp nhiều lựa chọn tài nguyên thông tin và thông tin chi tiết.

FAQ

Làm cách nào để chuyển đổi YOLOv8 mô hình để TensorRT định dạng?

Để chuyển đổi Ultralytics YOLOv8 mô hình để TensorRT Định dạng để tối ưu hóa NVIDIA GPU Suy luận, hãy làm theo các bước sau:

  1. Cài đặt gói yêu cầu:

    pip install ultralytics
    
  2. Xuất khẩu của bạn YOLOv8 Mô hình:

    from ultralytics import YOLO
    
    model = YOLO("yolov8n.pt")
    model.export(format="engine")  # creates 'yolov8n.engine'
    
    # Run inference
    model = YOLO("yolov8n.engine")
    results = model("https://ultralytics.com/images/bus.jpg")
    

Để biết thêm chi tiết, hãy truy cập YOLOv8 Hướng dẫn cài đặttài liệu xuất.

Lợi ích của việc sử dụng là gì TensorRT cho YOLOv8 Mô hình?

Sử dụng TensorRT để tối ưu hóa YOLOv8 Mô hình cung cấp một số lợi ích:

  • Tốc độ suy luận nhanh hơn: TensorRT tối ưu hóa các lớp mô hình và sử dụng hiệu chuẩn chính xác (INT8 và FP16) để tăng tốc độ suy luận mà không làm giảm đáng kể độ chính xác.
  • Hiệu quả bộ nhớ: TensorRT Quản lý tensor bộ nhớ động, giảm chi phí và cải thiện GPU sử dụng bộ nhớ.
  • Layer Fusion: Kết hợp nhiều lớp thành các hoạt động đơn lẻ, giảm độ phức tạp tính toán.
  • Tự động điều chỉnh hạt nhân: Tự động chọn được tối ưu hóa GPU hạt nhân cho từng lớp mô hình, đảm bảo hiệu suất tối đa.

Để biết thêm thông tin, hãy khám phá các tính năng chi tiết của TensorRT Ở đây và đọc của chúng tôi TensorRT phần tổng quan.

Tôi có thể sử dụng lượng tử hóa INT8 với không TensorRT cho YOLOv8 Mô hình?

Có, bạn có thể xuất YOLOv8 Mô hình sử dụng TensorRT với lượng tử hóa INT8. Quá trình này bao gồm lượng tử hóa sau đào tạo (PTQ) và hiệu chuẩn:

  1. Xuất với INT8:

    from ultralytics import YOLO
    
    model = YOLO("yolov8n.pt")
    model.export(format="engine", batch=8, workspace=4, int8=True, data="coco.yaml")
    
  2. Chạy suy luận:

    from ultralytics import YOLO
    
    model = YOLO("yolov8n.engine", task="detect")
    result = model.predict("https://ultralytics.com/images/bus.jpg")
    

Để biết thêm chi tiết, hãy tham khảo Xuất khẩu TensorRT với phần lượng tử hóa INT8.

Làm cách nào để triển khai YOLOv8 TensorRT Mô hình trên một NVIDIA Triton Máy chủ suy luận?

Triển khai YOLOv8 TensorRT Mô hình trên một NVIDIA Triton Inference Server có thể được thực hiện bằng cách sử dụng các tài nguyên sau:

Những hướng dẫn này sẽ giúp bạn tích hợp YOLOv8 mô hình hiệu quả trong các môi trường triển khai khác nhau.

Những cải tiến hiệu suất được quan sát thấy với là gì YOLOv8 Mô hình xuất khẩu sang TensorRT?

Cải thiện hiệu suất với TensorRT có thể thay đổi dựa trên phần cứng được sử dụng. Dưới đây là một số điểm chuẩn điển hình:

  • NVIDIA A100:

    • FP32 Suy luận: ~0,52 ms / hình ảnh
    • FP16 Suy luận: ~0,34 ms / hình ảnh
    • INT8 Suy luận: ~0,28 ms / hình ảnh
    • Giảm nhẹ mAP với độ chính xác INT8, nhưng cải thiện đáng kể về tốc độ.
  • GPU tiêu dùng (ví dụ: RTX 3080):

    • FP32 Suy luận: ~1,06 ms / hình ảnh
    • FP16 Suy luận: ~0,62 ms / hình ảnh
    • INT8 Suy luận: ~0,52 ms / hình ảnh

Điểm chuẩn hiệu suất chi tiết cho các cấu hình phần cứng khác nhau có thể được tìm thấy trong phần hiệu suất.

Để biết thông tin chi tiết toàn diện hơn về TensorRT Hiệu suất, tham khảo Ultralytics tài liệu và báo cáo phân tích hiệu suất của chúng tôi.


📅 Created 8 months ago ✏️ Updated 11 days ago

Ý kiến