Xuất TensorRT cho model YOLO26#

Việc triển khai các model thị giác máy tính trong môi trường hiệu năng cao có thể yêu cầu một định dạng tối đa hóa tốc độ và hiệu quả. Điều này đặc biệt đúng khi bạn triển khai model trên GPU NVIDIA.

Bằng cách sử dụng định dạng xuất TensorRT, bạn có thể tối ưu các model Ultralytics YOLO26 để suy luận nhanh chóng và hiệu quả trên phần cứng NVIDIA. Hướng dẫn này cung cấp các bước dễ thực hiện cho quá trình chuyển đổi và giúp bạn tận dụng tối đa công nghệ tiên tiến của NVIDIA trong các dự án deep learning.

TensorRT#

TensorRT, do NVIDIA phát triển, là một bộ công cụ phát triển phần mềm (SDK) tiên tiến được thiết kế cho suy luận deep learning tốc độ cao. Công cụ này phù hợp với các ứng dụng thời gian thực như phát hiện đối tượng.

Bộ công cụ này tối ưu các model deep learning cho GPU NVIDIA, giúp các tác vụ nhanh hơn và hiệu quả hơn. Các model TensorRT trải qua quá trình tối ưu TensorRT, bao gồm các kỹ thuật như hợp nhất layer, hiệu chỉnh độ chính xác (INT8 và FP16), quản lý bộ nhớ tensor động và tự động tinh chỉnh kernel. Việc chuyển đổi model deep learning sang định dạng TensorRT cho phép developer khai thác đầy đủ tiềm năng của GPU NVIDIA.

TensorRT nổi tiếng nhờ khả năng tương thích với nhiều định dạng model, bao gồm TensorFlow, PyTorch và ONNX, cung cấp cho developer một giải pháp linh hoạt để tích hợp và tối ưu model từ các framework khác nhau. Tính linh hoạt này cho phép triển khai model hiệu quả trên nhiều môi trường phần cứng và phần mềm.

Các tính năng chính của model TensorRT#

Model TensorRT cung cấp nhiều tính năng chính góp phần nâng cao hiệu quả và hiệu suất trong suy luận deep learning tốc độ cao:

• Hiệu chỉnh độ chính xác: TensorRT hỗ trợ hiệu chỉnh độ chính xác, cho phép tinh chỉnh model theo các yêu cầu độ chính xác cụ thể. Tính năng này bao gồm hỗ trợ các định dạng độ chính xác thấp hơn như INT8 và FP16, có thể tiếp tục tăng tốc độ suy luận trong khi vẫn duy trì mức độ chính xác chấp nhận được.

• Hợp nhất layer: Quy trình tối ưu TensorRT bao gồm hợp nhất layer, trong đó nhiều layer của một mạng neural được kết hợp thành một phép toán duy nhất. Điều này giảm overhead tính toán và cải thiện tốc độ suy luận bằng cách giảm thiểu truy cập bộ nhớ và phép tính.

• Quản lý bộ nhớ tensor động: TensorRT quản lý hiệu quả việc sử dụng bộ nhớ tensor trong quá trình suy luận, giảm overhead bộ nhớ và tối ưu phân bổ bộ nhớ. Kết quả là GPU sử dụng bộ nhớ hiệu quả hơn.

• Tự động tinh chỉnh kernel: TensorRT áp dụng tính năng tự động tinh chỉnh kernel để chọn kernel GPU được tối ưu nhất cho từng layer của model. Phương pháp thích ứng này đảm bảo model tận dụng tối đa năng lực tính toán của GPU.

Các tùy chọn triển khai trong TensorRT#

Trước khi xem code để xuất model YOLO26 sang định dạng TensorRT, hãy tìm hiểu nơi các model TensorRT thường được sử dụng.

TensorRT cung cấp một số tùy chọn triển khai, trong đó mỗi tùy chọn cân bằng khác nhau giữa mức độ dễ tích hợp, tối ưu hiệu suất và tính linh hoạt:

• Triển khai trong TensorFlow: Phương pháp này tích hợp TensorRT vào TensorFlow, cho phép model đã tối ưu chạy trong môi trường TensorFlow quen thuộc. Phương pháp này hữu ích cho các model kết hợp layer được hỗ trợ và không được hỗ trợ, vì TF-TRT có thể xử lý chúng hiệu quả.

• Standalone TensorRT Runtime API: Cung cấp khả năng kiểm soát chi tiết, lý tưởng cho các ứng dụng yêu cầu hiệu suất cao. Phương pháp này phức tạp hơn nhưng cho phép triển khai tùy chỉnh các operator không được hỗ trợ.

• NVIDIA Triton Inference Server: Một tùy chọn hỗ trợ model từ nhiều framework khác nhau. Đặc biệt phù hợp cho suy luận trên cloud hoặc edge, tùy chọn này cung cấp các tính năng như thực thi model đồng thời và phân tích model.

Các Task được hỗ trợ#

Tính năng xuất TensorRT hỗ trợ cả bảy task của Ultralytics. Phân đoạn ngữ nghĩa và ước lượng độ sâu chỉ khả dụng với YOLO26, là family duy nhất cung cấp các head này.

Xuất model YOLO26 sang TensorRT#

Bạn có thể cải thiện hiệu quả thực thi và tối ưu hiệu suất bằng cách chuyển đổi model YOLO26 sang định dạng TensorRT.

Cài đặt#

Để cài đặt package bắt buộc, hãy chạy:

# Install the required package for YOLO26
pip install ultralytics

Để xem hướng dẫn chi tiết và các best practice liên quan đến quá trình cài đặt, hãy tham khảo hướng dẫn Cài đặt YOLO26 của chúng tôi. Trong quá trình cài đặt các package cần thiết cho YOLO26, nếu gặp khó khăn, hãy tham khảo hướng dẫn Các vấn đề thường gặp để tìm giải pháp và mẹo xử lý.

Cách sử dụng#

Trước khi bắt đầu xem hướng dẫn sử dụng, hãy tham khảo danh sách các model YOLO26 do Ultralytics cung cấp. Điều này sẽ giúp bạn chọn model phù hợp nhất với yêu cầu của project.

Định dạng TensorRT hỗ trợ các mode Export, Predict và Validate. Suy luận và validation yêu cầu GPU NVIDIA. Hãy xuất model, sau đó load model đã xuất để chạy suy luận hoặc validation độ chính xác.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT format
model.export(format="engine")  # creates 'yolo26n.engine'

from ultralytics import YOLO

# Load the exported TensorRT model
model = YOLO("yolo26n.engine")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported TensorRT model
model = YOLO("yolo26n.engine")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Đối số Export#

Để biết thêm chi tiết về quy trình export, hãy truy cập trang tài liệu Ultralytics về export.

Xuất TensorRT với lượng tử hóa INT8#

Việc xuất các model Ultralytics YOLO bằng TensorRT với precision INT8 thực hiện lượng tử hóa sau huấn luyện (PTQ). TensorRT sử dụng quá trình hiệu chuẩn cho PTQ, đo lường sự phân phối của các activation bên trong mỗi activation tensor khi model YOLO xử lý suy luận trên dữ liệu đầu vào đại diện, và sau đó sử dụng phân phối đó để ước tính các giá trị tỷ lệ cho từng tensor. Mỗi activation tensor là ứng viên cho lượng tử hóa có một tỷ lệ liên kết được suy ra bởi một quá trình hiệu chuẩn. Một checkpoint được tinh chỉnh bằng quantize=8 thông qua quantization-aware training đã mang sẵn các dải INT8 của checkpoint đó, vì vậy quá trình xuất sử dụng các dải đó và bỏ qua hiệu chuẩn.

Khi xử lý các network được lượng tử hóa ngầm, TensorRT sử dụng INT8 một cách cơ hội để tối ưu thời gian thực thi layer. Nếu một layer chạy nhanh hơn ở INT8 và có scale lượng tử hóa được gán cho các input và output dữ liệu của layer đó, kernel với độ chính xác INT8 sẽ được gán cho layer; nếu không, TensorRT chọn độ chính xác FP32 hoặc FP16 cho kernel, tùy theo lựa chọn nào cho thời gian thực thi nhanh hơn đối với layer đó.

Cấu hình xuất INT8#

Các tham số được cung cấp khi sử dụng export cho model Ultralytics YOLO sẽ ảnh hưởng rất lớn đến hiệu suất của model đã xuất. Tuy nhiên, các tham số này cũng cần được lựa chọn dựa trên tài nguyên thiết bị hiện có; các tham số mặc định nên hoạt động với hầu hết GPU rời NVIDIA Ampere (hoặc mới hơn). Thuật toán calibration được sử dụng là "MINMAX_CALIBRATION" cho các lần xuất GPU, trong khi xuất DLA trên NVIDIA Jetson sử dụng "ENTROPY_CALIBRATION_2". Bạn có thể đọc thêm chi tiết về các tùy chọn khả dụng trong TensorRT Developer Guide. Các thử nghiệm của Ultralytics cho thấy "MINMAX_CALIBRATION" là lựa chọn tốt nhất cho xuất GPU; thuật toán được tự động chọn dựa trên thiết bị xuất.

• workspace : Kiểm soát kích thước (tính bằng GiB) của phần bộ nhớ thiết bị được phân bổ trong khi chuyển đổi weight model.

  • Điều chỉnh giá trị workspace theo nhu cầu calibration và tài nguyên khả dụng. Mặc dù workspace lớn hơn có thể làm tăng thời gian calibration, giá trị này cho phép TensorRT khám phá phạm vi chiến thuật tối ưu rộng hơn, có khả năng cải thiện hiệu suất và độ chính xác của model. Ngược lại, workspace nhỏ hơn có thể giảm thời gian calibration nhưng hạn chế các chiến lược tối ưu, ảnh hưởng đến chất lượng của model đã lượng tử hóa.

  • Giá trị mặc định là workspace=None, cho phép TensorRT tự động phân bổ bộ nhớ; khi cấu hình thủ công, có thể cần tăng giá trị này nếu calibration bị crash (thoát mà không cảnh báo).

  • TensorRT sẽ báo cáo UNSUPPORTED_STATE trong quá trình xuất nếu giá trị của workspace lớn hơn bộ nhớ khả dụng của thiết bị; điều này có nghĩa là nên giảm giá trị workspace hoặc đặt thành None.

  • Nếu workspace được đặt ở giá trị tối đa và calibration thất bại/bị crash, hãy cân nhắc sử dụng None để tự động phân bổ hoặc giảm các giá trị imgsz và batch nhằm giảm yêu cầu bộ nhớ.

  • Hãy nhớ rằng calibration cho INT8 phụ thuộc vào từng thiết bị; việc mượn GPU "cao cấp" để calibration có thể dẫn đến hiệu suất kém khi chạy suy luận trên thiết bị khác.

• batch : Kích thước batch tối đa được sử dụng cho suy luận. Trong quá trình suy luận, có thể sử dụng các batch nhỏ hơn, nhưng suy luận sẽ không chấp nhận batch lớn hơn giá trị đã chỉ định.

Thực nghiệm từ NVIDIA dẫn đến khuyến nghị sử dụng ít nhất 500 ảnh hiệu chuẩn mang tính đại diện cho dữ liệu của model, với quá trình hiệu chuẩn lượng tử hóa INT8. Đây là một hướng dẫn chứ không phải là một yêu cầu bắt buộc, và bạn sẽ cần thử nghiệm những gì được yêu cầu để hoạt động tốt cho dataset của bạn. Vì dữ liệu hiệu chuẩn là bắt buộc đối với quá trình hiệu chuẩn INT8 bằng TensorRT, hãy đảm bảo sử dụng đối số data khi xuất một checkpoint chưa được huấn luyện bằng quantize=8 (lượng tử hóa sau huấn luyện) tại quantize=8 cho TensorRT, và sử dụng data="my_dataset.yaml", điều này sẽ sử dụng các ảnh từ validation để hiệu chuẩn. Một checkpoint được huấn luyện bằng quantize=8 sẽ bỏ qua hiệu chuẩn, vì vậy hãy bỏ qua data đối với checkpoint đó. Khi không có giá trị nào được truyền cho data với việc xuất sang TensorRT bằng lượng tử hóa INT8, mặc định sẽ sử dụng một trong các "small" example datasets based on the model task thay vì ném ra lỗi.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    quantize=8,
    data="coco.yaml",  # (4)!
)

# Load the exported TensorRT INT8 model
model = YOLO("yolo26n.engine", task="detect")

# Run inference
result = model.predict("https://ultralytics.com/images/bus.jpg")

Ưu điểm khi sử dụng YOLO với TensorRT INT8#

• Giảm kích thước model: Lượng tử hóa từ FP32 sang INT8 có thể giảm kích thước model 4 lần (trên disk hoặc trong bộ nhớ), giúp tải xuống nhanh hơn, giảm yêu cầu lưu trữ và giảm footprint bộ nhớ khi triển khai model.

• Tiêu thụ điện năng thấp hơn: Các phép toán độ chính xác thấp hơn cho model YOLO xuất INT8 có thể tiêu thụ ít điện năng hơn so với model FP32, đặc biệt trên các thiết bị chạy bằng pin.

• Tốc độ suy luận được cải thiện: TensorRT tối ưu model cho phần cứng đích, có khả năng giúp tăng tốc độ suy luận trên GPU, thiết bị nhúng và accelerator.

Nhược điểm khi sử dụng YOLO với TensorRT INT8#

• Suy giảm các metric đánh giá: Việc sử dụng độ chính xác thấp hơn có nghĩa là mAP, Precision, Recall hoặc bất kỳ metric nào khác dùng để đánh giá hiệu suất model có khả năng kém hơn đôi chút. Các layer Sigmoid được giữ ở độ chính xác cao hơn để duy trì calibration score, nhưng INT8 vẫn có thể làm thay đổi các giá trị confidence; vì vậy, hãy chọn threshold vận hành từ đường cong F1 của chính model INT8. Xem phần kết quả hiệu suất để so sánh khác biệt về mAP50 và mAP50-95 khi xuất với INT8 trên một mẫu nhỏ từ nhiều thiết bị khác nhau.

• Tăng thời gian phát triển: Việc tìm các thiết lập "tối ưu" cho calibration INT8 theo dataset và thiết bị có thể đòi hỏi nhiều thời gian thử nghiệm.

• Phụ thuộc phần cứng: Calibration và mức tăng hiệu suất có thể phụ thuộc nhiều vào phần cứng, đồng thời weight model khó chuyển đổi giữa các thiết bị hơn.

Hiệu suất xuất Ultralytics YOLO TensorRT#

NVIDIA A100#

GPU dành cho người dùng phổ thông#

Thiết bị nhúng#

Các phương pháp đánh giá#

Mở rộng các section bên dưới để biết thông tin về cách những model này được xuất và kiểm thử.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=16)

# TensorRT INT8 with calibration `data` (i.e. COCO, ImageNet, or DOTAv1 for appropriate model task)
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=8, data="coco8.yaml"
)

import cv2

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 of the same image
        verbose=False,
        device="cuda",
    )

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet, or DOTAv1 for appropriate model task
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

Triển khai các model YOLO26 TensorRT đã export#

Sau khi export thành công các model Ultralytics YOLO26 sang định dạng TensorRT, giờ đây bạn đã sẵn sàng triển khai chúng. Để xem hướng dẫn chuyên sâu về cách triển khai các model TensorRT trong nhiều môi trường khác nhau, hãy tham khảo các tài nguyên sau:

• Triển khai Ultralytics với Triton Server: Hướng dẫn của chúng tôi về cách sử dụng Triton Inference Server của NVIDIA (trước đây là TensorRT Inference Server), được thiết kế riêng để sử dụng với các model Ultralytics YOLO.

• Triển khai mạng neural sâu với NVIDIA TensorRT: Bài viết này giải thích cách sử dụng NVIDIA TensorRT để triển khai hiệu quả các mạng neural sâu trên những nền tảng triển khai dựa trên GPU.

• AI đầu cuối cho PC dựa trên NVIDIA: Triển khai NVIDIA TensorRT: Bài blog này giải thích cách sử dụng NVIDIA TensorRT để tối ưu hóa và triển khai các model AI trên PC dựa trên NVIDIA.

• Kho lưu trữ GitHub cho NVIDIA TensorRT: Đây là kho lưu trữ GitHub chính thống chứa mã nguồn và tài liệu cho NVIDIA TensorRT.

Tóm tắt#

Trong hướng dẫn này, chúng tôi tập trung vào việc chuyển đổi các model Ultralytics YOLO26 sang định dạng model TensorRT của NVIDIA. Bước chuyển đổi này rất quan trọng để cải thiện hiệu suất và tốc độ của các model YOLO26, giúp chúng hoạt động hiệu quả hơn và phù hợp với nhiều môi trường triển khai khác nhau.

Để biết thêm thông tin về chi tiết sử dụng, hãy tham khảo tài liệu chính thức của TensorRT.

Nếu bạn muốn tìm hiểu về các tích hợp Ultralytics YOLO26 bổ sung, trang hướng dẫn tích hợp của chúng tôi cung cấp nhiều tài nguyên và thông tin chuyên sâu hữu ích.

FAQ#