Bắt đầu

Xuất model YOLO26 sang TensorRT

TensorRT là SDK của NVIDIA dành cho suy luận học sâu tốc độ cao. Việc xuất một model Ultralytics YOLO26 bằng format="engine" sẽ tạo ra tệp .engine, được tối ưu hóa cho GPU NVIDIA dùng để xây dựng tệp đó, với độ chính xác FP32, FP16 hoặc INT8.

TensorRT engine phụ thuộc vào phần cứng và runtime cụ thể

TensorRT tinh chỉnh engine cho GPU dùng để xây dựng engine đó. Hãy xây dựng engine trên GPU triển khai hoặc trên một GPU cùng model, với cùng phiên bản TensorRT; tệp .engine không phải định dạng model có tính di động. Để triển khai trên edge, Ultralytics Platform cung cấp tám lựa chọn đích Jetson, mỗi lựa chọn đều có trạng thái xây dựng và xác thực trên thiết bị thực được ghi lại; hoặc bạn có thể export trực tiếp trên thiết bị đích.

Tổng quan nhanh#

Thuộc tínhChi tiết
Đối số formatengine (bí danh: tensorrt, trt)
Đầu rayolo26n.engine, một tệp bắt đầu bằng phần đầu metadata JSON (tên lớp, tác vụ, kích thước ảnh). Tệp trung gian yolo26n.onnx nằm cùng thư mục với tệp này
Chạy trênGPU NVIDIA: trung tâm dữ liệu, workstation và Jetson, bao gồm các lõi DLA của Jetson (không có trên TensorRT 11)
RuntimeTensorRT 7.0 trở lên (không hỗ trợ 10.2.0)
PrecisionFP32, FP16, INT8
Máy exportMáy có GPU NVIDIA và CUDA. Hãy xây dựng trên GPU triển khai hoặc GPU cùng model
Export trên cloud

Ultralytics Platform có thể xây dựng engine TensorRT cho bạn trên loại GPU đã chọn, bao gồm các đích NVIDIA Jetson, nên bạn không cần môi trường export cục bộ.

Bắt đầu nhanh#

Cài package Ultralytics trên máy có GPU NVIDIA và CUDA. Trên Linux, lần export đầu tiên sẽ cài package TensorRT Python tương thích với phiên bản CUDA nếu package này chưa có. Trên NVIDIA Jetson, hãy dùng phiên bản TensorRT đi kèm JetPack. Trên Windows, hãy tự cài TensorRT trước khi export.

pip install ultralytics

Để xem các cách cài đặt khác, hãy xem hướng dẫn cài đặt. Sau đó export model và tải engine đã export để chạy suy luận hoặc xác thực độ chính xác. Suy luận và xác thực cần GPU NVIDIA. Xây dựng engine YOLO26n mất từ một đến ba phút trên NVIDIA T4.

Export
from ultralytics import YOLO

# Nạp model YOLO26
model = YOLO("yolo26n.pt")

# Export model sang định dạng TensorRT
model.export(format="engine")  # # tạo 'yolo26n.engine'

# Hoặc export engine FP16
model.export(format="engine", quantize=16)  # # tạo 'yolo26n.engine'
Dự đoán
from ultralytics import YOLO

# Tải model TensorRT đã export
model = YOLO("yolo26n.engine")

# Chạy suy luận
results = model("https://ultralytics.com/images/bus.jpg")
Xác thực
from ultralytics import YOLO

# Tải model TensorRT đã export
model = YOLO("yolo26n.engine")

# # Đánh giá độ chính xác trên bộ dữ liệu COCO8
metrics = model.val(data="coco8.yaml")

Các tác vụ được hỗ trợ#

Export TensorRT hỗ trợ cả bảy tác vụ Ultralytics với các model YOLOv8, YOLO11 và YOLO26: detection, segmentation, segmentation ngữ nghĩa, ước lượng độ sâu, phân loại, ước lượng pose và OBB. Segmentation ngữ nghĩa và ước lượng độ sâu chỉ có trên YOLO26, dòng model duy nhất có các head này.

Các tham số xuất model#

Đối sốKiểuMặc địnhMô tả
formatstr'engine'Định dạng đích của model đã xuất, xác định khả năng tương thích với nhiều môi trường triển khai.
imgszint hoặc tuple640Kích thước ảnh mong muốn cho đầu vào model. Có thể là số nguyên cho ảnh vuông hoặc tuple (height, width) để chỉ định kích thước cụ thể.
quantizeint hoặc strNoneĐộ chính xác lượng tử hóa: 16 (FP16) hoặc 8 (INT8/PTQ; cần data/fraction để hiệu chuẩn); 32/không đặt sẽ dùng FP32. Checkpoint được huấn luyện với quantize=8 sẽ export INT8 từ các dải giá trị sẵn có, không cần hiệu chuẩn, kể cả khi không đặt quantize; quantize=16 hoặc quantize=32 sẽ gây lỗi. Thay thế các cờ half/int8 đã lỗi thời.
dynamicboolFalseXây dựng engine chấp nhận batch từ 1 đến batch và kích thước ảnh từ 32 pixel đến gấp đôi imgsz; mức tối thiểu cao hơn đối với engine INT8 động trên GPU cũ. Khi False, engine chỉ chấp nhận giá trị export batch và imgsz.
simplifyboolTrueĐơn giản hóa đồ thị model bằng onnxslim, có khả năng cải thiện hiệu năng và khả năng tương thích.
opsetintNoneChỉ định phiên bản ONNX opset cho đồ thị ONNX trung gian. Nếu không được thiết lập, phiên bản opset 18 sẽ được sử dụng (thấp hơn trên PyTorch < 2.4), tối đa bằng phiên bản onnx đã cài đặt.
workspacefloat hoặc NoneNoneGiới hạn trên tính bằng GiB cho bộ nhớ TensorRT sử dụng khi xây dựng engine. Để None để TensorRT tự động cấp phát bộ nhớ.
nmsbool, không bắt buộcNoneChọn đầu ra thô (None, mặc định), NMS nhúng (True) hoặc head không dùng NMS (False). Với nms=True, conf (mặc định 0.25), iou, max_det và agnostic_nms được cố định khi export; nms=True bị bỏ qua với model segmentation ngữ nghĩa và ước lượng độ sâu, đồng thời gây lỗi với model phân loại.
batchint1Kích thước batch của engine hoặc kích thước batch tối đa với dynamic=True. Đây cũng là kích thước batch dùng để hiệu chuẩn INT8.
datastrNoneĐường dẫn đến YAML của dataset, dùng để hiệu chuẩn INT8; riêng tác vụ phân loại nhận thư mục dataset hoặc tên dataset tích hợp sẵn. Quá trình hiệu chuẩn dùng split val, trừ khi đặt split. Nếu bỏ qua với quantize=8, Ultralytics sẽ dùng dataset mặc định nhỏ cho tác vụ của model, chẳng hạn coco8.yaml cho detection; checkpoint được huấn luyện với quantize=8 thì không cần dataset.
fractionfloat, int hoặc list1.0Tập con hiệu chuẩn dưới dạng tỷ lệ, số lượng ảnh hoặc tỷ lệ/số lượng [train, val, test]. Danh sách gồm hai mục giữ test ở dạng đầy đủ, còn 0 sẽ bỏ qua mục này.
devicestrNoneChỉ định thiết bị dùng để export: GPU (device=0, được dùng khi không đặt), DLA cho NVIDIA Jetson (device=dla:0 hoặc device=dla:1, cùng với quantize=16 hoặc quantize=8).
Khả năng tương thích với JetPack và DLA

Trên NVIDIA Jetson, Ultralytics export bằng runtime TensorRT của bản JetPack bạn đang dùng. Trên JetPack 7, quá trình export cần TensorRT 10.15 trở lên nhưng thấp hơn 11. device=dla:0 và device=dla:1 gây lỗi trên TensorRT 11. NVIDIA ghi nhận TensorRT 10.7 là bản phát hành 10.x cuối cùng có hỗ trợ DLA, còn TensorRT 11.4.1 bổ sung hỗ trợ JetPack 7.2.2, hiện Ultralytics chưa sử dụng.

Để biết các đối số dùng chung cho mọi định dạng, hãy xem tài liệu chế độ Export.

Xuất TensorRT với lượng tử hóa INT8#

quantize=8 xây dựng engine INT8 bằng phương pháp lượng tử hóa sau huấn luyện (PTQ): quá trình export chạy các ảnh hiệu chuẩn qua model để đo dải giá trị của từng tensor. Checkpoint được tinh chỉnh bằng quantize=8 thông qua huấn luyện có nhận biết lượng tử hóa đã có sẵn các dải giá trị INT8, vì vậy khi export sẽ bỏ qua bước hiệu chuẩn.

Các đối số quantize và data giống nhau trên mọi phiên bản TensorRT, nhưng cách export checkpoint không được huấn luyện với quantize=8 hoạt động bên dưới sẽ khác:

TensorRT 7-10TensorRT 11
Phương pháp INT8Lượng tử hóa ngầm với giao diện IInt8CalibratorLượng tử hóa tường minh: NVIDIA ModelOpt chèn các node Q/DQ vào đồ thị ONNX
Thuật toán hiệu chuẩnMINMAX_CALIBRATION trên GPU, ENTROPY_CALIBRATION_2 cho DLAModelOpt max, chạy trên CPU
Ảnh hiệu chuẩn được sử dụngMọi batch đầy đủ của splitKhoảng 512 ảnh theo thứ tự xáo trộn hoặc mọi batch đầy đủ của split nhỏ hơn
dynamic=True với quantize=8Chưa được kiểm thử; export không có dynamic=TrueĐược hỗ trợ
FP16 (quantize=16)Cờ trình dựng TensorRTChuyển đổi độ chính xác hỗn hợp ModelOpt AutoCast

ModelOpt được cài ở lần sử dụng đầu tiên. Ultralytics không tái sử dụng cache hiệu chuẩn, vì vậy mỗi lần export đều hiệu chuẩn lại. Để biết chi tiết về cả hai phương pháp, xem Làm việc với các kiểu dữ liệu đã lượng tử hóa trong tài liệu TensorRT.

Với checkpoint không được huấn luyện bằng quantize=8, hãy truyền ảnh hiệu chuẩn bằng data, chẳng hạn data="my_dataset.yaml". Quá trình hiệu chuẩn dùng split val của dataset đó, trừ khi bạn đặt split; fraction giới hạn số ảnh. NVIDIA khuyến nghị dùng ít nhất 500 ảnh đại diện cho dữ liệu triển khai; quá trình export sẽ ghi cảnh báo nếu số ảnh dưới 300. Nếu không có data, quá trình export sẽ ghi cảnh báo và dùng dataset mẫu nhỏ cho tác vụ của model, chẳng hạn coco8.yaml cho detection. Split validation của dataset này có 4 ảnh, đủ để kiểm tra quá trình export nhưng không đủ để hiệu chuẩn model dùng trong triển khai.

Ví dụ
from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Hiệu chuẩn trên 10% số ảnh validation COCO (500 ảnh); thay coco.yaml bằng dataset của riêng bạn
model.export(format="engine", quantize=8, data="coco.yaml", fraction=0.1)

# Tải engine INT8 đã export và chạy suy luận
model = YOLO("yolo26n.engine")
result = model.predict("https://ultralytics.com/images/bus.jpg")

Trên GPU dùng để benchmark, engine INT8 nhanh hơn engine FP32 từ 1,04 đến 2,3 lần, nhưng chỉ nhanh hơn engine FP16 ở ba trong số mười model. INT8 làm giảm mAP từ 1,7 đến 2,9 trên YOLO26n đến YOLO26l, và giảm nhiều hơn đáng kể trên YOLO26x và YOLO26n-pose. Engine INT8 của YOLO26n lớn hơn engine FP32 (30 MB so với 11 MB), trong khi các model lớn hơn có kích thước giảm (53 MB so với 103 MB đối với YOLO26l). INT8 cũng có thể làm thay đổi giá trị độ tin cậy, vì vậy hãy chọn ngưỡng độ tin cậy từ đường cong F1 riêng của engine INT8. Xem các benchmark của từng model.

Định dạng đầu ra#

Engine nhận một đầu vào tên images và trả về cùng các đầu ra như bản export ONNX được dùng để xây dựng engine, trừ một trường hợp: trên các phiên bản TensorRT cũ hơn 10, model segmentation trả về điểm số lớp dạng float có shape (batch, classes, height, width) thay cho bản đồ lớp uint8. Xem định dạng đầu ra ONNX để biết shape đầu ra của từng tác vụ và từng tùy chọn nms.

Tải engine bên ngoài Ultralytics#

Tệp .engine của Ultralytics không phải engine TensorRT thuần. Tệp bắt đầu bằng độ dài 4 byte theo thứ tự little-endian, tiếp theo là số byte JSON metadata tương ứng, rồi đến engine đã tuần tự hóa. deserialize_cuda_engine của TensorRT trả về None khi nhận toàn bộ tệp. Bỏ qua phần đầu để tải engine bằng API TensorRT:

import json

import tensorrt as trt

with open("yolo26n.engine", "rb") as f:
    n = int.from_bytes(f.read(4), byteorder="little")  # độ dài của phần đầu metadata
    metadata = json.loads(f.read(n))  # tên lớp, tác vụ, imgsz, batch, các đối số export
    engine = trt.Runtime(trt.Logger(trt.Logger.WARNING)).deserialize_cuda_engine(f.read())

Khi một công cụ khác yêu cầu tệp engine TensorRT thuần, hãy ghi các byte sau phần đầu vào tệp mới hoặc xây dựng engine trong công cụ đó từ tệp yolo26n.onnx mà quá trình export để lại bên cạnh engine. Trên TensorRT 11, các bản export FP16 và INT8 đã hiệu chuẩn cũng để lại yolo26n.fp16.onnx và yolo26n.int8.onnx; hãy xây dựng engine INT8 trong công cụ khác từ tệp .int8.onnx. Với checkpoint được huấn luyện bằng quantize=8, yolo26n.onnx đã chứa các node Q/DQ và không có tệp .int8.onnx nào được ghi. Trên TensorRT 11, bản export đó để lại yolo26n.fp16.onnx, là cùng đồ thị Q/DQ nhưng các layer còn lại ở FP16.

Triển khai#

YOLO("yolo26n.engine") tải engine bằng runtime TensorRT Python. Engine chạy trên GPU 0 theo mặc định, kể cả khi bạn truyền device="cpu". Truyền device=1 để chạy trên một GPU khác cùng model. Engine được export với device=dla:0 hoặc device=dla:1 sẽ chạy trên lõi DLA đó.

Engine được export mà không có dynamic=True có shape đầu vào cố định. predict và val dùng imgsz của bản export và bỏ qua đối số imgsz khác biệt. Ultralytics chia batch lớn thành các batch có kích thước bằng kích thước export và đệm batch nhỏ hơn, vì vậy có thể xử lý số lượng ảnh bất kỳ. Engine được export với dynamic=True chấp nhận mọi kích thước batch và ảnh trong phạm vi, đồng thời báo lỗi ValueError: input size ... is outside the TensorRT optimization profile nếu shape nằm ngoài phạm vi. Với nms=True, batch vượt quá phạm vi sẽ được chia thành các batch có kích thước bằng kích thước export.

Hướng dẫn triển khai#

Giới hạn và khắc phục sự cố#

  • Engine không có tính di động: engine được xây dựng cho một model GPU và một phiên bản TensorRT. Hãy xây dựng lại khi thay đổi GPU, phiên bản TensorRT hoặc bản JetPack. Khi không thể tải engine, Ultralytics sẽ ghi TensorRT model exported with a different version than expected.
  • Cần GPU: quá trình export dùng device=0 khi không đặt device và thất bại với export running on CPU but must be on GPU đối với device=cpu.
  • Không thể tải engine trong các công cụ khác: tệp .engine bắt đầu bằng phần đầu metadata nên API TensorRT không thể đọc trực tiếp. Xem Tải engine bên ngoài Ultralytics.
  • Phiên bản TensorRT: Ultralytics yêu cầu TensorRT 7.0.0 trở lên. TensorRT 10.2.0 không được hỗ trợ và trình cài đặt tự động sẽ bỏ qua phiên bản này. Trên JetPack 7 và hệ thống NVIDIA DGX, quá trình export cần TensorRT 10.15 trở lên (và thấp hơn 11 trên Jetson), đồng thời sẽ thử cài đặt nếu phiên bản hiện có nằm ngoài phạm vi đó.
  • Head không dùng NMS trên TensorRT cũ: các phiên bản TensorRT cũ hơn 8.5.0 không thể xây dựng head YOLO26 không dùng NMS. Quá trình export sẽ ghi cảnh báo và tạo các dự đoán thô cần NMS. Hãy nâng cấp TensorRT lên 8.5.0 trở lên để export với nms=False.
  • INT8 trên JetPack 6: với TensorRT 10.3.0 trên JetPack 6, export INT8 với nms=True sẽ thất bại, còn export INT8 với nms=False sẽ quay về dự đoán thô. Xem hướng dẫn Jetson để biết cách khắc phục.
  • INT8 trên TensorRT 10.16: export INT8 bằng TensorRT 10.16.1 thất bại trên GPU NVIDIA RTX PRO 6000 Blackwell và RTX 6000D với Could not find any implementation for node. Trên RTX PRO 6000 Blackwell, TensorRT 10.13, 10.14, 10.15 và 11.4 đã xây dựng được engine INT8.
  • DLA: device=dla:0 và device=dla:1 chỉ hoạt động trên NVIDIA Jetson và chỉ với quantize=16 hoặc quantize=8. Quá trình export sẽ báo lỗi trên TensorRT 11. Các layer DLA không hỗ trợ sẽ chạy trên GPU.
  • Shape động: dynamic=True cần kích thước batch tối đa, vì vậy hãy đặt thêm batch, chẳng hạn batch=8. Nếu không đặt, quá trình export sẽ ghi cảnh báo và kích thước batch tối đa là 1. Engine chấp nhận batch từ 1 đến batch và kích thước ảnh từ 32 pixel đến gấp đôi imgsz của bản export. Ví dụ, engine được export với imgsz=320 batch=4 chạy ở 640 pixel và từ chối 704 pixel hoặc batch 6 với input size ... is outside the TensorRT optimization profile. Chỉ kết hợp dynamic=True với quantize=8 trên TensorRT 11. Trên GPU có compute capability 7.5 trở xuống, chẳng hạn T4, kích thước tối thiểu của các engine INT8 động này là 64 pixel (128 đối với model P6).
  • Kích thước đầu vào cố định: engine được export mà không có dynamic=True luôn chạy ở imgsz của bản export. Truyền imgsz khác khi predict hoặc val không có tác dụng; hãy export lại để thay đổi kích thước đầu vào.
  • Export INT8 không có data: trừ khi checkpoint được huấn luyện với quantize=8, quá trình export sẽ hiệu chuẩn bằng dataset mặc định nhỏ của tác vụ, vốn có 4 ảnh validation cho detection, và ghi cảnh báo. Hãy truyền data cùng các ảnh đại diện; quá trình export sẽ cảnh báo nếu số ảnh dưới 300.
  • Suy luận đầu tiên chậm: một vài lần gọi đầu tiên với engine mới hoặc với imgsz mới trên engine động sẽ mất nhiều thời gian hơn các lần gọi sau.

Đối với các lỗi khác, hãy xem hướng dẫn về các sự cố thường gặp.

Benchmark#

Trang model YOLO26 liệt kê tốc độ TensorRT 10 của từng model trên GPU NVIDIA T4 cho mọi tác vụ ngoại trừ segmentation ngữ nghĩa.

So sánh FP32, FP16 và INT8#

Các bảng dưới đây so sánh PyTorch với engine TensorRT 11.4 FP32, FP16 và INT8 của tất cả model detection YOLO26, cũng như model YOLO26n cho năm tác vụ khác. Tất cả giá trị đều được đo trên một GPU NVIDIA RTX PRO 6000 Blackwell Server Edition.

Thời gian tính bằng mili giây trên mỗi ảnh; thấp hơn là tốt hơn. Định dạng nhanh nhất của mỗi model được in đậm; engine INT8 YOLO26x bị loại trừ vì độ chính xác không ổn định.

ModelimgszPyTorchTensorRT FP32TensorRT FP16TensorRT INT8
YOLO26n6402.850.670.480.53
YOLO26s6402.981.150.610.66
YOLO26m6403.292.221.031.08
YOLO26l6404.703.031.491.43
YOLO26x6405.934.312.091.84
YOLO26n-seg6403.180.930.650.72
YOLO26n-sem10241.740.740.450.71
YOLO26n-cls2241.750.290.240.20
YOLO26n-pose6403.390.760.510.59
YOLO26n-obb10244.551.030.640.88
  • FP16 giữ độ chính xác của FP32 trong phạm vi 0.1 điểm trên mọi model. Với các model phát hiện, FP16 chạy nhanh hơn engine FP32 từ 1.4 đến 2.2 lần và nhanh hơn PyTorch từ 2.8 đến 5.9 lần.
  • INT8 có độ trễ nằm trong phạm vi 12% so với FP16 trên các model phát hiện, đồng thời giảm 1.7 đến 2.9 mAP trên YOLO26n, YOLO26s, YOLO26m và YOLO26l. Trên GPU này, INT8 chỉ nhanh hơn FP16 với YOLO26l, YOLO26x và YOLO26n-cls.
  • Độ chính xác của YOLO26x INT8 giảm xuống khoảng 25.3 đến 38.5 mAP qua ba bản build, so với 57.5 ở FP32. YOLO26n-pose INT8 giảm từ 56.7 xuống 33.4 pose mAP. Hãy xác thực từng engine INT8 trên dữ liệu của bạn trước khi triển khai.
  • Các engine FP32 và FP16 của YOLO26n và YOLO26s trên TensorRT 10.16 đạt độ chính xác tương đương với TensorRT 11.4. Engine FP16 nhanh hơn khoảng 7%, còn engine FP32 chậm hơn từ 4% đến 9% so với TensorRT 11.4.

Để biết thêm về NVIDIA Jetson và DGX Spark, xem các benchmark Jetson và hướng dẫn DGX Spark.

Được đo bằng ultralytics 8.4.211, TensorRT 11.4.0, PyTorch 2.15.0 và CUDA 13.2 tại batch=1 vào ngày 13 tháng 11 năm 2026. Độ trễ là thời gian của giai đoạn suy luận do val báo cáo, không bao gồm tiền xử lý hoặc hậu xử lý.

Giới thiệu về TensorRT#

TensorRT tạo engine bằng cách hợp nhất các layer, chọn kernel nhanh nhất cho mỗi layer trên GPU dùng để build, và tùy chọn giảm độ chính xác xuống FP16 hoặc INT8. Xem tài liệu TensorRT để tham khảo đầy đủ.

NVIDIA TensorRT connecting deep learning frameworks to NVIDIA data center GPUs, Jetson, and DLA hardware

Câu hỏi thường gặp#

  • Chỉ trên GPU cùng model và cùng phiên bản TensorRT. Engine được build cho một model GPU và một phiên bản TensorRT cụ thể. Để dùng chung một file trên nhiều phần cứng khác nhau, hãy xuất sang ONNX rồi build engine trên từng thiết bị. Với NVIDIA Jetson, Ultralytics Platform có thể build engine cho tám mục tiêu Jetson.

  • Hãy bắt đầu với FP16 (quantize=16). FP16 không cần dữ liệu hiệu chuẩn và giữ được độ chính xác FP32. Trong các benchmark chạy trên NVIDIA RTX PRO 6000 Blackwell với TensorRT 11.4, FP16 giảm độ trễ của YOLO26s từ 1.15 ms xuống 0.61 ms cho mỗi ảnh, trong khi vẫn đạt 48.5 mAPval 50-95. INT8 (quantize=8) chạy ở mức 0.66 ms và đạt 46.3 mAPval 50-95, nên không nhanh hơn FP16 trên GPU đó; INT8 cũng cần dữ liệu hiệu chuẩn đại diện, trừ khi checkpoint được huấn luyện với quantize=8. INT8 có thể hữu ích trên phần cứng khác: các benchmark Jetson liệt kê kết quả FP16 và INT8 cho thiết bị nhúng. Hãy đo cả hai độ chính xác số học trên thiết bị triển khai trước khi chọn INT8.

  • Xuất model với dynamic=True và đặt batch thành batch lớn nhất bạn dự định chạy. Khi đó, engine chấp nhận batch từ 1 đến batch và kích thước ảnh từ 32 pixel đến gấp đôi giá trị imgsz khi xuất; mức tối thiểu sẽ cao hơn đối với engine INT8 động trên GPU đời cũ. Nếu không có dynamic=True, engine chỉ có một hình dạng đầu vào cố định, và Ultralytics sẽ chia nhỏ hoặc đệm từng batch để phù hợp.

    Engine động
    from ultralytics import YOLO
    
    model = YOLO("yolo26n.pt")
    model.export(format="engine", dynamic=True, batch=8, quantize=16)
    
    model = YOLO("yolo26n.engine")
    results = model(["https://ultralytics.com/images/bus.jpg"] * 4, batch=4)  # một batch gồm 4 ảnh
  • Chạy quá trình xuất ngay trên Jetson bằng phiên bản TensorRT đi kèm bản phát hành JetPack của bạn. Để sử dụng lõi DLA, thêm device=dla:0 cùng với quantize=16 hoặc quantize=8. Xem hướng dẫn NVIDIA Jetson để biết cách thiết lập và benchmark.

    Xuất trên Jetson
    from ultralytics import YOLO
    
    model = YOLO("yolo26n.pt")
    model.export(format="engine", quantize=16)  # engine FP16 trên GPU Jetson
    
    # Hoặc build engine FP16 cho lõi DLA 0
    model.export(format="engine", quantize=16, device="dla:0")
  • Hướng dẫn Triton Inference Server xuất model sang ONNX và bật bộ tăng tốc TensorRT của Triton trong config.pbtxt. Khi tải lần đầu, Triton sẽ build engine TensorRT trên GPU của server rồi lưu vào bộ nhớ đệm, nhờ đó engine luôn tương thích với GPU và phiên bản TensorRT trên server. Hướng dẫn trình bày cấu trúc thư mục model, container của server và cách suy luận từ client bằng Ultralytics.

Bình luận116

Đặt câu hỏi, chia sẻ kết quả hoặc giúp đỡ người khác.

  1. AgbajeAyomipoGitHub

    Hi Ultralytics team, I’ve trained a YOLOv11 model on (1024x1024) images from a camera feed and now I’m trying to run real-time inference on live streams using a Jetson Orin Nano. I want to maintain full resolution for inference because of accuracy requirements, but currently I'm getting only 1-2 FPS. When I reduce the input size, the FPS improves significantly, but it's not acceptable due to missed detections at lower resolutions. I attempted to export the model to TensorRT using:

    model.export(format="engine", imgsz=(2592, 1944), half=True) but it fails silently. If I use a dynamic=true without specifying the imgsz parameter, the export succeeds and uses (1024, 1024). My questions:

    Is TensorRT export for such high-resolution input supported/recommended with YOLOv11? If not, is there any known limitation or workaround? Are there ways to improve performance with high-res inference on Jetson Orin Nano? What hardware would you recommend for real-time inference on 1-3 camera streams with 5MP inputs, assuming we need at least ~15-20 FPS per stream? Device: AAEON BOXER-8621AI Module: NVIDIA® Jetson Orin Nano™ (4GB LPDDR5, Super Mode Enabled) Memory: 4 GB LPDDR5 I/O: USB 3.2 Gen 2, M.2 Expansion Operating System: JetPack 5.1.4 (L4T 35.6.0, Ubuntu 20.04) Use Case: Real-time multi-stream 5MP video inference

    1
  2. AgbajeAyomipoGitHub

    Hi Ultralytics team, I’ve trained a YOLOv11 model on full-size 5MP (2592x1944) images from a camera feed and now I’m trying to run real-time inference on live streams using a Jetson Orin Nano. I want to maintain full resolution for inference because of accuracy requirements, but currently I'm getting only 1-2 FPS. When I reduce the input size, the FPS improves significantly, but it's not acceptable due to missed detections at lower resolutions. I attempted to export the model to TensorRT using:

    model.export(format="engine", imgsz=(2592, 1944), half=True) but it fails silently. If I use a dynamic=true, the export succeeds and uses (1024, 1024). My questions:

    1. Is TensorRT export for such high-resolution input supported/recommended with YOLOv11? If not, is there any known limitation or workaround?
    2. Are there ways to improve performance with high-res inference on Jetson Orin Nano?
    3. What hardware would you recommend for real-time inference on 1-3 camera streams with 5MP inputs, assuming we need at least ~15-20 FPS per stream? Device: AAEON BOXER-8621AI Module: NVIDIA® Jetson Orin Nano™ (4GB LPDDR5, Super Mode Enabled) Memory: 4 GB LPDDR5 I/O: USB 3.2 Gen 2, M.2 Expansion Operating System: JetPack 5.1.4 (L4T 35.6.0, Ubuntu 20.04) Use Case: Real-time multi-stream 5MP video inference
    1
  3. 020423lzlGitHub

    m的模型大小比n大的多,速度也慢了很多,输入图像尺寸越大,越吃显存,速度也越慢

    李子乐控制工程 @.***

    ---Original--- From: @.> Date: Sat, May 9, 2026 10:30 AM To: @.>; Cc: @.@.>; Subject: Re: [ultralytics/ultralytics] zh/integrations/tensorrt/ (Discussion #9868)

    现在有一个奇怪的现象,我导出的tensorrt模型的推理速度几乎和原来的.pt几乎没有差别甚至更慢,并且导出的tensorrt模型的推理结果和.pt模型的差别很大。 我的设备是i914900k+64G RAM+RTX A6000 我的环境是cuda12.4.131+tensorrt10.10.0.31+torch2.5.1+ultralytics8.3.252 导出命令: yolo export model=yolo11m.pt imgsz=1280 format='engine 推理代码为: model.predict(stream_path, imgsz=1280, classes=[14], conf=0.2, iou=0.5, stream=True, task='detect')

    另外我试了下yolo11n.pt的640输入尺寸导出,推理速度就有明显提升,当然推理结果差别仍然较大。 请问这是什么道理,有什么解决办法?

    — Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android. You are receiving this because you commented.Message ID: @.***>

    1. User

      能不能读完再说话,肯定是m和m比,n和n比,同样尺寸输入和同样尺寸输入的比啊。 该显卡的RT core算力是普通fp32算力的近两倍。

    2. Glenn JocherUltralytics

      是的,性能应当在同一模型、同一 imgsz、同一 batch、同一后处理参数下比较;m 比 n 更大、1280 比 640 更吃显存且更慢是正常现象。对 RTX A6000 来说,FP32 的 TensorRT 往往不会比 .pt 明显更快,建议先按 TensorRT 导出文档 用 half=True 重新导出,并在相同输入上预热后再统计平均耗时;如果 engine 与 .pt 结果仍明显不一致,请贴出 !yolo checks、完整控制台日志文本和一个最小可复现示例,我们好继续排查环境或后处理差异。

  4. User

    现在有一个奇怪的现象,我导出的tensorrt模型的推理速度几乎和原来的.pt几乎没有差别甚至更慢,并且导出的tensorrt模型的推理结果和.pt模型的差别很大。 我的设备是i914900k+64G RAM+RTX A6000 我的环境是cuda12.4.131+tensorrt10.10.0.31+torch2.5.1+ultralytics8.3.252 导出命令: yolo export model=yolo11m.pt imgsz=1280 format='engine 推理代码为:

    model.predict(stream_path, imgsz=1280, classes=[14], conf=0.2, iou=0.5, stream=True, task='detect')

    另外我试了下yolo11n.pt的640输入尺寸导出,推理速度就有明显提升,当然推理结果差别仍然较大。 请问这是什么道理,有什么解决办法?

  5. 020423lzlGitHub

    etson@yahboom:~/ultralytics/ultralytics$ yolo predict model=best.engine source=0 save=False show WARNING ⚠️ Unable to automatically guess model task, assuming 'task=detect'. Explicitly define task for your model, i.e. 'task=detect', 'segment', 'classify','pose' or 'obb'. Ultralytics 8.3.172 🚀 Python-3.10.12 torch-2.5.0a0+872d972e41.nv24.08 CUDA:0 (Orin, 7620MiB) Loading best.engine for TensorRT inference... [12/18/2025-17:11:05] [TRT] [I] Loaded engine size: 75 MiB [12/18/2025-17:11:05] [TRT] [I] [MS] Running engine with multi stream info [12/18/2025-17:11:05] [TRT] [I] [MS] Number of aux streams is 7 [12/18/2025-17:11:05] [TRT] [I] [MS] Number of total worker streams is 8 [12/18/2025-17:11:05] [TRT] [I] [MS] The main stream provided by execute/enqueue calls is the first worker stream [12/18/2025-17:11:05] [TRT] [I] [MemUsageChange] TensorRT-managed allocation in IExecutionContext creation: CPU +1, GPU +88, now: CPU 1, GPU 158 (MiB)

    [ WARN:0@2.771] global cap_gstreamer.cpp:1777 open OpenCV | GStreamer warning: Cannot query video position: status=0, value=-1, duration=-1 1/1: 0... Success ✅ (inf frames of shape 1920x1080 at 5.00 FPS)

    Traceback (most recent call last): File "/home/jetson/.local/bin/yolo", line 7, in sys.exit(entrypoint()) File "/home/jetson/Downloads/ultralytics-main/ultralytics/cfg/init.py", line 983, in entrypoint getattr(model, mode)(**overrides) # default args from model File "/home/jetson/Downloads/ultralytics-main/ultralytics/engine/model.py", line 555, in predict return self.predictor.predict_cli(source=source) if is_cli else self.predictor(source=source, stream=stream) File "/home/jetson/Downloads/ultralytics-main/ultralytics/engine/predictor.py", line 247, in predict_cli for _ in gen: # sourcery skip: remove-empty-nested-block, noqa File "/usr/local/lib/python3.10/dist-packages/torch/utils/_contextlib.py", line 36, in generator_context response = gen.send(None) File "/home/jetson/Downloads/ultralytics-main/ultralytics/engine/predictor.py", line 351, in stream_inference s[i] += self.write_results(i, Path(paths[i]), im, s) File "/home/jetson/Downloads/ultralytics-main/ultralytics/engine/predictor.py", line 434, in write_results string += f"{result.verbose()}{result.speed['inference']:.1f}ms" File "/home/jetson/Downloads/ultralytics-main/ultralytics/engine/results.py", line 694, in verbose return "".join(f"{n} {self.names[i]}{'s' * (n > 1)}, " for i, n in enumerate(counts) if n > 0) File "/home/jetson/Downloads/ultralytics-main/ultralytics/engine/results.py", line 694, in return "".join(f"{n} {self.names[i]}{'s' * (n > 1)}, " for i, n in enumerate(counts) if n > 0) KeyError: 171 terminate called without an active exception Aborted (core dumped) jetson@yahboom:~/ultralytics/ultralytics$ How to solve it

    1. Glenn JocherUltralytics

      KeyError: 171 表示模型输出了类别 171,但当前 names 里没有这个索引(通常是自定义数据集的标签类别编号不在 0..nc-1 范围内、data.yaml 里的 names 数量与 nc 不匹配,或导出/推理用的模型与数据配置不一致导致的元数据错配);请先把所有标注 .txt 的 class id 修正为连续的 0..nc-1,同步修正 data.yaml 的 nc/names,修正后删除数据集 labels/ 下的 *.cache,再用同一套环境从 best.pt 重新导出 .engine(参考 TensorRT 导出文档),并在推理时显式加上 task=detect。另外请把下面命令的完整输出(文本)贴在这个 discussion 里,以及你当时的导出命令,方便我们确认是否有多环境/路径冲突:

      yolo checks
    2. 020423lzlGitHub

      Thank you for your reply. The issue has been resolved. I was using the RT-DETR model, but I mistakenly used "from ultralytics import YOLO" when exporting

    3. Glenn JocherUltralytics

      Glad you found it — RT-DETR models should be loaded/exported with RTDETR(...) (mixing them with YOLO(...) can produce mismatched metadata like names), see the RT-DETR model docs for details:

      from ultralytics import RTDETR
      
      model = RTDETR("best.pt")
      model.export(format="engine")  # creates best.engine
  6. fly2skyToEnjoyGitHub

    May I ask : The following command exports the file, whether the box and mask are both nmsed at the same time ???

    from ultralytics import YOLO

    Load the YOLO11 model

    model = YOLO("yolo11n.pt")

    Export the model to TensorRT format

    model.export(format="engine") # creates 'yolo11n.engine'

    Load the exported TensorRT model

    tensorrt_model = YOLO("yolo11n.engine")

    Run inference

    results = tensorrt_model("https://ultralytics.com/images/bus.jpg")

  7. dilanpatel195GitHub

    I am trying to prediction model for the YOLOv11n-seg, I have exported the .py to .engine to back it run faster but keep getting a KEY error message:


    KeyError Traceback (most recent call last) Cell In[4], line 109 106 # Inside the main loop after grabbing a frame 107 if inference_active and not inpainting_active: 108 # Perform YOLO inference --> 109 results = model(rgb_frame)[0] 110 masked_image = rgb_frame.copy() # Make a copy for masking 112 # Process YOLO masks (original functionality remains unchanged)

    File c:\ProgramData\miniconda3\Lib\site-packages\ultralytics\engine\model.py:176, in Model.call(self, source, stream, **kwargs) 147 def call( 148 self, 149 source: Union[str, Path, int, Image.Image, list, tuple, np.ndarray, torch.Tensor] = None, 150 stream: bool = False, 151 **kwargs, 152 ) -> list: 153 """ 154 Alias for the predict method, enabling the model instance to be callable for predictions. 155 (...) 174 ... print(f"Detected {len(r)} objects in image") 175 """ --> 176 return self.predict(source, stream, **kwargs)

    File c:\ProgramData\miniconda3\Lib\site-packages\ultralytics\engine\model.py:554, in Model.predict(self, source, stream, predictor, **kwargs) 552 if prompts and hasattr(self.predictor, "set_prompts"): # for SAM-type models 553 self.predictor.set_prompts(prompts) --> 554 return self.predictor.predict_cli(source=source) if is_cli else self.predictor(source=source, stream=stream)

    File c:\ProgramData\miniconda3\Lib\site-packages\ultralytics\engine\predictor.py:168, in BasePredictor.call(self, source, model, stream, *args, **kwargs) 166 return self.stream_inference(source, model, *args, **kwargs) 167 else: --> 168 return list(self.stream_inference(source, model, *args, **kwargs))

    File c:\ProgramData\miniconda3\Lib\site-packages\torch\utils_contextlib.py:36, in _wrap_generator..generator_context(*args, **kwargs) 33 try: 34 # Issuing None to a generator fires it up 35 with ctx_factory(): ---> 36 response = gen.send(None) 38 while True: 39 try: 40 # Forward the response to our caller and get its next request

    File c:\ProgramData\miniconda3\Lib\site-packages\ultralytics\engine\predictor.py:274, in BasePredictor.stream_inference(self, source, model, *args, **kwargs) 268 self.results[i].speed = { 269 "preprocess": profilers[0].dt * 1e3 / n, 270 "inference": profilers[1].dt * 1e3 / n, 271 "postprocess": profilers[2].dt * 1e3 / n, 272 } 273 if self.args.verbose or self.args.save or self.args.save_txt or self.args.show: --> 274 s[i] += self.write_results(i, Path(paths[i]), im, s) 276 # Print batch results 277 if self.args.verbose:

    File c:\ProgramData\miniconda3\Lib\site-packages\ultralytics\engine\predictor.py:334, in BasePredictor.write_results(self, i, p, im, s) 332 result = self.results[i] 333 result.save_dir = self.save_dir.str() # used in other locations --> 334 string += f"{result.verbose()}{result.speed['inference']:.1f}ms" 336 # Add predictions to image 337 if self.args.save or self.args.show:

    File c:\ProgramData\miniconda3\Lib\site-packages\ultralytics\engine\results.py:663, in Results.verbose(self) 661 for c in boxes.cls.unique(): 662 n = (boxes.cls == c).sum() # detections per class --> 663 log_string += f"{n} {self.names[int(c)]}{'s' * (n > 1)}, " 664 return log_string

    KeyError: 2

    Any help would be greatly appreciated!

  8. Ranjith3436GitHub

    Now, My TensorRT Sengment model used for track. if any detections not there the processing FPS is 75-80 in jetson. But once the person or people detected suddenly reused to 15-20. processing time going to 40ms. only when the object detected. What's the issue in model.track(), could i run all the tracking thing on GPU.

    1. Glenn JocherUltralytics(đã chỉnh sửa)

      @Ranjith3436 the performance drop when objects are detected is expected behavior, as tracking introduces additional computational overhead. When objects are detected, the model.track() method performs several CPU-bound operations including feature extraction, association, and trajectory management.

      To improve performance:

      1. Try using a smaller model variant (like YOLO26n-seg instead of larger variants)
      2. Consider reducing the image resolution for tracking
      3. Optimize tracking parameters by setting persist=True and adjusting conf thresholds higher to track fewer objects
      4. Use half=True (FP16) or int8=True when exporting your model to TensorRT for maximum GPU acceleration

      For the tracking components specifically, the BoT-SORT or ByteTrack algorithms used by Ultralytics do have some CPU-bound operations, but you can minimize their impact with the above optimizations. For more details on tracking optimization, check our tracking documentation.

      1
  9. Ranjith3436GitHub

    I convert Classification model that i retrained. But it throw the error "amax(): Expected reduction dim 1 to have non-zero size."

    1. Glenn JocherUltralytics

      @Ranjith3436 this error typically occurs when TensorRT encounters an empty dimension during model conversion. For classification models, this could happen if:

      1. Your model architecture was modified or if you're using a custom architecture
      2. There might be an issue with batch normalization layers during export
      3. The class count in your retrained model might be causing dimension mismatches

      Try these solutions:

      • Ensure your model's forward pass works correctly before export
      • Try exporting with simplify=False to preserve the original graph structure
      • Check if your classification model has the correct output dimension for your number of classes

      If the issue persists, share more details about your model architecture and export command for better assistance. For more guidance, refer to our TensorRT integration documentation.

    2. Ranjith3436GitHub

      The model trained use yolov8l-cls.pt and the error come from jetson device.

      (model): ClassificationModel( (model): Sequential( (0): Conv( (conv): Conv2d(3, 64, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False) (bn): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (1): Conv( (conv): Conv2d(64, 128, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False) (bn): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (2): C2f( (cv1): Conv( (conv): Conv2d(128, 128, kernel_size=(1, 1), stride=(1, 1), bias=False) (bn): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (cv2): Conv( (conv): Conv2d(320, 128, kernel_size=(1, 1), stride=(1, 1), bias=False) (bn): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (m): ModuleList( (0-2): 3 x Bottleneck( (cv1): Conv( (conv): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False) (bn): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (cv2): Conv( (conv): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False) (bn): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) ) ) ) (3): Conv( (conv): Conv2d(128, 256, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False) (bn): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (4): C2f( (cv1): Conv( (conv): Conv2d(256, 256, kernel_size=(1, 1), stride=(1, 1), bias=False) (bn): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (cv2): Conv( (conv): Conv2d(1024, 256, kernel_size=(1, 1), stride=(1, 1), bias=False) (bn): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (m): ModuleList( (0-5): 6 x Bottleneck( (cv1): Conv( (conv): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False) (bn): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (cv2): Conv( (conv): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False) (bn): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) ) ) ) (5): Conv( (conv): Conv2d(256, 512, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False) (bn): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (6): C2f( (cv1): Conv( (conv): Conv2d(512, 512, kernel_size=(1, 1), stride=(1, 1), bias=False) (bn): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (cv2): Conv( (conv): Conv2d(2048, 512, kernel_size=(1, 1), stride=(1, 1), bias=False) (bn): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (m): ModuleList( (0-5): 6 x Bottleneck( (cv1): Conv( (conv): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False) (bn): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (cv2): Conv( (conv): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False) (bn): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) ) ) ) (7): Conv( (conv): Conv2d(512, 1024, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False) (bn): BatchNorm2d(1024, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (8): C2f( (cv1): Conv( (conv): Conv2d(1024, 1024, kernel_size=(1, 1), stride=(1, 1), bias=False) (bn): BatchNorm2d(1024, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (cv2): Conv( (conv): Conv2d(2560, 1024, kernel_size=(1, 1), stride=(1, 1), bias=False) (bn): BatchNorm2d(1024, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (m): ModuleList( (0-2): 3 x Bottleneck( (cv1): Conv( (conv): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False) (bn): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (cv2): Conv( (conv): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False) (bn): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) ) ) ) (9): Classify( (conv): Conv( (conv): Conv2d(1024, 1280, kernel_size=(1, 1), stride=(1, 1), bias=False) (bn): BatchNorm2d(1280, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (pool): AdaptiveAvgPool2d(output_size=1) (drop): Dropout(p=0.0, inplace=True) (linear): Linear(in_features=1280, out_features=2, bias=True) ) ) ) )

      model architecture