Xuất model YOLO26 sang TensorRT
TensorRT là SDK của NVIDIA dành cho suy luận học sâu tốc độ cao. Việc xuất một model Ultralytics YOLO26 bằng format="engine" sẽ tạo ra tệp .engine, được tối ưu hóa cho GPU NVIDIA dùng để xây dựng tệp đó, với độ chính xác FP32, FP16 hoặc INT8.
TensorRT tinh chỉnh engine cho GPU dùng để xây dựng engine đó. Hãy xây dựng engine trên GPU triển khai hoặc trên một GPU cùng model, với cùng phiên bản TensorRT; tệp .engine không phải định dạng model có tính di động. Để triển khai trên edge, Ultralytics Platform cung cấp tám lựa chọn đích Jetson, mỗi lựa chọn đều có trạng thái xây dựng và xác thực trên thiết bị thực được ghi lại; hoặc bạn có thể export trực tiếp trên thiết bị đích.
Tổng quan nhanh#
| Thuộc tính | Chi tiết |
|---|---|
Đối số format | engine (bí danh: tensorrt, trt) |
| Đầu ra | yolo26n.engine, một tệp bắt đầu bằng phần đầu metadata JSON (tên lớp, tác vụ, kích thước ảnh). Tệp trung gian yolo26n.onnx nằm cùng thư mục với tệp này |
| Chạy trên | GPU NVIDIA: trung tâm dữ liệu, workstation và Jetson, bao gồm các lõi DLA của Jetson (không có trên TensorRT 11) |
| Runtime | TensorRT 7.0 trở lên (không hỗ trợ 10.2.0) |
| Precision | FP32, FP16, INT8 |
| Máy export | Máy có GPU NVIDIA và CUDA. Hãy xây dựng trên GPU triển khai hoặc GPU cùng model |
Ultralytics Platform có thể xây dựng engine TensorRT cho bạn trên loại GPU đã chọn, bao gồm các đích NVIDIA Jetson, nên bạn không cần môi trường export cục bộ.
Bắt đầu nhanh#
Cài package Ultralytics trên máy có GPU NVIDIA và CUDA. Trên Linux, lần export đầu tiên sẽ cài package TensorRT Python tương thích với phiên bản CUDA nếu package này chưa có. Trên NVIDIA Jetson, hãy dùng phiên bản TensorRT đi kèm JetPack. Trên Windows, hãy tự cài TensorRT trước khi export.
pip install ultralyticsĐể xem các cách cài đặt khác, hãy xem hướng dẫn cài đặt. Sau đó export model và tải engine đã export để chạy suy luận hoặc xác thực độ chính xác. Suy luận và xác thực cần GPU NVIDIA. Xây dựng engine YOLO26n mất từ một đến ba phút trên NVIDIA T4.
from ultralytics import YOLO
# Nạp model YOLO26
model = YOLO("yolo26n.pt")
# Export model sang định dạng TensorRT
model.export(format="engine") # # tạo 'yolo26n.engine'
# Hoặc export engine FP16
model.export(format="engine", quantize=16) # # tạo 'yolo26n.engine'from ultralytics import YOLO
# Tải model TensorRT đã export
model = YOLO("yolo26n.engine")
# Chạy suy luận
results = model("https://ultralytics.com/images/bus.jpg")from ultralytics import YOLO
# Tải model TensorRT đã export
model = YOLO("yolo26n.engine")
# # Đánh giá độ chính xác trên bộ dữ liệu COCO8
metrics = model.val(data="coco8.yaml")Các tác vụ được hỗ trợ#
Export TensorRT hỗ trợ cả bảy tác vụ Ultralytics với các model YOLOv8, YOLO11 và YOLO26: detection, segmentation, segmentation ngữ nghĩa, ước lượng độ sâu, phân loại, ước lượng pose và OBB. Segmentation ngữ nghĩa và ước lượng độ sâu chỉ có trên YOLO26, dòng model duy nhất có các head này.
Các tham số xuất model#
| Đối số | Kiểu | Mặc định | Mô tả |
|---|---|---|---|
format | str | 'engine' | Định dạng đích của model đã xuất, xác định khả năng tương thích với nhiều môi trường triển khai. |
imgsz | int hoặc tuple | 640 | Kích thước ảnh mong muốn cho đầu vào model. Có thể là số nguyên cho ảnh vuông hoặc tuple (height, width) để chỉ định kích thước cụ thể. |
quantize | int hoặc str | None | Độ chính xác lượng tử hóa: 16 (FP16) hoặc 8 (INT8/PTQ; cần data/fraction để hiệu chuẩn); 32/không đặt sẽ dùng FP32. Checkpoint được huấn luyện với quantize=8 sẽ export INT8 từ các dải giá trị sẵn có, không cần hiệu chuẩn, kể cả khi không đặt quantize; quantize=16 hoặc quantize=32 sẽ gây lỗi. Thay thế các cờ half/int8 đã lỗi thời. |
dynamic | bool | False | Xây dựng engine chấp nhận batch từ 1 đến batch và kích thước ảnh từ 32 pixel đến gấp đôi imgsz; mức tối thiểu cao hơn đối với engine INT8 động trên GPU cũ. Khi False, engine chỉ chấp nhận giá trị export batch và imgsz. |
simplify | bool | True | Đơn giản hóa đồ thị model bằng onnxslim, có khả năng cải thiện hiệu năng và khả năng tương thích. |
opset | int | None | Chỉ định phiên bản ONNX opset cho đồ thị ONNX trung gian. Nếu không được thiết lập, phiên bản opset 18 sẽ được sử dụng (thấp hơn trên PyTorch < 2.4), tối đa bằng phiên bản onnx đã cài đặt. |
workspace | float hoặc None | None | Giới hạn trên tính bằng GiB cho bộ nhớ TensorRT sử dụng khi xây dựng engine. Để None để TensorRT tự động cấp phát bộ nhớ. |
nms | bool, không bắt buộc | None | Chọn đầu ra thô (None, mặc định), NMS nhúng (True) hoặc head không dùng NMS (False). Với nms=True, conf (mặc định 0.25), iou, max_det và agnostic_nms được cố định khi export; nms=True bị bỏ qua với model segmentation ngữ nghĩa và ước lượng độ sâu, đồng thời gây lỗi với model phân loại. |
batch | int | 1 | Kích thước batch của engine hoặc kích thước batch tối đa với dynamic=True. Đây cũng là kích thước batch dùng để hiệu chuẩn INT8. |
data | str | None | Đường dẫn đến YAML của dataset, dùng để hiệu chuẩn INT8; riêng tác vụ phân loại nhận thư mục dataset hoặc tên dataset tích hợp sẵn. Quá trình hiệu chuẩn dùng split val, trừ khi đặt split. Nếu bỏ qua với quantize=8, Ultralytics sẽ dùng dataset mặc định nhỏ cho tác vụ của model, chẳng hạn coco8.yaml cho detection; checkpoint được huấn luyện với quantize=8 thì không cần dataset. |
fraction | float, int hoặc list | 1.0 | Tập con hiệu chuẩn dưới dạng tỷ lệ, số lượng ảnh hoặc tỷ lệ/số lượng [train, val, test]. Danh sách gồm hai mục giữ test ở dạng đầy đủ, còn 0 sẽ bỏ qua mục này. |
device | str | None | Chỉ định thiết bị dùng để export: GPU (device=0, được dùng khi không đặt), DLA cho NVIDIA Jetson (device=dla:0 hoặc device=dla:1, cùng với quantize=16 hoặc quantize=8). |
Trên NVIDIA Jetson, Ultralytics export bằng runtime TensorRT của bản JetPack bạn đang dùng. Trên JetPack 7, quá trình export cần TensorRT 10.15 trở lên nhưng thấp hơn 11. device=dla:0 và device=dla:1 gây lỗi trên TensorRT 11. NVIDIA ghi nhận TensorRT 10.7 là bản phát hành 10.x cuối cùng có hỗ trợ DLA, còn TensorRT 11.4.1 bổ sung hỗ trợ JetPack 7.2.2, hiện Ultralytics chưa sử dụng.
Để biết các đối số dùng chung cho mọi định dạng, hãy xem tài liệu chế độ Export.
Xuất TensorRT với lượng tử hóa INT8#
quantize=8 xây dựng engine INT8 bằng phương pháp lượng tử hóa sau huấn luyện (PTQ): quá trình export chạy các ảnh hiệu chuẩn qua model để đo dải giá trị của từng tensor. Checkpoint được tinh chỉnh bằng quantize=8 thông qua huấn luyện có nhận biết lượng tử hóa đã có sẵn các dải giá trị INT8, vì vậy khi export sẽ bỏ qua bước hiệu chuẩn.
Các đối số quantize và data giống nhau trên mọi phiên bản TensorRT, nhưng cách export checkpoint không được huấn luyện với quantize=8 hoạt động bên dưới sẽ khác:
| TensorRT 7-10 | TensorRT 11 | |
|---|---|---|
| Phương pháp INT8 | Lượng tử hóa ngầm với giao diện IInt8Calibrator | Lượng tử hóa tường minh: NVIDIA ModelOpt chèn các node Q/DQ vào đồ thị ONNX |
| Thuật toán hiệu chuẩn | MINMAX_CALIBRATION trên GPU, ENTROPY_CALIBRATION_2 cho DLA | ModelOpt max, chạy trên CPU |
| Ảnh hiệu chuẩn được sử dụng | Mọi batch đầy đủ của split | Khoảng 512 ảnh theo thứ tự xáo trộn hoặc mọi batch đầy đủ của split nhỏ hơn |
dynamic=True với quantize=8 | Chưa được kiểm thử; export không có dynamic=True | Được hỗ trợ |
FP16 (quantize=16) | Cờ trình dựng TensorRT | Chuyển đổi độ chính xác hỗn hợp ModelOpt AutoCast |
ModelOpt được cài ở lần sử dụng đầu tiên. Ultralytics không tái sử dụng cache hiệu chuẩn, vì vậy mỗi lần export đều hiệu chuẩn lại. Để biết chi tiết về cả hai phương pháp, xem Làm việc với các kiểu dữ liệu đã lượng tử hóa trong tài liệu TensorRT.
Với checkpoint không được huấn luyện bằng quantize=8, hãy truyền ảnh hiệu chuẩn bằng data, chẳng hạn data="my_dataset.yaml". Quá trình hiệu chuẩn dùng split val của dataset đó, trừ khi bạn đặt split; fraction giới hạn số ảnh. NVIDIA khuyến nghị dùng ít nhất 500 ảnh đại diện cho dữ liệu triển khai; quá trình export sẽ ghi cảnh báo nếu số ảnh dưới 300. Nếu không có data, quá trình export sẽ ghi cảnh báo và dùng dataset mẫu nhỏ cho tác vụ của model, chẳng hạn coco8.yaml cho detection. Split validation của dataset này có 4 ảnh, đủ để kiểm tra quá trình export nhưng không đủ để hiệu chuẩn model dùng trong triển khai.
from ultralytics import YOLO
model = YOLO("yolo26n.pt")
# Hiệu chuẩn trên 10% số ảnh validation COCO (500 ảnh); thay coco.yaml bằng dataset của riêng bạn
model.export(format="engine", quantize=8, data="coco.yaml", fraction=0.1)
# Tải engine INT8 đã export và chạy suy luận
model = YOLO("yolo26n.engine")
result = model.predict("https://ultralytics.com/images/bus.jpg")Trên GPU dùng để benchmark, engine INT8 nhanh hơn engine FP32 từ 1,04 đến 2,3 lần, nhưng chỉ nhanh hơn engine FP16 ở ba trong số mười model. INT8 làm giảm mAP từ 1,7 đến 2,9 trên YOLO26n đến YOLO26l, và giảm nhiều hơn đáng kể trên YOLO26x và YOLO26n-pose. Engine INT8 của YOLO26n lớn hơn engine FP32 (30 MB so với 11 MB), trong khi các model lớn hơn có kích thước giảm (53 MB so với 103 MB đối với YOLO26l). INT8 cũng có thể làm thay đổi giá trị độ tin cậy, vì vậy hãy chọn ngưỡng độ tin cậy từ đường cong F1 riêng của engine INT8. Xem các benchmark của từng model.
Định dạng đầu ra#
Engine nhận một đầu vào tên images và trả về cùng các đầu ra như bản export ONNX được dùng để xây dựng engine, trừ một trường hợp: trên các phiên bản TensorRT cũ hơn 10, model segmentation trả về điểm số lớp dạng float có shape (batch, classes, height, width) thay cho bản đồ lớp uint8. Xem định dạng đầu ra ONNX để biết shape đầu ra của từng tác vụ và từng tùy chọn nms.
Tải engine bên ngoài Ultralytics#
Tệp .engine của Ultralytics không phải engine TensorRT thuần. Tệp bắt đầu bằng độ dài 4 byte theo thứ tự little-endian, tiếp theo là số byte JSON metadata tương ứng, rồi đến engine đã tuần tự hóa. deserialize_cuda_engine của TensorRT trả về None khi nhận toàn bộ tệp. Bỏ qua phần đầu để tải engine bằng API TensorRT:
import json
import tensorrt as trt
with open("yolo26n.engine", "rb") as f:
n = int.from_bytes(f.read(4), byteorder="little") # độ dài của phần đầu metadata
metadata = json.loads(f.read(n)) # tên lớp, tác vụ, imgsz, batch, các đối số export
engine = trt.Runtime(trt.Logger(trt.Logger.WARNING)).deserialize_cuda_engine(f.read())Khi một công cụ khác yêu cầu tệp engine TensorRT thuần, hãy ghi các byte sau phần đầu vào tệp mới hoặc xây dựng engine trong công cụ đó từ tệp yolo26n.onnx mà quá trình export để lại bên cạnh engine. Trên TensorRT 11, các bản export FP16 và INT8 đã hiệu chuẩn cũng để lại yolo26n.fp16.onnx và yolo26n.int8.onnx; hãy xây dựng engine INT8 trong công cụ khác từ tệp .int8.onnx. Với checkpoint được huấn luyện bằng quantize=8, yolo26n.onnx đã chứa các node Q/DQ và không có tệp .int8.onnx nào được ghi. Trên TensorRT 11, bản export đó để lại yolo26n.fp16.onnx, là cùng đồ thị Q/DQ nhưng các layer còn lại ở FP16.
Triển khai#
YOLO("yolo26n.engine") tải engine bằng runtime TensorRT Python. Engine chạy trên GPU 0 theo mặc định, kể cả khi bạn truyền device="cpu". Truyền device=1 để chạy trên một GPU khác cùng model. Engine được export với device=dla:0 hoặc device=dla:1 sẽ chạy trên lõi DLA đó.
Engine được export mà không có dynamic=True có shape đầu vào cố định. predict và val dùng imgsz của bản export và bỏ qua đối số imgsz khác biệt. Ultralytics chia batch lớn thành các batch có kích thước bằng kích thước export và đệm batch nhỏ hơn, vì vậy có thể xử lý số lượng ảnh bất kỳ. Engine được export với dynamic=True chấp nhận mọi kích thước batch và ảnh trong phạm vi, đồng thời báo lỗi ValueError: input size ... is outside the TensorRT optimization profile nếu shape nằm ngoài phạm vi. Với nms=True, batch vượt quá phạm vi sẽ được chia thành các batch có kích thước bằng kích thước export.
Hướng dẫn triển khai#
-
NVIDIA Triton Inference Server: Phục vụ bản export ONNX bằng bộ tăng tốc TensorRT của Triton, bộ này xây dựng engine trên GPU của server.
-
Hướng dẫn bắt đầu nhanh NVIDIA Jetson: Thiết lập Ultralytics trên thiết bị Jetson và export engine TensorRT bằng JetPack, bao gồm cả DLA.
-
Hướng dẫn bắt đầu nhanh NVIDIA DGX Spark: Thiết lập Ultralytics và TensorRT trên NVIDIA DGX Spark.
-
DeepStream trên NVIDIA Jetson: Chạy các model đã export trong pipeline video NVIDIA DeepStream.
-
NVIDIA TensorRT trên GitHub: Mã nguồn, mẫu và công cụ dành cho TensorRT.
Giới hạn và khắc phục sự cố#
- Engine không có tính di động: engine được xây dựng cho một model GPU và một phiên bản TensorRT. Hãy xây dựng lại khi thay đổi GPU, phiên bản TensorRT hoặc bản JetPack. Khi không thể tải engine, Ultralytics sẽ ghi
TensorRT model exported with a different version than expected. - Cần GPU: quá trình export dùng
device=0khi không đặtdevicevà thất bại vớiexport running on CPU but must be on GPUđối vớidevice=cpu. - Không thể tải engine trong các công cụ khác: tệp
.enginebắt đầu bằng phần đầu metadata nên API TensorRT không thể đọc trực tiếp. Xem Tải engine bên ngoài Ultralytics. - Phiên bản TensorRT: Ultralytics yêu cầu TensorRT 7.0.0 trở lên. TensorRT 10.2.0 không được hỗ trợ và trình cài đặt tự động sẽ bỏ qua phiên bản này. Trên JetPack 7 và hệ thống NVIDIA DGX, quá trình export cần TensorRT 10.15 trở lên (và thấp hơn 11 trên Jetson), đồng thời sẽ thử cài đặt nếu phiên bản hiện có nằm ngoài phạm vi đó.
- Head không dùng NMS trên TensorRT cũ: các phiên bản TensorRT cũ hơn 8.5.0 không thể xây dựng head YOLO26 không dùng NMS. Quá trình export sẽ ghi cảnh báo và tạo các dự đoán thô cần NMS. Hãy nâng cấp TensorRT lên 8.5.0 trở lên để export với
nms=False. - INT8 trên JetPack 6: với TensorRT 10.3.0 trên JetPack 6, export INT8 với
nms=Truesẽ thất bại, còn export INT8 vớinms=Falsesẽ quay về dự đoán thô. Xem hướng dẫn Jetson để biết cách khắc phục. - INT8 trên TensorRT 10.16: export INT8 bằng TensorRT 10.16.1 thất bại trên GPU NVIDIA RTX PRO 6000 Blackwell và RTX 6000D với
Could not find any implementation for node. Trên RTX PRO 6000 Blackwell, TensorRT 10.13, 10.14, 10.15 và 11.4 đã xây dựng được engine INT8. - DLA:
device=dla:0vàdevice=dla:1chỉ hoạt động trên NVIDIA Jetson và chỉ vớiquantize=16hoặcquantize=8. Quá trình export sẽ báo lỗi trên TensorRT 11. Các layer DLA không hỗ trợ sẽ chạy trên GPU. - Shape động:
dynamic=Truecần kích thước batch tối đa, vì vậy hãy đặt thêmbatch, chẳng hạnbatch=8. Nếu không đặt, quá trình export sẽ ghi cảnh báo và kích thước batch tối đa là 1. Engine chấp nhận batch từ 1 đếnbatchvà kích thước ảnh từ 32 pixel đến gấp đôiimgszcủa bản export. Ví dụ, engine được export vớiimgsz=320 batch=4chạy ở 640 pixel và từ chối 704 pixel hoặc batch 6 vớiinput size ... is outside the TensorRT optimization profile. Chỉ kết hợpdynamic=Truevớiquantize=8trên TensorRT 11. Trên GPU có compute capability 7.5 trở xuống, chẳng hạn T4, kích thước tối thiểu của các engine INT8 động này là 64 pixel (128 đối với model P6). - Kích thước đầu vào cố định: engine được export mà không có
dynamic=Trueluôn chạy ởimgszcủa bản export. Truyềnimgszkhác khi predict hoặc val không có tác dụng; hãy export lại để thay đổi kích thước đầu vào. - Export INT8 không có
data: trừ khi checkpoint được huấn luyện vớiquantize=8, quá trình export sẽ hiệu chuẩn bằng dataset mặc định nhỏ của tác vụ, vốn có 4 ảnh validation cho detection, và ghi cảnh báo. Hãy truyềndatacùng các ảnh đại diện; quá trình export sẽ cảnh báo nếu số ảnh dưới 300. - Suy luận đầu tiên chậm: một vài lần gọi đầu tiên với engine mới hoặc với
imgszmới trên engine động sẽ mất nhiều thời gian hơn các lần gọi sau.
Đối với các lỗi khác, hãy xem hướng dẫn về các sự cố thường gặp.
Benchmark#
Trang model YOLO26 liệt kê tốc độ TensorRT 10 của từng model trên GPU NVIDIA T4 cho mọi tác vụ ngoại trừ segmentation ngữ nghĩa.
So sánh FP32, FP16 và INT8#
Các bảng dưới đây so sánh PyTorch với engine TensorRT 11.4 FP32, FP16 và INT8 của tất cả model detection YOLO26, cũng như model YOLO26n cho năm tác vụ khác. Tất cả giá trị đều được đo trên một GPU NVIDIA RTX PRO 6000 Blackwell Server Edition.
Thời gian tính bằng mili giây trên mỗi ảnh; thấp hơn là tốt hơn. Định dạng nhanh nhất của mỗi model được in đậm; engine INT8 YOLO26x bị loại trừ vì độ chính xác không ổn định.
| Model | imgsz | PyTorch | TensorRT FP32 | TensorRT FP16 | TensorRT INT8 |
|---|---|---|---|---|---|
| YOLO26n | 640 | 2.85 | 0.67 | 0.48 | 0.53 |
| YOLO26s | 640 | 2.98 | 1.15 | 0.61 | 0.66 |
| YOLO26m | 640 | 3.29 | 2.22 | 1.03 | 1.08 |
| YOLO26l | 640 | 4.70 | 3.03 | 1.49 | 1.43 |
| YOLO26x | 640 | 5.93 | 4.31 | 2.09 | 1.84 |
| YOLO26n-seg | 640 | 3.18 | 0.93 | 0.65 | 0.72 |
| YOLO26n-sem | 1024 | 1.74 | 0.74 | 0.45 | 0.71 |
| YOLO26n-cls | 224 | 1.75 | 0.29 | 0.24 | 0.20 |
| YOLO26n-pose | 640 | 3.39 | 0.76 | 0.51 | 0.59 |
| YOLO26n-obb | 1024 | 4.55 | 1.03 | 0.64 | 0.88 |
- FP16 giữ độ chính xác của FP32 trong phạm vi 0.1 điểm trên mọi model. Với các model phát hiện, FP16 chạy nhanh hơn engine FP32 từ 1.4 đến 2.2 lần và nhanh hơn PyTorch từ 2.8 đến 5.9 lần.
- INT8 có độ trễ nằm trong phạm vi 12% so với FP16 trên các model phát hiện, đồng thời giảm 1.7 đến 2.9 mAP trên YOLO26n, YOLO26s, YOLO26m và YOLO26l. Trên GPU này, INT8 chỉ nhanh hơn FP16 với YOLO26l, YOLO26x và YOLO26n-cls.
- Độ chính xác của YOLO26x INT8 giảm xuống khoảng 25.3 đến 38.5 mAP qua ba bản build, so với 57.5 ở FP32. YOLO26n-pose INT8 giảm từ 56.7 xuống 33.4 pose mAP. Hãy xác thực từng engine INT8 trên dữ liệu của bạn trước khi triển khai.
- Các engine FP32 và FP16 của YOLO26n và YOLO26s trên TensorRT 10.16 đạt độ chính xác tương đương với TensorRT 11.4. Engine FP16 nhanh hơn khoảng 7%, còn engine FP32 chậm hơn từ 4% đến 9% so với TensorRT 11.4.
Để biết thêm về NVIDIA Jetson và DGX Spark, xem các benchmark Jetson và hướng dẫn DGX Spark.
Được đo bằng ultralytics 8.4.211, TensorRT 11.4.0, PyTorch 2.15.0 và CUDA 13.2 tại batch=1 vào ngày 13 tháng 11 năm 2026. Độ trễ là thời gian của giai đoạn suy luận do val báo cáo, không bao gồm tiền xử lý hoặc hậu xử lý.
Giới thiệu về TensorRT#
TensorRT tạo engine bằng cách hợp nhất các layer, chọn kernel nhanh nhất cho mỗi layer trên GPU dùng để build, và tùy chọn giảm độ chính xác xuống FP16 hoặc INT8. Xem tài liệu TensorRT để tham khảo đầy đủ.
Câu hỏi thường gặp#
Chỉ trên GPU cùng model và cùng phiên bản TensorRT. Engine được build cho một model GPU và một phiên bản TensorRT cụ thể. Để dùng chung một file trên nhiều phần cứng khác nhau, hãy xuất sang ONNX rồi build engine trên từng thiết bị. Với NVIDIA Jetson, Ultralytics Platform có thể build engine cho tám mục tiêu Jetson.
Hãy bắt đầu với FP16 (
quantize=16). FP16 không cần dữ liệu hiệu chuẩn và giữ được độ chính xác FP32. Trong các benchmark chạy trên NVIDIA RTX PRO 6000 Blackwell với TensorRT 11.4, FP16 giảm độ trễ của YOLO26s từ 1.15 ms xuống 0.61 ms cho mỗi ảnh, trong khi vẫn đạt 48.5 mAPval 50-95. INT8 (quantize=8) chạy ở mức 0.66 ms và đạt 46.3 mAPval 50-95, nên không nhanh hơn FP16 trên GPU đó; INT8 cũng cần dữ liệu hiệu chuẩn đại diện, trừ khi checkpoint được huấn luyện vớiquantize=8. INT8 có thể hữu ích trên phần cứng khác: các benchmark Jetson liệt kê kết quả FP16 và INT8 cho thiết bị nhúng. Hãy đo cả hai độ chính xác số học trên thiết bị triển khai trước khi chọn INT8.Xuất model với
dynamic=Truevà đặtbatchthành batch lớn nhất bạn dự định chạy. Khi đó, engine chấp nhận batch từ 1 đếnbatchvà kích thước ảnh từ 32 pixel đến gấp đôi giá trịimgszkhi xuất; mức tối thiểu sẽ cao hơn đối với engine INT8 động trên GPU đời cũ. Nếu không códynamic=True, engine chỉ có một hình dạng đầu vào cố định, và Ultralytics sẽ chia nhỏ hoặc đệm từng batch để phù hợp.Engine độngfrom ultralytics import YOLO model = YOLO("yolo26n.pt") model.export(format="engine", dynamic=True, batch=8, quantize=16) model = YOLO("yolo26n.engine") results = model(["https://ultralytics.com/images/bus.jpg"] * 4, batch=4) # một batch gồm 4 ảnhChạy quá trình xuất ngay trên Jetson bằng phiên bản TensorRT đi kèm bản phát hành JetPack của bạn. Để sử dụng lõi DLA, thêm
device=dla:0cùng vớiquantize=16hoặcquantize=8. Xem hướng dẫn NVIDIA Jetson để biết cách thiết lập và benchmark.Xuất trên Jetsonfrom ultralytics import YOLO model = YOLO("yolo26n.pt") model.export(format="engine", quantize=16) # engine FP16 trên GPU Jetson # Hoặc build engine FP16 cho lõi DLA 0 model.export(format="engine", quantize=16, device="dla:0")Hướng dẫn Triton Inference Server xuất model sang ONNX và bật bộ tăng tốc TensorRT của Triton trong
config.pbtxt. Khi tải lần đầu, Triton sẽ build engine TensorRT trên GPU của server rồi lưu vào bộ nhớ đệm, nhờ đó engine luôn tương thích với GPU và phiên bản TensorRT trên server. Hướng dẫn trình bày cấu trúc thư mục model, container của server và cách suy luận từ client bằng Ultralytics.
Bình luận116
Đặt câu hỏi, chia sẻ kết quả hoặc giúp đỡ người khác.
AgbajeAyomipo
Hi Ultralytics team, I’ve trained a YOLOv11 model on (1024x1024) images from a camera feed and now I’m trying to run real-time inference on live streams using a Jetson Orin Nano. I want to maintain full resolution for inference because of accuracy requirements, but currently I'm getting only 1-2 FPS. When I reduce the input size, the FPS improves significantly, but it's not acceptable due to missed detections at lower resolutions. I attempted to export the model to TensorRT using:
model.export(format="engine", imgsz=(2592, 1944), half=True) but it fails silently. If I use a dynamic=true without specifying the imgsz parameter, the export succeeds and uses (1024, 1024). My questions:
Is TensorRT export for such high-resolution input supported/recommended with YOLOv11? If not, is there any known limitation or workaround? Are there ways to improve performance with high-res inference on Jetson Orin Nano? What hardware would you recommend for real-time inference on 1-3 camera streams with 5MP inputs, assuming we need at least ~15-20 FPS per stream? Device: AAEON BOXER-8621AI Module: NVIDIA® Jetson Orin Nano™ (4GB LPDDR5, Super Mode Enabled) Memory: 4 GB LPDDR5 I/O: USB 3.2 Gen 2, M.2 Expansion Operating System: JetPack 5.1.4 (L4T 35.6.0, Ubuntu 20.04) Use Case: Real-time multi-stream 5MP video inference
1martinmclee
Have you gotten any workaround? Perhaps with the YOLO26?
AgbajeAyomipo
Hi Ultralytics team, I’ve trained a YOLOv11 model on full-size 5MP (2592x1944) images from a camera feed and now I’m trying to run real-time inference on live streams using a Jetson Orin Nano. I want to maintain full resolution for inference because of accuracy requirements, but currently I'm getting only 1-2 FPS. When I reduce the input size, the FPS improves significantly, but it's not acceptable due to missed detections at lower resolutions. I attempted to export the model to TensorRT using:
model.export(format="engine", imgsz=(2592, 1944), half=True)but it fails silently. If I use a dynamic=true, the export succeeds and uses (1024, 1024). My questions:- Is TensorRT export for such high-resolution input supported/recommended with YOLOv11? If not, is there any known limitation or workaround?
- Are there ways to improve performance with high-res inference on Jetson Orin Nano?
- What hardware would you recommend for real-time inference on 1-3 camera streams with 5MP inputs, assuming we need at least ~15-20 FPS per stream? Device: AAEON BOXER-8621AI Module: NVIDIA® Jetson Orin Nano™ (4GB LPDDR5, Super Mode Enabled) Memory: 4 GB LPDDR5 I/O: USB 3.2 Gen 2, M.2 Expansion Operating System: JetPack 5.1.4 (L4T 35.6.0, Ubuntu 20.04) Use Case: Real-time multi-stream 5MP video inference
1020423lzl
m的模型大小比n大的多,速度也慢了很多,输入图像尺寸越大,越吃显存,速度也越慢
李子乐控制工程 @.***
---Original--- From: @.> Date: Sat, May 9, 2026 10:30 AM To: @.>; Cc: @.@.>; Subject: Re: [ultralytics/ultralytics] zh/integrations/tensorrt/ (Discussion #9868)
现在有一个奇怪的现象,我导出的tensorrt模型的推理速度几乎和原来的.pt几乎没有差别甚至更慢,并且导出的tensorrt模型的推理结果和.pt模型的差别很大。 我的设备是i914900k+64G RAM+RTX A6000 我的环境是cuda12.4.131+tensorrt10.10.0.31+torch2.5.1+ultralytics8.3.252 导出命令: yolo export model=yolo11m.pt imgsz=1280 format='engine 推理代码为: model.predict(stream_path, imgsz=1280, classes=[14], conf=0.2, iou=0.5, stream=True, task='detect')
另外我试了下yolo11n.pt的640输入尺寸导出,推理速度就有明显提升,当然推理结果差别仍然较大。 请问这是什么道理,有什么解决办法?
— Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android. You are receiving this because you commented.Message ID: @.***>
User能不能读完再说话,肯定是m和m比,n和n比,同样尺寸输入和同样尺寸输入的比啊。 该显卡的RT core算力是普通fp32算力的近两倍。
Glenn JocherUltralytics是的,性能应当在同一模型、同一
imgsz、同一batch、同一后处理参数下比较;m比n更大、1280比640更吃显存且更慢是正常现象。对 RTX A6000 来说,FP32的 TensorRT 往往不会比.pt明显更快,建议先按 TensorRT 导出文档 用half=True重新导出,并在相同输入上预热后再统计平均耗时;如果engine与.pt结果仍明显不一致,请贴出!yolo checks、完整控制台日志文本和一个最小可复现示例,我们好继续排查环境或后处理差异。
User现在有一个奇怪的现象,我导出的tensorrt模型的推理速度几乎和原来的.pt几乎没有差别甚至更慢,并且导出的tensorrt模型的推理结果和.pt模型的差别很大。 我的设备是i914900k+64G RAM+RTX A6000 我的环境是cuda12.4.131+tensorrt10.10.0.31+torch2.5.1+ultralytics8.3.252 导出命令:
yolo export model=yolo11m.pt imgsz=1280 format='engine推理代码为:model.predict(stream_path, imgsz=1280, classes=[14], conf=0.2, iou=0.5, stream=True, task='detect')另外我试了下yolo11n.pt的640输入尺寸导出,推理速度就有明显提升,当然推理结果差别仍然较大。 请问这是什么道理,有什么解决办法?
020423lzl
etson@yahboom:~/ultralytics/ultralytics$ yolo predict model=best.engine source=0 save=False show WARNING ⚠️ Unable to automatically guess model task, assuming 'task=detect'. Explicitly define task for your model, i.e. 'task=detect', 'segment', 'classify','pose' or 'obb'. Ultralytics 8.3.172 🚀 Python-3.10.12 torch-2.5.0a0+872d972e41.nv24.08 CUDA:0 (Orin, 7620MiB) Loading best.engine for TensorRT inference... [12/18/2025-17:11:05] [TRT] [I] Loaded engine size: 75 MiB [12/18/2025-17:11:05] [TRT] [I] [MS] Running engine with multi stream info [12/18/2025-17:11:05] [TRT] [I] [MS] Number of aux streams is 7 [12/18/2025-17:11:05] [TRT] [I] [MS] Number of total worker streams is 8 [12/18/2025-17:11:05] [TRT] [I] [MS] The main stream provided by execute/enqueue calls is the first worker stream [12/18/2025-17:11:05] [TRT] [I] [MemUsageChange] TensorRT-managed allocation in IExecutionContext creation: CPU +1, GPU +88, now: CPU 1, GPU 158 (MiB)
[ WARN:0@2.771] global cap_gstreamer.cpp:1777 open OpenCV | GStreamer warning: Cannot query video position: status=0, value=-1, duration=-1 1/1: 0... Success ✅ (inf frames of shape 1920x1080 at 5.00 FPS)
Traceback (most recent call last): File "/home/jetson/.local/bin/yolo", line 7, in sys.exit(entrypoint()) File "/home/jetson/Downloads/ultralytics-main/ultralytics/cfg/init.py", line 983, in entrypoint getattr(model, mode)(**overrides) # default args from model File "/home/jetson/Downloads/ultralytics-main/ultralytics/engine/model.py", line 555, in predict return self.predictor.predict_cli(source=source) if is_cli else self.predictor(source=source, stream=stream) File "/home/jetson/Downloads/ultralytics-main/ultralytics/engine/predictor.py", line 247, in predict_cli for _ in gen: # sourcery skip: remove-empty-nested-block, noqa File "/usr/local/lib/python3.10/dist-packages/torch/utils/_contextlib.py", line 36, in generator_context response = gen.send(None) File "/home/jetson/Downloads/ultralytics-main/ultralytics/engine/predictor.py", line 351, in stream_inference s[i] += self.write_results(i, Path(paths[i]), im, s) File "/home/jetson/Downloads/ultralytics-main/ultralytics/engine/predictor.py", line 434, in write_results string += f"{result.verbose()}{result.speed['inference']:.1f}ms" File "/home/jetson/Downloads/ultralytics-main/ultralytics/engine/results.py", line 694, in verbose return "".join(f"{n} {self.names[i]}{'s' * (n > 1)}, " for i, n in enumerate(counts) if n > 0) File "/home/jetson/Downloads/ultralytics-main/ultralytics/engine/results.py", line 694, in return "".join(f"{n} {self.names[i]}{'s' * (n > 1)}, " for i, n in enumerate(counts) if n > 0) KeyError: 171 terminate called without an active exception Aborted (core dumped) jetson@yahboom:~/ultralytics/ultralytics$ How to solve it
Glenn JocherUltralyticsKeyError: 171表示模型输出了类别171,但当前names里没有这个索引(通常是自定义数据集的标签类别编号不在0..nc-1范围内、data.yaml里的names数量与nc不匹配,或导出/推理用的模型与数据配置不一致导致的元数据错配);请先把所有标注.txt的 class id 修正为连续的0..nc-1,同步修正data.yaml的nc/names,修正后删除数据集labels/下的*.cache,再用同一套环境从best.pt重新导出.engine(参考 TensorRT 导出文档),并在推理时显式加上task=detect。另外请把下面命令的完整输出(文本)贴在这个 discussion 里,以及你当时的导出命令,方便我们确认是否有多环境/路径冲突:yolo checks020423lzl
Thank you for your reply. The issue has been resolved. I was using the RT-DETR model, but I mistakenly used "from ultralytics import YOLO" when exporting
Glenn JocherUltralyticsGlad you found it — RT-DETR models should be loaded/exported with
RTDETR(...)(mixing them withYOLO(...)can produce mismatched metadata likenames), see the RT-DETR model docs for details:from ultralytics import RTDETR model = RTDETR("best.pt") model.export(format="engine") # creates best.engine
fly2skyToEnjoy
May I ask : The following command exports the file, whether the box and mask are both nmsed at the same time ???
from ultralytics import YOLO
Load the YOLO11 model
model = YOLO("yolo11n.pt")
Export the model to TensorRT format
model.export(format="engine") # creates 'yolo11n.engine'
Load the exported TensorRT model
tensorrt_model = YOLO("yolo11n.engine")
Run inference
results = tensorrt_model("https://ultralytics.com/images/bus.jpg")
AK993
这个方法适用于rt-detr吗
dilanpatel195
I am trying to prediction model for the YOLOv11n-seg, I have exported the .py to .engine to back it run faster but keep getting a KEY error message:
KeyError Traceback (most recent call last) Cell In[4], line 109 106 # Inside the main loop after grabbing a frame 107 if inference_active and not inpainting_active: 108 # Perform YOLO inference --> 109 results = model(rgb_frame)[0] 110 masked_image = rgb_frame.copy() # Make a copy for masking 112 # Process YOLO masks (original functionality remains unchanged)
File c:\ProgramData\miniconda3\Lib\site-packages\ultralytics\engine\model.py:176, in Model.call(self, source, stream, **kwargs) 147 def call( 148 self, 149 source: Union[str, Path, int, Image.Image, list, tuple, np.ndarray, torch.Tensor] = None, 150 stream: bool = False, 151 **kwargs, 152 ) -> list: 153 """ 154 Alias for the predict method, enabling the model instance to be callable for predictions. 155 (...) 174 ... print(f"Detected {len(r)} objects in image") 175 """ --> 176 return self.predict(source, stream, **kwargs)
File c:\ProgramData\miniconda3\Lib\site-packages\ultralytics\engine\model.py:554, in Model.predict(self, source, stream, predictor, **kwargs) 552 if prompts and hasattr(self.predictor, "set_prompts"): # for SAM-type models 553 self.predictor.set_prompts(prompts) --> 554 return self.predictor.predict_cli(source=source) if is_cli else self.predictor(source=source, stream=stream)
File c:\ProgramData\miniconda3\Lib\site-packages\ultralytics\engine\predictor.py:168, in BasePredictor.call(self, source, model, stream, *args, **kwargs) 166 return self.stream_inference(source, model, *args, **kwargs) 167 else: --> 168 return list(self.stream_inference(source, model, *args, **kwargs))
File c:\ProgramData\miniconda3\Lib\site-packages\torch\utils_contextlib.py:36, in _wrap_generator..generator_context(*args, **kwargs) 33 try: 34 # Issuing None to a generator fires it up 35 with ctx_factory(): ---> 36 response = gen.send(None) 38 while True: 39 try: 40 # Forward the response to our caller and get its next request
File c:\ProgramData\miniconda3\Lib\site-packages\ultralytics\engine\predictor.py:274, in BasePredictor.stream_inference(self, source, model, *args, **kwargs) 268 self.results[i].speed = { 269 "preprocess": profilers[0].dt * 1e3 / n, 270 "inference": profilers[1].dt * 1e3 / n, 271 "postprocess": profilers[2].dt * 1e3 / n, 272 } 273 if self.args.verbose or self.args.save or self.args.save_txt or self.args.show: --> 274 s[i] += self.write_results(i, Path(paths[i]), im, s) 276 # Print batch results 277 if self.args.verbose:
File c:\ProgramData\miniconda3\Lib\site-packages\ultralytics\engine\predictor.py:334, in BasePredictor.write_results(self, i, p, im, s) 332 result = self.results[i] 333 result.save_dir = self.save_dir.str() # used in other locations --> 334 string += f"{result.verbose()}{result.speed['inference']:.1f}ms" 336 # Add predictions to image 337 if self.args.save or self.args.show:
File c:\ProgramData\miniconda3\Lib\site-packages\ultralytics\engine\results.py:663, in Results.verbose(self) 661 for c in boxes.cls.unique(): 662 n = (boxes.cls == c).sum() # detections per class --> 663 log_string += f"{n} {self.names[int(c)]}{'s' * (n > 1)}, " 664 return log_string
KeyError: 2
Any help would be greatly appreciated!
Ranjith3436
Now, My TensorRT Sengment model used for track. if any detections not there the processing FPS is 75-80 in jetson. But once the person or people detected suddenly reused to 15-20. processing time going to 40ms. only when the object detected. What's the issue in model.track(), could i run all the tracking thing on GPU.
Glenn JocherUltralytics(đã chỉnh sửa)@Ranjith3436 the performance drop when objects are detected is expected behavior, as tracking introduces additional computational overhead. When objects are detected, the model.track() method performs several CPU-bound operations including feature extraction, association, and trajectory management.
To improve performance:
- Try using a smaller model variant (like YOLO26n-seg instead of larger variants)
- Consider reducing the image resolution for tracking
- Optimize tracking parameters by setting
persist=Trueand adjustingconfthresholds higher to track fewer objects - Use
half=True(FP16) orint8=Truewhen exporting your model to TensorRT for maximum GPU acceleration
For the tracking components specifically, the BoT-SORT or ByteTrack algorithms used by Ultralytics do have some CPU-bound operations, but you can minimize their impact with the above optimizations. For more details on tracking optimization, check our tracking documentation.
1
Ranjith3436
I convert Classification model that i retrained. But it throw the error "amax(): Expected reduction dim 1 to have non-zero size."
Glenn JocherUltralytics@Ranjith3436 this error typically occurs when TensorRT encounters an empty dimension during model conversion. For classification models, this could happen if:
- Your model architecture was modified or if you're using a custom architecture
- There might be an issue with batch normalization layers during export
- The class count in your retrained model might be causing dimension mismatches
Try these solutions:
- Ensure your model's forward pass works correctly before export
- Try exporting with
simplify=Falseto preserve the original graph structure - Check if your classification model has the correct output dimension for your number of classes
If the issue persists, share more details about your model architecture and export command for better assistance. For more guidance, refer to our TensorRT integration documentation.
Ranjith3436
The model trained use yolov8l-cls.pt and the error come from jetson device.
(model): ClassificationModel( (model): Sequential( (0): Conv( (conv): Conv2d(3, 64, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False) (bn): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (1): Conv( (conv): Conv2d(64, 128, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False) (bn): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (2): C2f( (cv1): Conv( (conv): Conv2d(128, 128, kernel_size=(1, 1), stride=(1, 1), bias=False) (bn): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (cv2): Conv( (conv): Conv2d(320, 128, kernel_size=(1, 1), stride=(1, 1), bias=False) (bn): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (m): ModuleList( (0-2): 3 x Bottleneck( (cv1): Conv( (conv): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False) (bn): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (cv2): Conv( (conv): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False) (bn): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) ) ) ) (3): Conv( (conv): Conv2d(128, 256, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False) (bn): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (4): C2f( (cv1): Conv( (conv): Conv2d(256, 256, kernel_size=(1, 1), stride=(1, 1), bias=False) (bn): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (cv2): Conv( (conv): Conv2d(1024, 256, kernel_size=(1, 1), stride=(1, 1), bias=False) (bn): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (m): ModuleList( (0-5): 6 x Bottleneck( (cv1): Conv( (conv): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False) (bn): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (cv2): Conv( (conv): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False) (bn): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) ) ) ) (5): Conv( (conv): Conv2d(256, 512, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False) (bn): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (6): C2f( (cv1): Conv( (conv): Conv2d(512, 512, kernel_size=(1, 1), stride=(1, 1), bias=False) (bn): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (cv2): Conv( (conv): Conv2d(2048, 512, kernel_size=(1, 1), stride=(1, 1), bias=False) (bn): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (m): ModuleList( (0-5): 6 x Bottleneck( (cv1): Conv( (conv): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False) (bn): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (cv2): Conv( (conv): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False) (bn): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) ) ) ) (7): Conv( (conv): Conv2d(512, 1024, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False) (bn): BatchNorm2d(1024, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (8): C2f( (cv1): Conv( (conv): Conv2d(1024, 1024, kernel_size=(1, 1), stride=(1, 1), bias=False) (bn): BatchNorm2d(1024, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (cv2): Conv( (conv): Conv2d(2560, 1024, kernel_size=(1, 1), stride=(1, 1), bias=False) (bn): BatchNorm2d(1024, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (m): ModuleList( (0-2): 3 x Bottleneck( (cv1): Conv( (conv): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False) (bn): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (cv2): Conv( (conv): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False) (bn): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) ) ) ) (9): Classify( (conv): Conv( (conv): Conv2d(1024, 1280, kernel_size=(1, 1), stride=(1, 1), bias=False) (bn): BatchNorm2d(1280, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act): SiLU(inplace=True) ) (pool): AdaptiveAvgPool2d(output_size=1) (drop): Dropout(p=0.0, inplace=True) (linear): Linear(in_features=1280, out_features=2, bias=True) ) ) ) )
model architecture
Ranjith3436
This error sorted out