Xuất model bằng Ultralytics YOLO#

Việc xuất model YOLO26 sang định dạng ONNX rất đơn giản với Ultralytics. Ultralytics cung cấp cả phương thức Python và CLI để xuất model.

from ultralytics import YOLO

# Tải model
model = YOLO("yolo26n.pt")  # tải model chính thức
model = YOLO("path/to/best.pt")  # # Tải model được huấn luyện tùy chỉnh

# # Xuất model
model.export(format="onnx")

Để biết thêm chi tiết về quy trình, bao gồm các tùy chọn nâng cao như xử lý nhiều kích thước đầu vào khác nhau, hãy tham khảo hướng dẫn tích hợp ONNX.

Sử dụng TensorRT để xuất model giúp cải thiện đáng kể hiệu năng. Model YOLO26 được xuất sang TensorRT có thể tăng tốc GPU lên đến 5 lần, rất phù hợp cho các ứng dụng suy luận thời gian thực.

• Tính linh hoạt: Tối ưu hóa model cho cấu hình phần cứng cụ thể.
• Tốc độ: Tăng tốc suy luận nhờ các phương pháp tối ưu hóa tiên tiến.
• Khả năng tương thích: Tích hợp liền mạch với phần cứng NVIDIA.

Để tìm hiểu thêm về tích hợp TensorRT, hãy xem hướng dẫn tích hợp TensorRT.

Lượng tử hóa INT8 là một cách hiệu quả để nén model và tăng tốc suy luận, đặc biệt trên các thiết bị biên. Sau đây là cách bật lượng tử hóa INT8:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")  # Tải model
model.export(format="onnx", quantize=8, data="coco8.yaml")

Có thể áp dụng lượng tử hóa INT8 cho các format như ONNX, TensorRT, OpenVINO, CoreML, Rockchip RKNN và AMD Xilinx. Để đạt kết quả lượng tử hóa tối ưu, hãy cung cấp một dataset đại diện bằng tham số data. Xem Tùy chọn lượng tử hóa để biết các giá trị quantize được chấp nhận và các format được hỗ trợ.

Kích thước đầu vào động cho phép model đã xuất xử lý các kích thước ảnh khác nhau, mang lại tính linh hoạt và tối ưu hiệu quả xử lý cho nhiều trường hợp sử dụng. Khi xuất sang các định dạng như ONNX hoặc TensorRT, bật kích thước đầu vào động giúp model thích ứng liền mạch với các shape đầu vào khác nhau.

Để bật tính năng này, hãy sử dụng flag dynamic=True trong quá trình xuất:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(format="onnx", dynamic=True)

Đặt kích thước đầu vào động đặc biệt hữu ích cho các ứng dụng có thể nhận đầu vào với kích thước thay đổi, chẳng hạn như xử lý video hoặc xử lý ảnh từ các nguồn khác nhau.

Model PyTorch và các bản xuất động mặc định sử dụng padding hình chữ nhật tối thiểu, trong khi các bản xuất tĩnh đệm đến hết imgsz, vì vậy các detection gần ngưỡng confidence có thể khác nhau. Dùng rect=False để suy luận gốc nhằm khớp với bản xuất tĩnh, hoặc xuất bằng dynamic=True nếu được hỗ trợ.

Hiểu và cấu hình các tham số xuất là yếu tố then chốt để tối ưu hiệu năng model:

• format: Định dạng đích của model đã xuất (ví dụ: onnx, torchscript, saved_model).
• imgsz: Kích thước ảnh mong muốn cho đầu vào của model (ví dụ: 640 hoặc (height, width)).
• quantize: Độ chính xác lượng tử hóa, chẳng hạn như 8/"int8", 16/"fp16", 32/"fp32", hoặc các phương pháp kết hợp trọng số/activation "w8a16" và "w8a32" (INT8 động của LiteRT) trên các định dạng được hỗ trợ. Xem Tùy chọn lượng tử hóa.
• dynamic: Chấp nhận kích thước đầu vào thay đổi trên các định dạng hỗ trợ dynamic shape, chẳng hạn như ONNX, OpenVINO và TensorRT.
• nms: Chọn đầu ra thô cho NMS bên ngoài (None), NMS tích hợp (True) hoặc head không dùng NMS (False).
• device: Thiết bị dùng để trace model trong quá trình xuất, chẳng hạn như cpu hoặc 0 cho GPU CUDA đầu tiên; TorchScript FP16 yêu cầu GPU.

Để triển khai trên các nền tảng phần cứng cụ thể, hãy cân nhắc sử dụng các định dạng xuất chuyên biệt như TensorRT cho GPU NVIDIA, CoreML cho thiết bị Apple hoặc Edge TPU cho thiết bị Google Coral.

Khi xuất model YOLO sang các định dạng như ONNX hoặc TensorRT, cấu trúc tensor đầu ra phụ thuộc vào tác vụ của model. Việc hiểu rõ các đầu ra này rất quan trọng khi triển khai suy luận tùy chỉnh.

Đối với model phát hiện YOLO26 (ví dụ: yolo26n.pt) được xuất bằng nms=False, các định dạng được hỗ trợ tạo ra đầu ra không dùng NMS có hình dạng như (batch_size, max_detections, 6) với các giá trị [x1, y1, x2, y2, confidence, class_id]. Với max_det=300 mặc định, đầu ra thường là (batch_size, 300, 6). Một số định dạng bị giới hạn sẽ tự động chuyển về bố cục đầu ra truyền thống khi không hỗ trợ các toán tử end-to-end.

Theo mặc định (nms=None), các model phát hiện, bao gồm YOLO26, xuất các dự đoán thô one-to-many: đầu ra thường là một tensor duy nhất có hình dạng như (batch_size, 4 + num_classes, num_predictions), trong đó các kênh biểu thị tọa độ hộp cộng với điểm số theo từng lớp, còn num_predictions phụ thuộc vào độ phân giải đầu vào khi xuất (và có thể động). Hướng dẫn phát hiện end-to-end trình bày những định dạng nào giữ nguyên đầu ra end-to-end.

Đối với model phân đoạn (ví dụ: yolo26n-seg.pt), thông thường sẽ có hai đầu ra: tensor đầu tiên có hình dạng như (batch_size, 4 + num_classes + mask_dim, num_predictions) (hộp, điểm số lớp và hệ số mask), còn tensor thứ hai có hình dạng như (batch_size, mask_dim, proto_h, proto_w), chứa các prototype mask được dùng cùng với các hệ số để tạo mask cho từng instance. Kích thước phụ thuộc vào độ phân giải đầu vào khi xuất (và có thể động).

Đối với model pose (ví dụ: yolo26n-pose.pt), tensor đầu ra thường có hình dạng như (batch_size, 4 + num_classes + keypoint_dims, num_predictions), trong đó keypoint_dims phụ thuộc vào đặc tả pose (ví dụ: số lượng keypoint và việc có bao gồm độ tin cậy hay không), còn num_predictions phụ thuộc vào độ phân giải đầu vào khi xuất (và có thể động).

Các ví dụ trong ví dụ suy luận ONNX minh họa cách xử lý những đầu ra này cho từng loại model.

Hiện Ultralytics chưa cung cấp API suy luận C++ chuyên biệt cho các model YOLO. Để triển khai bằng C++, hãy xuất model sang định dạng runtime như ONNX, TensorRT, TorchScript hoặc MNN, sau đó nạp artifact đã xuất bằng API C++ gốc của runtime đó.

Ví dụ: xuất model phát hiện bằng yolo export model=yolo26n.pt format=onnx rồi chạy tệp .onnx bằng ONNX Runtime C++, hoặc xuất bằng format=engine rồi chạy engine TensorRT từ ứng dụng TensorRT C++. Khi sử dụng hậu xử lý C++ tùy chỉnh, hãy khớp bố cục tensor đầu ra với tác vụ và cài đặt xuất; các bản xuất phát hiện YOLO26 mặc định trả về tensor dự đoán thô cần NMS bên ngoài. Xuất bằng nms=False để có đầu ra phát hiện không dùng NMS với hình dạng (batch, max_det, 6), hoặc dùng nms=True để tích hợp NMS vào các định dạng được hỗ trợ.

Khi xuất bằng quantize=16 (FP16) hoặc quantize=8 (INT8), phần lớn tensor được chuyển sang độ chính xác thấp hơn để giảm kích thước model và cải thiện hiệu năng. Tuy nhiên, khi bật nms=False, bước hậu xử lý (bao gồm chỉ số lớp) được tích hợp trực tiếp vào graph đã xuất.

Tensor output0 chứa chỉ số lớp, vốn được biểu diễn nội bộ dưới dạng giá trị dấu phẩy động. Do độ chính xác phần định trị hạn chế, FP16 không thể biểu diễn đáng tin cậy các giá trị số nguyên lớn hơn 2048. Để tránh nguy cơ mất độ chính xác hoặc sai ID lớp, output0 được giữ ở định dạng FP32.

Nếu cần đầu ra hoàn toàn ở FP16, hãy xuất bằng nms=None trên GPU và thực hiện hậu xử lý bên ngoài. Các bản xuất ONNX FP16 trên CPU vẫn giữ đầu vào và đầu ra FP32, chỉ chuyển đổi graph nội bộ.