Xuất Google LiteRT
LiteRT là runtime AI trên thiết bị của Google và là tên mới của TensorFlow Lite (TFLite). Xuất model Ultralytics YOLO26 bằng format="litert" sẽ tạo một file .tflite duy nhất cho điện thoại Android và iOS, bo mạch Linux nhúng và trình duyệt web, ở định dạng FP32 hoặc với một trong ba phương pháp lượng tử hóa INT8.
Tổng quan nhanh#
| Thuộc tính | Chi tiết |
|---|---|
Đối số format | litert. Các giá trị cũ hơn tflite và tfjs vẫn hoạt động: chúng ghi cảnh báo ngừng hỗ trợ và xuất cùng một file LiteRT |
| Đầu ra | yolo26n.tflite, một file chứa tên lớp, tác vụ và kích thước ảnh dưới dạng metadata; các bản xuất đã lượng tử hóa có tên yolo26n_w8a32.tflite, yolo26n_int8.tflite và yolo26n_w8a16.tflite |
| Chạy trên | Thiết bị Android và iOS, bo mạch Linux nhúng, CPU máy tính để bàn, trình duyệt web thông qua LiteRT.js, và GPU cùng NPU của Intel |
| Runtime | LiteRT: package Python ai-edge-litert (phiên bản 2.1.4 trở lên), các thư viện LiteRT cho Android và iOS, hoặc LiteRT.js |
| Precision | FP32, w8a32, INT8, w8a16. YOLO26n có kích thước 10.0 MB ở FP32, 2.9 MB với w8a32, 3.1 MB ở INT8 và 3.0 MB với w8a16 |
| Máy export | Linux x86-64 hoặc macOS trên Apple silicon, với Python 3.10 trở lên. Quá trình xuất chạy trên CPU và không cần GPU |
Ultralytics Platform có thể xuất model đã huấn luyện sang LiteRT cho bạn, vì vậy bạn không cần môi trường xuất cục bộ.
Bắt đầu nhanh#
Cài đặt package Ultralytics cùng các dependency để xuất LiteRT:
pip install "ultralytics[export-litert]"Lệnh này cài đặt litert-torch, ai-edge-litert và ai-edge-quantizer. Với lệnh pip install ultralytics thông thường, lần xuất đầu tiên sẽ cài các package còn thiếu và có thể dừng với lỗi nếu thao tác đó thay thế PyTorch. Quá trình xuất có các yêu cầu phiên bản sau:
| Package | Phiên bản yêu cầu |
|---|---|
| Python | 3.10 trở lên |
litert-torch | 0.10.0 trở lên |
torch | Khoảng phiên bản mà litert-torch đã cài chấp nhận: 2.4.0 trở lên và thấp hơn 2.15.0 đối với phiên bản 0.10.0 |
ai-edge-litert | 2.3.0 trở lên để xuất; 2.1.4 trở lên, đồng thời cần Python 3.10 trở lên, để chạy model đã xuất |
ai-edge-quantizer | 0.10.0 trở lên, dành cho quantize="w8a32", quantize=8 và "w8a16" |
Để xem các phương thức cài đặt khác, hãy tham khảo hướng dẫn cài đặt. Sau đó xuất model và tải file đã xuất để chạy inference hoặc xác thực độ chính xác.
from ultralytics import YOLO
# Nạp model YOLO26
model = YOLO("yolo26n.pt")
# Xuất model sang định dạng LiteRT
model.export(format="litert") # tạo 'yolo26n.tflite'
# Xuất với trọng số INT8 và activation FP32, không cần dữ liệu hiệu chuẩn
model.export(format="litert", quantize="w8a32") # tạo tệp 'yolo26n_w8a32.tflite'from ultralytics import YOLO
# Tải model LiteRT đã xuất
model = YOLO("yolo26n.tflite")
# Chạy suy luận
results = model("https://ultralytics.com/images/bus.jpg")from ultralytics import YOLO
# Tải model LiteRT đã xuất
model = YOLO("yolo26n.tflite")
# # Đánh giá độ chính xác trên bộ dữ liệu COCO8
metrics = model.val(data="coco8.yaml")Các tác vụ được hỗ trợ#
Quá trình xuất LiteRT hỗ trợ cả bảy tác vụ của Ultralytics với các model YOLOv8, YOLO11 và YOLO26: phát hiện, phân đoạn, phân đoạn ngữ nghĩa, ước tính độ sâu, phân loại, ước tính tư thế và OBB. Phân đoạn ngữ nghĩa và ước tính độ sâu chỉ có trên YOLO26, dòng model duy nhất được cung cấp các head này.
Các tham số xuất model#
| Đối số | Kiểu | Mặc định | Mô tả |
|---|---|---|---|
format | str | 'litert' | Định dạng đích của model đã xuất, xác định khả năng tương thích với nhiều môi trường triển khai. |
imgsz | int hoặc tuple | 640 | Kích thước ảnh đầu vào của model: một số nguyên cho ảnh vuông hoặc một tuple (height, width). Nếu không truyền tham số này, quá trình xuất sẽ dùng kích thước mà checkpoint được huấn luyện. Các checkpoint YOLO26 chính thức sử dụng 640 cho model detect, segment, pose và model ngữ nghĩa được tiền huấn luyện trên ADE20K; 1024 cho model OBB và model ngữ nghĩa được tiền huấn luyện trên Cityscapes; 768 cho tác vụ depth; và 224 cho classify. |
quantize | int hoặc str | None | Phương pháp lượng tử hóa: 'w8a32' (trọng số INT8, activation FP32, không hiệu chuẩn), 8 (trọng số và activation INT8, hiệu chuẩn trên data), hoặc 'w8a16' (trọng số INT8, activation INT16, hiệu chuẩn trên data); 32/không đặt là FP32. 16 gây lỗi; không thể xuất checkpoint được huấn luyện bằng quantize=8 sang LiteRT. Xem Giới hạn và khắc phục sự cố. Thay thế các cờ half/int8 đã ngừng hỗ trợ. |
data | str | None | YAML của dataset dùng để hiệu chuẩn với quantize=8 và 'w8a16'; riêng tác vụ phân loại nhận thư mục dataset hoặc tên dataset tích hợp sẵn. Quá trình hiệu chuẩn dùng split val, trừ khi đặt split. Nếu không chỉ định, Ultralytics dùng dataset mặc định nhỏ dành cho tác vụ của model, chẳng hạn coco8.yaml cho tác vụ phát hiện. |
fraction | float, int hoặc list | 1.0 | Tập con hiệu chuẩn: tỷ lệ, số lượng ảnh (số nguyên lớn hơn 1) hoặc danh sách [train, val, test]; mục nhập của tập chia hiệu chuẩn sẽ được sử dụng. |
nms | bool, không bắt buộc | None | Chọn đầu ra thô (None, mặc định) hoặc head không cần NMS (False, chỉ dành cho bản xuất FP32 và 'w8a32'). LiteRT không hỗ trợ NMS tích hợp (True). Xem định dạng đầu ra. |
batch | int | 1 | Kích thước batch của model đã xuất, được cố định trong shape đầu vào. Đây cũng là kích thước batch dùng để hiệu chuẩn. |
device | str | None | Quá trình xuất luôn chạy trên CPU, bất kể giá trị được truyền vào. |
Để biết các đối số dùng chung cho mọi định dạng, hãy xem tài liệu chế độ Export.
Các model LiteRT, Core ML và QNN chính thức dành cho thiết bị di động được xuất ở kích thước imgsz=640, và ở kích thước imgsz=224 cho tác vụ phân loại. Các checkpoint phân đoạn ngữ nghĩa, độ sâu và OBB của Cityscapes mặc định được xuất ở kích thước lớn hơn, vì vậy hãy truyền imgsz=640 để khớp với chúng.
Lượng tử hóa#
quantize chọn một trong ba phương pháp INT8. Cả ba đều lưu trọng số dưới dạng số nguyên 8 bit và khác nhau ở cách lưu activation, tức các giá trị truyền giữa các layer:
quantize | Trọng số | Activation | Dữ liệu hiệu chuẩn | Tệp YOLO26n | Kích thước |
|---|---|---|---|---|---|
không đặt hoặc 32 | FP32 | FP32 | Không | yolo26n.tflite | 10.0 MB |
'w8a32' | INT8 | FP32 | Không | yolo26n_w8a32.tflite | 2.9 MB |
8 | INT8 | INT8 | Có | yolo26n_int8.tflite | 3.1 MB |
'w8a16' | INT8 | INT16 | Có | yolo26n_w8a16.tflite | 3.0 MB |
- Đầu vào và đầu ra: đầu vào và đầu ra luôn giữ định dạng
float32ở cả bốn mức độ chính xác, vì vậy mã inference viết cho model FP32 có thể chạy nguyên trạng model đã lượng tử hóa, nếu model được xuất với cùng bố cụcnms. 'w8a32': lượng tử hóa dải động. Không cần dữ liệu hiệu chuẩn và hỗ trợ head không cần NMS vớinms=False; đây là mức độ chính xác của các model di động chính thức trong các cột CPU và GPU ở mục Hiệu năng đo được.8và'w8a16': lượng tử hóa tĩnh. Quá trình xuất hiệu chuẩn trên mọi batch đầy đủ của splitvalthuộcdata, hoặc trên split được đặt bằngsplit, đồng thời đưa ra cảnh báo nếu có dưới 300 ảnh. Dùngfractionđể giới hạn số ảnh.- Đầu ra của head với
quantize=8: với các model detect, segment, classify, pose và OBB, các layer đầu ra của head cùng các phép toán giải mã chúng vẫn chạy ở độ chính xác dấu phẩy động, vì INT8 cắt ngưỡng điểm số lớp và làm giảm độ chính xác của tọa độ hộp.'w8a16'cũng lượng tử hóa các layer này, với activation 16-bit. - Head không cần NMS: các bản xuất
quantize=8và'w8a16'của model YOLO26 hoặc YOLOv10 dùng head one-to-many và trả về các dự đoán thô cần NMS, kể cả khi dùngnms=False. - FP16: không có bản xuất FP16. Theo mặc định, các delegate GPU của LiteRT chạy model FP32 ở độ chính xác bán phần, vì vậy không cần
quantize=16và nếu dùng sẽ gây lỗi.
from ultralytics import YOLO
model = YOLO("yolo26n.pt")
# Hiệu chuẩn trên 10% số ảnh validation COCO (500 ảnh); thay coco.yaml bằng dataset của riêng bạn
model.export(format="litert", quantize=8, data="coco.yaml", fraction=0.1) # tạo tệp 'yolo26n_int8.tflite'
# # Tải model INT8 đã xuất và chạy suy luận
model = YOLO("yolo26n_int8.tflite")
results = model("https://ultralytics.com/images/bus.jpg")Lượng tử hóa làm thay đổi độ chính xác; mức độ ảnh hưởng tùy thuộc vào model, tác vụ và ảnh hiệu chuẩn. Hãy xác thực model đã lượng tử hóa trên dữ liệu của chính bạn trước khi triển khai.
Định dạng đầu ra#
Quá trình xuất ghi một file .tflite. Model nhận một đầu vào có shape (batch, 3, height, width): RGB, channel trước (NCHW), float32, được scale về khoảng 0-1. Điều này khác với các file TFLite từ bản xuất format="tflite" trước đây, vốn nhận ảnh có channel sau (NHWC). Tham số nms và tác vụ xác định các đầu ra. Các shape bên dưới áp dụng cho checkpoint YOLO26n chính thức ở kích thước xuất mặc định, với checkpoint Cityscapes yolo26n-sem.pt dành cho phân đoạn ngữ nghĩa:
| Tác vụ | imgsz mặc định | Đầu ra với nms=None | Đầu ra với nms=False |
|---|---|---|---|
| Detect | 640 | (1, 84, 8400) | (1, 300, 6) |
| Segment | 640 | (1, 116, 8400) và (1, 32, 160, 160) | (1, 300, 38) và (1, 32, 160, 160) |
| Ngữ nghĩa | 1024 | (1, 19, 1024, 1024), điểm số cho mỗi lớp và pixel | Giống nms=None |
| Độ sâu | 768 | (1, 1, 768, 768), bản đồ độ sâu | Giống nms=None |
| Phân loại | 224 | (1, 1000), xác suất lớp | Giống nms=None |
| Tư thế | 640 | (1, 56, 8400) | (1, 300, 57): 6 giá trị box, sau đó là 17 keypoint x 3 |
| OBB | 1024 | (1, 20, 21504) | (1, 300, 7): 4 giá trị box, điểm số, lớp, góc |
- Đầu ra thô (
nms=None): shape(batch, values, anchors). Với mỗi anchor: tâm box x, tâm box y, chiều rộng và chiều cao, tiếp đến là điểm số lớp, rồi đến các giá trị của tác vụ (32 hệ số mask, 17 giá trị keypoint x 3 hoặc góc OBB tính bằng radian). Giá trị box và tọa độ x, y của keypoint được chuẩn hóa về 0-1, vì vậy hãy nhân chúng với chiều rộng và chiều cao đầu vào. Tự áp dụng NMS. - Đầu ra không cần NMS (
nms=False):max_det(mặc định 300) hàngx1, y1, x2, y2, score, classtheo pixel đầu vào, không qua bước NMS. Các hàng OBB có dạngcenter x, center y, width, height, score, class, angle, với góc tính bằng radian. Lọc các hàng theo điểm số. Có sẵn cho các bản xuất FP32 và'w8a32'của model có head không cần NMS. - Phân đoạn: 32 hệ số mask là 32 giá trị cuối cùng của mỗi anchor hoặc hàng; đầu ra thứ hai chứa các prototype mask.
- Phân đoạn ngữ nghĩa: đầu ra chứa điểm số lớp, không phải bản đồ lớp như trong bản xuất ONNX, vì vậy hãy lấy argmax trên trục lớp trong mã của bạn.
YOLO("yolo26n.tflite") đọc bố cục từ metadata của file và scale tọa độ, vì vậy bạn chỉ cần các chi tiết này khi chạy model bằng mã của riêng mình. Metadata là mục metadata.json được quá trình xuất thêm vào file dưới dạng kho lưu trữ ZIP và có thể đọc bằng bất kỳ thư viện ZIP nào. Các khóa gồm names, task, imgsz, stride, batch, end2end, args và, với model pose, kpt_shape.
Chạy bằng LiteRT Interpreter#
Để chạy model bên ngoài package Ultralytics, hãy tải model bằng interpreter của package ai-edge-litert. Đọc shape đầu vào và đầu ra từ model thay vì dựa vào tên tensor. Model phân đoạn có hai đầu ra: đầu ra 3D chứa các phát hiện, còn đầu ra 4D chứa các prototype mask.
# Xuất trước: yolo export model=yolo26n.pt format=litert nms=False
import json
import zipfile
import numpy as np
from ai_edge_litert.interpreter import Interpreter
interpreter = Interpreter(model_path="yolo26n.tflite")
interpreter.allocate_tensors()
image = np.zeros((1, 3, 640, 640), dtype=np.float32) # # your preprocessed image: RGB, NCHW, 0-1
interpreter.set_tensor(interpreter.get_input_details()[0]["index"], image)
interpreter.invoke()
detections = interpreter.get_tensor(interpreter.get_output_details()[0]["index"])[0] # shape (300, 6)
assert detections.shape == (300, 6), "export the model with nms=False"
detections = detections[detections[:, 4] > 0.25] # giữ các hàng vượt ngưỡng độ tin cậy
with zipfile.ZipFile("yolo26n.tflite") as z:
names = json.loads(z.read("metadata.json"))["names"] # {'0': 'person', '1': 'bicycle', ...}Triển khai#
YOLO("yolo26n.tflite") chạy model bằng interpreter ai-edge-litert trên CPU, với tối đa 8 thread. Các giá trị device khác, chẳng hạn 0 hoặc mps, cũng chạy trên CPU; xpu và npu chọn phần cứng Intel. Bảng thiết bị inference đối chiếu các tên này giữa các định dạng.
Model luôn chạy ở imgsz và batch dùng khi xuất; Ultralytics đọc các giá trị này từ metadata của file. Giá trị imgsz truyền cho predict hoặc val sẽ bị bỏ qua. Batch lớn hơn được chia thành các phần theo kích thước batch khi xuất, còn batch nhỏ hơn được đệm, nên có thể xử lý số lượng ảnh bất kỳ.
Suy luận trên GPU và NPU Intel#
Các model .tflite đã xuất chạy trên phần cứng Intel thông qua plugin LiteRT Intel OpenVINO. Truyền device=xpu để dùng GPU hoặc device=npu để dùng NPU; lần đầu sử dụng, Ultralytics sẽ cài ai-edge-litert>=2.3.0 và ai-edge-litert-sdk-intel. Plugin cố định phiên bản openvino riêng, vì vậy hãy giữ plugin trong môi trường riêng nếu bạn cũng chạy model OpenVINO với phiên bản khác. NPU cần bộ xử lý Intel Core Ultra đã cài driver NPU của Intel; xem độ trễ được đo trên Core Ultra X7 358H. Trên máy không có thiết bị Intel được yêu cầu, plugin OpenVINO không biên dịch được model và LiteRT chạy model trên backend CPU riêng (XNNPACK), chứ không thông qua OpenVINO: trên CPU máy chủ AMD, YOLO26n mất 29 đến 30 ms cho mỗi ảnh với device=xpu và device=npu, so với 18 ms với device=cpu. Trong trường hợp này Ultralytics không ghi cảnh báo, vì vậy hãy so sánh độ trễ với device=cpu để xác nhận thiết bị đang được sử dụng.
from ultralytics import YOLO
model = YOLO("yolo26n.tflite")
results = model("https://ultralytics.com/images/bus.jpg", device="npu") # hoặc "xpu"Hướng dẫn triển khai#
- Plugin Ultralytics YOLO Flutter: chạy các bản xuất LiteRT
.tflitetrên Android, hỗ trợ inference camera thời gian thực, dự đoán ảnh đơn và tăng tốc GPU. - Package npm @ultralytics/yolo: chạy các bản xuất LiteRT
.tflitetrong trình duyệt thông qua LiteRT.js, với tăng tốc WebGPU và phương án dự phòng CPU (WASM). Cài đặt package bằngnpm i @ultralytics/yolo @litertjs/core. - MediaTek Dimensity: triển khai trên điện thoại Android dùng chip MediaTek, bao gồm cả NPU.
- Qualcomm QNN và Core ML: các định dạng dành cho NPU Snapdragon và thiết bị Apple.
- NXP i.MX95 và Coral Edge TPU: các định dạng dành cho những bộ tăng tốc này.
- Raspberry Pi: thiết lập Ultralytics trên các bo mạch Raspberry Pi.
- Tài liệu LiteRT: tích hợp runtime vào ứng dụng Android, iOS hoặc trình duyệt.
Giới hạn và khắc phục sự cố#
- Máy xuất: trên Windows và Linux ARM64, chẳng hạn Raspberry Pi, quá trình xuất không thành công với
LiteRT export only supported on Linux x86 and macOS. Hãy xuất trên máy được hỗ trợ rồi sao chép file.tflitesang thiết bị. - Lần xuất đầu tiên sau khi cài đặt package thông thường: nếu lần xuất đầu tiên cài
litert-torchkhông chấp nhận phiên bản PyTorch đã cài (phiên bản 0.10.0 chấp nhận từ 2.4.0 đến dưới 2.15.0), pip sẽ thay thế PyTorch, Ultralytics ghiRestart runtime or rerun command for updates to take effectvà lần xuất đó có thể thất bại, vớiRuntimeError: duplicate registrations for aten.miopen_batch_norm.defaulttrên PyTorch 2.15.0. Hãy chạy lại lệnh xuất. - FP16:
quantize=16không thành công vớiquantize=16 (FP16) is not supported; format='litert' supports quantize=8 (INT8), 'w8a16' (INT8 weights + INT16 activations), 'w8a32' (dynamic INT8), 32 or None (FP32).. Hãy xuất FP32 và để GPU delegate chạy model ở độ chính xác bán phần. - Checkpoint được huấn luyện bằng
quantize=8: checkpoint được tinh chỉnh bằng huấn luyện nhận biết lượng tử hóa sẽ không xuất được vớiformat='litert' cannot export a QAT model: its Q/DQ ranges are only read by the 'onnx' and 'engine' backends. Thay vào đó, hãy xuất checkpoint ban đầu dùng để tinh chỉnh bằngquantize=8, hoặc xuất checkpoint đã tinh chỉnh sang ONNX hoặc TensorRT. - Head không cần NMS với
quantize=8hoặc'w8a16': vớinms=False, quá trình xuất ghiLiteRT INT8 export does not support end2end models, disabling end2end branch.và tạo dự đoán thô cần NMS. Dùng FP32 hoặc'w8a32'để giữ head không cần NMS. - NMS tích hợp:
nms=Trueghi logformat=litert does not support embedded NMS; exporting native outputs for external NMS.và ghi đầu ra thô. - Head không cần NMS trên các model khác:
nms=Falseyêu cầu model có head không cần NMS, chẳng hạn YOLO26 hoặc YOLOv10. Với các model khác, ví dụ YOLO11, quá trình xuất cảnh báoThis model has no one-to-one head; using one-to-many outputs.và tạo đầu ra thô(1, 84, 8400). - Shape đầu vào cố định:
dynamic=Truethất bại vớiargument 'dynamic' is not supported for format='litert'. Hãy xuất lại để thay đổi kích thước ảnh hoặc batch size. - Hiệu chuẩn không có
data: bản xuấtquantize=8hoặc'w8a16'ghiINT8 export requires a missing 'data' arg for calibration. Using default 'data=coco8.yaml'.và hiệu chuẩn trên dataset mặc định nhỏ dành cho tác vụ đó. Truyềndatacùng các ảnh đại diện cho dữ liệu triển khai của bạn. - Kích thước tập hiệu chuẩn: quá trình xuất ghi log
>300 images recommended for INT8 calibration, found 4 images.khi tập chia hiệu chuẩn có dưới 300 ảnh.coco8.yamlchỉ có 4 ảnh validation, đủ để kiểm thử quá trình xuất nhưng không đủ để hiệu chuẩn model dùng trong triển khai. 'w8a16'trên CPU x86: interpreter CPU của LiteRT chạy model YOLO26n'w8a16'mất khoảng 1 giây cho mỗi ảnh trên CPU máy chủ AMD EPYC 9655 với 8 thread, so với khoảng 17 ms đối với model FP32. Hãy đo'w8a16'trên thiết bị và delegate mà bạn định triển khai.- Tên file: mỗi lần xuất cùng một checkpoint với cùng giá trị
quantizeđều ghi cùng một file, chẳng hạnyolo26n.tflitecho FP32, bất kể giá trịimgsz,batchhaynms; vì vậy lần xuất sau sẽ thay thế file trước.
Đối với các lỗi khác, hãy xem hướng dẫn về các sự cố thường gặp.
Hiệu năng đo được#
Các bảng bên dưới cho biết độ trễ xử lý một ảnh của model YOLO26n cho từng tác vụ trên bốn điện thoại Android và một bộ xử lý Intel Core Ultra. Mỗi ô hiển thị tổng thời gian tính bằng mili giây, bên dưới là thời gian tiền xử lý / inference / hậu xử lý; cột nhanh nhất của mỗi model được in đậm. Trang model YOLO26 liệt kê độ chính xác của các checkpoint PyTorch.
Xiaomi 17#
Phần cứng: Xiaomi 17 với bộ nhớ LPDDR5X 12 GB và Android 17 / API 37. Snapdragon 8 Elite Gen 5 3 nm (SM8850) có CPU Qualcomm Oryon 8 lõi (2 lõi Prime tối đa 4.6 GHz và 6 lõi Performance tối đa 3.62 GHz), GPU Adreno và NPU Hexagon.
| Model | Tác vụ | kích thước (pixel) | CPU w8a32 LiteRT (ms) | GPU w8a32 LiteRT (ms) | NPU LiteRT FP32 (ms) |
|---|---|---|---|---|---|
| YOLO26n | Detect | 640 | 36.9 1.9 / 32.6 / 2.3 | 10.6 1.8 / 6.2 / 2.6 | 10.1 3.5 / 4.0 / 2.5 |
| YOLO26n-seg | Segment | 640 | 50.5 1.9 / 42.9 / 5.8 | 18.0 1.9 / 9.5 / 6.6 | 19.2 3.6 / 5.9 / 9.7 |
| YOLO26n-sem | Ngữ nghĩa | 640 | 45.7 1.9 / 35.7 / 8.2 | 30.6 1.9 / 20.5 / 8.3 | 25.8 3.6 / 11.0 / 11.3 |
| YOLO26n-depth | Độ sâu | 640 | 66.8 2.2 / 55.0 / 9.7 | 21.9 2.1 / 10.1 / 9.8 | 24.8 4.3 / 6.0 / 14.5 |
| YOLO26n-cls | Phân loại | 224 | 3.6 0.3 / 3.3 / 0.0 | 2.0 0.4 / 1.4 / 0.2 | 1.5 0.6 / 0.7 / 0.3 |
| YOLO26n-pose | Tư thế | 640 | 39.9 2.0 / 36.5 / 1.4 | 10.0 1.8 / 6.7 / 1.4 | 11.5 3.5 / 4.2 / 3.8 |
| YOLO26n-obb | OBB | 640 | 36.3 2.0 / 33.2 / 1.2 | 10.1 2.6 / 5.9 / 1.6 | 8.2 3.5 / 3.7 / 0.9 |
- Các giá trị tốc độ là độ trễ burst trên một ảnh — trung bình của 15 lần chạy sau 3 lần warmup trên
bus.jpg, được đo bằng0.7.1của plugin Flutter Ultralytics và các assetv0.7.0chính thức (được xuất bằng Ultralytics 8.4.188). Thứ tự CPU/GPU được luân phiên giữa các tác vụ trong một lượt chạy tuần tự. Log native xác nhận mọi hàng CPU đều dùng LiteRT CPU/XNNPACK và mọi hàng GPU đều ủy quyền toàn bộ graph cho LiteRT OpenCL (LITERT_CL). - Quá trình xuất LiteRT truy vết trực tiếp model PyTorch, tạo ra
.tfliteNCHW với đầu vào float — GPU delegate biên dịch toàn bộ đồ thị (cả bảy tác vụ đều chạy trên GPU Adreno ở đây), cònw8a32không cần dữ liệu hiệu chuẩn. Người dùng nên đọc shape tensor và tên signature thay vì giả định bố cục NHWC của onnx2tf cũ hoặc tên đầu raIdentity; hãy đóng gói dữ liệu RGB trực tiếp theo dạng CHW phẳng hoặc chuyển vị trước khi suy luận. Các bản xuất ngữ nghĩa trả về logits NCHW và cần thực hiện argmax lớp ở phía host. Các tài nguyên Android chính thức được lưu trữ trong bản phát hànhv0.7.0của yolo-flutter-app, cùng với hồ sơ benchmark chi tiết trong tài liệu hiệu năng Flutter. - Cột NPU là đường chạy NPU riêng của LiteRT: một bản export FP32 (
yolo export format=litert, không cóquantize) được biên dịch trên thiết bị bằng runtimelitert-npu-runtime-qualcommvà-mediatek2.3.0; phép đo sử dụng bản dựng NPU nguyên mẫu của plugin Flutter (chưa phát hành). Lần tải đầu tiên bao gồm thời gian biên dịch (khoảng 0.3 giây chon, tối đa 6 giây chox). Các assetw8a32không được biên dịch hoàn toàn trên các NPU này. LiteRT báo đã biên dịch NPU ngay cả khi âm thầm chạy graph trên GPU, vì vậy từng hàng NPU được đối chiếu với thời gian GPU; các hàng chuyển sang chạy dự phòng được hiển thị là —. - Các số liệu NPU Hexagon Snapdragon tương ứng cho asset QNN chính thức có trong tích hợp Qualcomm QNN.
- So sánh kết quả CPU/bộ tăng tốc của Apple trong tích hợp CoreML.
Các lượt kiểm thử thiết bị sau đây sử dụng cùng bộ asset v0.7.0 chính thức.
Google Pixel 10#
Phần cứng: Google Pixel 10 với bộ nhớ 12 GB và Android 17 / API 37. Google Tensor G5 3 nm có CPU 8 lõi (1 lõi Prime tối đa 3.78 GHz, 5 lõi Performance tối đa 3.05 GHz và 2 lõi Efficiency tối đa 2.25 GHz), GPU PowerVR D-Series và TPU Google. Xung nhịp lõi và tên driver GPU được đọc từ thiết bị benchmark vì Google không công bố các thông tin này trong thông số kỹ thuật được liên kết.
| Model | Tác vụ | kích thước (pixel) | CPU w8a32 LiteRT (ms) | GPU w8a32 LiteRT (ms) |
|---|---|---|---|---|
| YOLO26n | Detect | 640 | 36.6 1.5 / 33.5 / 1.6 | 36.5 3.5 / 28.4 / 4.6 |
| YOLO26n-seg | Segment | 640 | 53.1 1.5 / 45.8 / 5.7 | 51.5 1.6 / 40.1 / 9.9 |
| YOLO26n-sem | Ngữ nghĩa | 640 | 57.2 1.5 / 47.7 / 8.0 | 75.9 1.8 / 63.4 / 10.8 |
| YOLO26n-depth | Độ sâu | 640 | 75.0 1.6 / 65.1 / 8.3 | 50.1 1.7 / 33.5 / 14.9 |
| YOLO26n-cls | Phân loại | 224 | 6.1 0.3 / 5.5 / 0.3 | 12.1 0.9 / 11.0 / 0.1 |
| YOLO26n-pose | Tư thế | 640 | 35.2 1.5 / 31.9 / 1.8 | 38.2 3.5 / 29.3 / 5.4 |
| YOLO26n-obb | OBB | 640 | 32.7 1.5 / 29.3 / 1.9 | 38.8 3.8 / 29.6 / 5.4 |
Benchmark: Trung bình của 15 lần gọi predict() sau 3 lần warmup trên bus.jpg, sử dụng ultralytics_yolo 0.7.1 và các asset v0.7.0 chính thức. Thứ tự CPU/GPU được luân phiên giữa các tác vụ trong một lượt chạy tuần tự. Log native xác nhận mọi hàng CPU đều dùng LiteRT CPU/XNNPACK và mọi hàng GPU đều ủy quyền toàn bộ graph cho LiteRT OpenCL (LITERT_CL). Tensor NPU không có hàng LiteRT: dịch vụ EdgeTPU của Google từ chối ứng dụng không nằm trong danh sách cho phép, và LiteRT sau đó chạy model trên GPU.
Samsung Galaxy S26#
Phần cứng: Samsung Galaxy S26 (SM-S942B) với bộ nhớ 12 GB và Android 17 / API 37. Exynos 2600 2 nm có CPU Armv9.3 10 lõi (1 lõi C1-Ultra tối đa 3.8 GHz, 3 lõi C1-Pro hiệu năng cao tối đa 3.26 GHz và 6 lõi C1-Pro tiết kiệm năng lượng tối đa 2.76 GHz), GPU Xclipse 960 và NPU Samsung.
| Model | Tác vụ | kích thước (pixel) | CPU w8a32 LiteRT (ms) | GPU w8a32 LiteRT (ms) | NPU LiteRT w8a32 AOT (ms) |
|---|---|---|---|---|---|
| YOLO26n | Detect | 640 | 30.2 1.3 / 27.3 / 1.6 | 15.9 1.4 / 11.5 / 2.9 | 12.2 1.3 / 8.6 / 2.2 |
| YOLO26n-seg | Segment | 640 | 45.6 1.3 / 39.1 / 5.2 | 30.5 1.3 / 23.6 / 5.6 | 17.0 1.4 / 9.7 / 5.8 |
| YOLO26n-sem | Ngữ nghĩa | 640 | 38.1 1.3 / 28.6 / 8.2 | 26.1 1.3 / 16.8 / 7.9 | 28.3 1.7 / 15.1 / 11.5 |
| YOLO26n-depth | Độ sâu | 640 | 63.5 1.4 / 53.6 / 8.4 | 37.3 1.4 / 24.6 / 11.3 | 28.4 2.1 / 12.9 / 13.4 |
| YOLO26n-cls | Phân loại | 224 | 3.8 0.2 / 3.4 / 0.2 | 2.8 0.2 / 2.6 / 0.0 | 6.1 0.5 / 5.2 / 0.4 |
| YOLO26n-pose | Tư thế | 640 | 31.1 1.3 / 28.4 / 1.4 | 18.4 1.6 / 13.0 / 3.8 | 13.5 1.8 / 9.5 / 2.2 |
| YOLO26n-obb | OBB | 640 | 27.9 1.3 / 25.7 / 0.9 | 15.3 1.9 / 11.4 / 2.1 | 11.4 1.7 / 8.3 / 1.4 |
Benchmark: Trung bình của 15 lần gọi predict() sau 3 lần warmup trên bus.jpg, sử dụng ultralytics_yolo 0.7.1 và các asset v0.7.0 chính thức. Thứ tự CPU/GPU được luân phiên giữa các tác vụ trong một lượt chạy tuần tự. Log native xác nhận mọi hàng CPU đều dùng LiteRT CPU/XNNPACK và mọi hàng GPU đều ủy quyền toàn bộ graph cho LiteRT OpenCL (LITERT_CL). Cột NPU sử dụng các asset w8a32 được biên dịch trước cho Exynos 2600 (E9965) bằng plugin compiler Samsung của LiteRT. Samsung không có compiler trên thiết bị trong LiteRT 2.3 và Google chưa phát hành runtime NPU Samsung, vì vậy các hàng này sử dụng thư viện dispatch được dựng từ mã nguồn LiteRT 2.3.
Xiaomi 17T Pro#
Phần cứng: Xiaomi 17T Pro (2602EPTC0G) với bộ nhớ LPDDR5X 12 GB và Android 16 / API 36. MediaTek Dimensity 9500 tiến trình 3 nm (MT6993) có CPU Armv9.3 8 lõi (1 lõi C1-Ultra tối đa 4.21 GHz, 3 lõi C1-Premium tối đa 3.5 GHz và 4 lõi C1-Pro tối đa 2.7 GHz), GPU Mali-G1 Ultra MC12 và NPU MediaTek 990.
| Model | Tác vụ | kích thước (pixel) | CPU w8a32 LiteRT (ms) | GPU w8a32 LiteRT (ms) | NPU LiteRT FP32 (ms) |
|---|---|---|---|---|---|
| YOLO26n | Detect | 640 | 31.4 1.5 / 28.0 / 1.9 | 25.6 1.4 / 22.2 / 2.0 | 11.0 1.3 / 7.8 / 1.8 |
| YOLO26n-seg | Segment | 640 | 77.8 2.6 / 65.3 / 9.9 | 47.4 2.6 / 33.6 / 11.3 | 36.5 2.6 / 23.4 / 10.4 |
| YOLO26n-sem | Ngữ nghĩa | 640 | 81.3 2.6 / 62.2 / 16.5 | 79.3 2.6 / 59.5 / 17.1 | 87.6 2.6 / 68.3 / 16.7 |
| YOLO26n-depth | Độ sâu | 640 | 111.3 3.4 / 91.1 / 16.8 | 55.3 2.8 / 36.3 / 16.1 | — |
| YOLO26n-cls | Phân loại | 224 | 6.3 0.5 / 5.4 / 0.4 | 8.1 0.5 / 7.5 / 0.1 | 3.2 0.5 / 2.2 / 0.5 |
| YOLO26n-pose | Tư thế | 640 | 53.9 2.6 / 49.5 / 1.8 | 32.8 2.7 / 26.7 / 3.4 | 16.2 2.9 / 11.1 / 2.3 |
| YOLO26n-obb | OBB | 640 | 49.5 2.7 / 44.4 / 2.4 | 29.4 2.8 / 22.7 / 3.9 | — |
Benchmark: Trung bình của 15 lần gọi predict() sau 3 lượt warmup trên bus.jpg, sử dụng ultralytics_yolo 0.7.1 và các asset v0.7.0 chính thức. Thứ tự CPU/GPU luân phiên giữa các tác vụ trong một lượt chạy tuần tự. Nhật ký native xác nhận mọi hàng CPU đều dùng LiteRT CPU/XNNPACK và mọi hàng GPU đều chuyển toàn bộ graph cho LiteRT OpenCL (LITERT_CL). Depth và OBB không có kết quả NPU: trình biên dịch NPU MediaTek từ chối các toán tử hàm mũ và lượng giác của chúng, còn LiteRT chạy các graph đó trên GPU.
Để biết quy trình triển khai Android và các giới hạn của NPU, hãy xem hướng dẫn MediaTek Dimensity.
Intel Core Ultra X7 358H#
Phần cứng: Intel Core Ultra X7 358H (Panther Lake) và Intel AI Boost NPU 5010, Fedora Linux, trình điều khiển NPU 1.38.0, ai-edge-litert 2.3.0.
| Model | Tác vụ | kích thước (pixel) | CPU w8a32 LiteRT (ms) | CPU w8a32 Intel (ms) | NPU w8a32 Intel (ms) |
|---|---|---|---|---|---|
| YOLO26n | Detect | 640 | 17.5 0.8 / 16.1 / 0.6 | 22.6 1.2 / 20.6 / 0.8 | 4.8 1.0 / 3.3 / 0.4 |
| YOLO26n-seg | Segment | 640 | 24.2 0.9 / 22.1 / 1.3 | 32.6 1.0 / 30.1 / 1.5 | 6.2 0.8 / 4.2 / 1.2 |
| YOLO26n-sem | Ngữ nghĩa | 640 | 25.2 1.0 / 14.2 / 10.0 | 33.1 1.1 / 21.9 / 10.2 | 16.5 1.0 / 5.5 / 10.0 |
| YOLO26n-depth | Độ sâu | 640 | 31.7 0.9 / 30.2 / 0.5 | 76.6 0.9 / 75.2 / 0.5 | 9.1 1.0 / 7.5 / 0.5 |
| YOLO26n-cls | Phân loại | 224 | 4.6 2.8 / 1.7 / 0.0 | 7.3 3.3 / 3.9 / 0.0 | 4.1 3.2 / 0.9 / 0.0 |
| YOLO26n-pose | Tư thế | 640 | 20.3 0.8 / 19.0 / 0.5 | 28.6 1.1 / 26.8 / 0.8 | 6.3 0.8 / 4.9 / 0.5 |
| YOLO26n-obb | OBB | 640 | 17.2 0.8 / 16.1 / 0.3 | 22.1 1.2 / 20.5 / 0.4 | 4.6 0.9 / 3.4 / 0.3 |
Đánh giá hiệu năng: Trung bình của 15 lần gọi predict() sau 3 lần chạy làm nóng trên bus.jpg, sử dụng ultralytics 8.4.174 và ai-edge-litert 2.3.0 cùng các bản xuất w8a32. Mỗi ô hiển thị tổng thời gian, bên dưới là thời gian tiền xử lý / suy luận / hậu xử lý.
Giới thiệu về LiteRT#
LiteRT, viết tắt của Lite Runtime, tiếp nối TensorFlow Lite dưới tên mới và chạy cùng định dạng model .tflite. LiteRT chạy model trên CPU bằng XNNPACK và trên GPU, NPU thông qua các hardware delegate; LiteRT.js đưa cùng file đó lên trình duyệt và Node.js. Để xem tài liệu tham khảo đầy đủ, hãy xem tài liệu LiteRT.
Xem: Cách export Ultralytics YOLO26 sang Google LiteRT | Triển khai Vision AI trên Android và iOS | AI di động 📱🚀
Câu hỏi thường gặp#
LiteRT là tên mới của TensorFlow Lite và sử dụng cùng định dạng model
.tflite. Trong Ultralytics,format="litert"thay thế hai định dạng xuất trước đây:tflitedành cho thiết bị di động, nhúng và edge, vàtfjsdành cho trình duyệt và Node.js, nơi LiteRT.js hiện chạy cùng file.tflite. Cả hai giá trị cũ vẫn xuất file LiteRT kèm cảnh báo ngừng hỗ trợ. Các trang TFLite và TF.js mô tả các định dạng trước đây.Hãy bắt đầu với
quantize="w8a32". Phương pháp này không cần dữ liệu hiệu chuẩn, giúp file nhỏ hơn một phần ba kích thước FP32, hỗ trợ head không cần NMS của YOLO26 vớinms=Falsevà là mức độ chính xác của các model di động Ultralytics chính thức dành cho CPU và GPU. Dùngquantize=8khi thiết bị đích cần activation dạng số nguyên: chẳng hạn, bản xuất NXP i.MX95 biên dịch model LiteRT INT8 đã hiệu chuẩn.'w8a16'giữ độ chính xác activation cao hơn8. Cả hai đều cần dữ liệu hiệu chuẩn đại diện và trả về dự đoán thô cần NMS. Hãy đo độ trễ và độ chính xác trên thiết bị đích trước khi chọn, vì mức hỗ trợ cho từng phương pháp khác nhau giữa các delegate CPU, GPU và NPU.Không. Quá trình xuất chỉ chạy trên Linux x86-64 và macOS có Apple silicon. Hãy xuất model trên một trong các máy này hoặc bằng Ultralytics Platform, rồi sao chép file
.tflitesang thiết bị. Xem hướng dẫn Raspberry Pi để chạy model trên bo mạch; Coral Edge TPU có thể tăng tốc inference.Có. LiteRT.js chạy file
.tfliteđã xuất trong trình duyệt hoặc Node.js bằng WebGPU hay WASM, nên không cần xuất riêng cho trình duyệt. Package npm @ultralytics/yolo cung cấp lớp bao bọc với inference qua webcam và ảnh đơn cho các tác vụ detect, segment, semantic, classify, pose và OBB.Dùng plugin Ultralytics YOLO Flutter, plugin tải các bản xuất LiteRT
.tflitetrên Android và hỗ trợ cả bảy tác vụ YOLO26. Xuất ở kích thướcimgsz=640, hoặcimgsz=224cho tác vụ phân loại, để khớp với các model chính thức. Đối với ứng dụng native, hãy làm theo hướng dẫn LiteRT cho Android và đưa model vào như mô tả trong Định dạng đầu ra. Trên iPhone, Core ML là định dạng native.
Bình luận
Đặt câu hỏi, chia sẻ kết quả hoặc giúp đỡ người khác.