Xuất model YOLO sang LiteRT để triển khai trên thiết bị biên và web#

LiteRT (viết tắt của môi trường runtime Lite) là runtime hiệu năng cao của Google dành cho AI trên thiết bị. Đây là thế hệ tiếp theo và là tên mới của Lite TensorFlow (TFLite), đồng thời chạy cùng định dạng model .tflite. Với LiteRT, một model Ultralytics YOLO được xuất có thể triển khai trên thiết bị di động, thiết bị nhúng, thiết bị biên và trình duyệt — bao phủ mọi trường hợp mà các định dạng xuất tflite và tfjs trước đây xử lý riêng lẻ, nay được hợp nhất trong một nền tảng.

Định dạng xuất LiteRT tối ưu model cho các tác vụ như phát hiện đối tượng, phân đoạn, ước tính tư thế và phân loại, giúp chúng chạy nhanh và offline trên nhiều loại thiết bị.

npm i @ultralytics/yolo @litertjs/core

Tại sao nên xuất sang LiteRT?#

LiteRT là framework mã nguồn mở được thiết kế cho suy luận trên thiết bị, còn được gọi là điện toán biên. Framework này cung cấp cho developer các công cụ để thực thi model đã huấn luyện trên thiết bị di động, thiết bị nhúng và thiết bị IoT, máy tính truyền thống, cũng như — thông qua LiteRT.js — trực tiếp trong trình duyệt web và Node.js.

Một định dạng model, mọi nền tảng đích:

• Di động & Nhúng: Android, iOS, Linux nhúng và vi điều khiển (MCU).
• Bộ tăng tốc biên: Tương thích với Coral Edge TPU để tăng tốc hơn nữa.
• Trình duyệt & Node.js: LiteRT.js chạy cùng model .tflite trên web với tăng tốc WebGPU/WASM — loại bỏ nhu cầu xuất TensorFlow.js riêng biệt.

Các tính năng chính của model LiteRT#

• Tối ưu hóa trên thiết bị: Giảm độ trễ bằng cách xử lý dữ liệu cục bộ, tăng cường quyền riêng tư do không truyền dữ liệu cá nhân và giảm kích thước model để tiết kiệm dung lượng.
• Hỗ trợ nhiều nền tảng: Chạy trên Android, iOS, Linux nhúng, vi điều khiển và các trình duyệt web hiện đại.
• Tăng tốc phần cứng: Tận dụng XNNPACK trên CPU và tăng tốc GPU thông qua OpenCL, Metal và WebGPU. GPU delegate mặc định chạy ở FP16 để tăng thêm tốc độ.
• Lượng tử hóa: Hỗ trợ FP32, INT8 tĩnh (quantize=8, trọng số int8 + activation int8), activation INT16 tĩnh (quantize="w8a16", trọng số int8 + activation int16 để đạt độ chính xác cao hơn) và INT8 động (quantize="w8a32", trọng số int8 + activation FP32, không cần dữ liệu calibration) nhằm nén model và tăng tốc suy luận với mức mất độ chính xác tối thiểu.
• Hỗ trợ đa ngôn ngữ: Tương thích với Java/Kotlin, Swift, Objective-C, C++, Python và JavaScript.

Hiệu năng đo được#

Phần cứng: Xiaomi 17 với bộ nhớ LPDDR5X 12 GB và Android 16 / API 36. Snapdragon 8 Elite Gen 5 tiến trình 3 nm của máy (SM8850) có CPU Qualcomm Oryon 8 lõi (2 lõi Prime tối đa 4.6 GHz và 6 lõi Performance tối đa 3.62 GHz), GPU Adreno và NPU Hexagon.

• Các giá trị Tốc độ là độ trễ burst trên ảnh đơn — giá trị trung bình của 15 lần chạy sau 3 lần warmup trên bus.jpg, được đo bằng Ultralytics Flutter plugin 0.6.10 và các asset v0.6.6 theo tiêu chuẩn. Thứ tự CPU/GPU được luân phiên giữa các tác vụ trong một lượt chạy tuần tự. Log native xác nhận rằng mọi hàng CPU đều sử dụng LiteRT CPU/XNNPACK và mọi hàng GPU đều ủy quyền toàn bộ graph cho LiteRT OpenCL (LITERT_CL).
• Bản xuất LiteRT trace trực tiếp model PyTorch, tạo ra .tflite NCHW với input float — GPU delegate biên dịch toàn bộ graph (cả bảy tác vụ đều chạy trên GPU Adreno tại đây), và w8a32 không cần dữ liệu calibration. Consumer nên đọc shape tensor và tên signature thay vì giả định layout NHWC legacy của onnx2tf hoặc tên output Identity; hãy đóng gói dữ liệu RGB trực tiếp dưới dạng CHW planar hoặc transpose dữ liệu trước khi suy luận. Bản xuất semantic trả về logits NCHW và yêu cầu thực hiện argmax lớp ở phía host. Các Android asset chính thức được lưu trữ trong bản phát hành v0.6.6 của yolo-flutter-app, cùng bản ghi benchmark chi tiết trong tài liệu hiệu năng Flutter.
• Các con số của NPU Hexagon Snapdragon tương ứng và LiteRT CPU/GPU có trong tích hợp Qualcomm QNN.
• So sánh kết quả CPU/bộ tăng tốc của Apple trong tích hợp CoreML.

Các lượt quét thiết bị sau đây sử dụng cùng các asset v0.6.6 theo tiêu chuẩn.

Google Pixel 10#

Phần cứng: Google Pixel 10 với bộ nhớ 12 GB và Android 16 / API 36. Google Tensor G5 tiến trình 3 nm của máy có CPU 8 lõi (1 lõi Prime tối đa 3.78 GHz, 5 lõi Performance tối đa 3.05 GHz và 2 lõi Efficiency tối đa 2.25 GHz), GPU PowerVR D-Series và Google TPU. Xung nhịp lõi và tên driver GPU được đọc từ thiết bị benchmark vì Google không công bố chúng trong thông số kỹ thuật được liên kết.

Benchmark: Giá trị trung bình của 15 lần gọi predict() sau 3 lần warmup trên bus.jpg, sử dụng ultralytics_yolo, 0.6.10 và các asset v0.6.6 chính thức. Thứ tự CPU/GPU được luân phiên giữa các tác vụ trong một lượt chạy tuần tự. Log native xác nhận rằng mọi hàng CPU đều sử dụng LiteRT CPU/XNNPACK và mọi hàng GPU đều ủy quyền toàn bộ graph cho LiteRT OpenCL (LITERT_CL).

Samsung Galaxy S26#

Phần cứng: Samsung Galaxy S26 (SM-S942B) với bộ nhớ 12 GB và Android 16 / API 36. Exynos 2600 tiến trình 2 nm của máy có CPU Armv9.3 10 lõi (1 lõi C1-Ultra tối đa 3.8 GHz, 3 lõi hiệu năng C1-Pro tối đa 3.26 GHz và 6 lõi tiết kiệm C1-Pro tối đa 2.76 GHz), GPU Xclipse 960 và NPU Samsung.

Benchmark: Giá trị trung bình của 15 lần gọi predict() sau 3 lần warmup trên bus.jpg, sử dụng ultralytics_yolo, 0.6.10 và các asset v0.6.6 chính thức. Thứ tự CPU/GPU được luân phiên giữa các tác vụ trong một lượt chạy tuần tự. Log native xác nhận rằng mọi hàng CPU đều sử dụng LiteRT CPU/XNNPACK và mọi hàng GPU đều ủy quyền toàn bộ graph cho LiteRT OpenCL (LITERT_CL).

Xiaomi 17T Pro#

Phần cứng: Xiaomi 17T Pro (2602EPTC0G) với bộ nhớ LPDDR5X 12 GB và Android 16 / API 36. MediaTek Dimensity 9500 tiến trình 3 nm (MT6993) có CPU Armv9.3 8 lõi (1 lõi C1-Ultra tối đa 4.21 GHz, 3 lõi C1-Premium tối đa 3.5 GHz và 4 lõi C1-Pro tối đa 2.7 GHz), GPU Mali-G1 Ultra MC12 và NPU MediaTek 990.

Benchmark: Giá trị trung bình của 15 lần gọi predict() sau 3 lần warmup trên bus.jpg, sử dụng ultralytics_yolo, 0.6.10 và các asset v0.6.6 chính thức. Thứ tự CPU/GPU được luân phiên giữa các tác vụ trong một lượt chạy tuần tự. Log native xác nhận rằng mọi hàng CPU đều sử dụng LiteRT CPU/XNNPACK và mọi hàng GPU đều ủy quyền toàn bộ graph cho LiteRT OpenCL (LITERT_CL).

Các Task được hỗ trợ#

Bản xuất LiteRT hỗ trợ cả bảy tác vụ Ultralytics. Phân đoạn ngữ nghĩa và ước tính độ sâu chỉ khả dụng với YOLO26, dòng duy nhất cung cấp các head này.

Xuất sang LiteRT: Chuyển đổi model YOLO của bạn#

Bạn có thể cải thiện hiệu quả thực thi trên thiết bị và mở rộng các tùy chọn triển khai bằng cách chuyển đổi model sang định dạng LiteRT.

Cài đặt#

Để cài đặt package bắt buộc, hãy chạy:

# Install the required package for YOLO
pip install ultralytics

Để xem hướng dẫn chi tiết và các phương pháp tốt nhất, hãy tham khảo hướng dẫn Cài đặt Ultralytics. Nếu gặp khó khăn, hãy xem hướng dẫn Các vấn đề thường gặp.

Cách sử dụng#

Tất cả model Ultralytics YOLO đều hỗ trợ export ngay sau khi cài đặt. Định dạng LiteRT hỗ trợ các mode Export, Predict và Validate, vì vậy bạn có thể xuất model, sau đó tải model để chạy suy luận hoặc xác thực độ chính xác cục bộ.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to LiteRT format
model.export(format="litert", imgsz=640)  # use imgsz=224 for classification

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Dynamic INT8: int8 weights, FP32 activations - no calibration data needed
model.export(format="litert", quantize="w8a32", imgsz=640)  # use imgsz=224 for classification

# Static INT8: int8 weights + int8 activations - needs calibration data
model.export(format="litert", quantize=8, data="coco8.yaml", imgsz=640)  # use 224 for classification

# Static w8a16: int8 weights + int16 activations (higher accuracy) - needs calibration data
model.export(format="litert", quantize="w8a16", data="coco8.yaml", imgsz=640)  # use 224 for classification

from ultralytics import YOLO

# Load the exported LiteRT model
model = YOLO("yolo26n.tflite")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported LiteRT model
model = YOLO("yolo26n.tflite")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Đối số Export#

Để biết thêm chi tiết về quy trình export, hãy truy cập trang tài liệu Ultralytics về export.

Triển khai các model YOLO LiteRT đã export#

Sau khi export model Ultralytics YOLO sang LiteRT, bạn có thể triển khai model trên nhiều nền tảng. Cách nhanh nhất để xác minh model trên máy cục bộ là sử dụng phương thức YOLO("yolo26n.tflite") được nêu ở trên. Để triển khai trong các môi trường khác, hãy xem các tài nguyên sau:

Thiết bị di động & nhúng#

• Android: Hướng dẫn bắt đầu nhanh để tích hợp LiteRT vào các ứng dụng Android.
• iOS: Hướng dẫn tích hợp và triển khai các model LiteRT trong ứng dụng iOS.
• Linux nhúng & Raspberry Pi: Chạy các model LiteRT trên máy tính bo mạch đơn, với tùy chọn tăng tốc bằng Coral Edge TPU.
• Vi điều khiển: Triển khai trên các MCU chỉ có vài kilobyte bộ nhớ — runtime cốt lõi chỉ chiếm khoảng 16 KB trên Arm Cortex-M3.

Trình duyệt & Node.js (LiteRT.js)#

• Tổng quan về LiteRT.js: Chạy trực tiếp cùng model .tflite trong trình duyệt với khả năng tăng tốc WebGPU/WASM, loại bỏ việc tính toán phía server và giữ dữ liệu trên thiết bị của người dùng.
• Ví dụ đầu-cuối: Các ví dụ thực tế và hướng dẫn triển khai LiteRT trên thiết bị di động, edge và web.

Tóm tắt#

Trong hướng dẫn này, chúng ta đã tìm hiểu cách export các model Ultralytics YOLO sang định dạng LiteRT. Bằng cách hợp nhất việc triển khai trên thiết bị di động/edge (trước đây là TFLite) và trình duyệt (trước đây là TF.js) vào một model .tflite duy nhất, LiteRT giúp các model YOLO chạy nhanh hơn, có kích thước nhỏ hơn và có thể portable trên hầu hết mọi thiết bị đích.

Để biết thêm chi tiết, hãy truy cập tài liệu chính thức của LiteRT.

Ngoài ra, nếu bạn muốn tìm hiểu về các tích hợp Ultralytics YOLO khác, hãy xem trang hướng dẫn tích hợp của chúng tôi để tham khảo nhiều tài nguyên hữu ích.

FAQ#