Xuất model TFLite để triển khai (Đã ngừng sử dụng)#

Việc triển khai các model thị giác máy tính trên thiết bị edge hoặc thiết bị nhúng yêu cầu một định dạng có thể đảm bảo hiệu năng liền mạch.

Định dạng xuất TensorFlow Lite hoặc TFLite trước đây đã tối ưu các model Ultralytics YOLO26 cho những tác vụ như phát hiện đối tượng và phân loại ảnh trong các ứng dụng edge. Hướng dẫn này giữ lại bối cảnh triển khai TFLite cũ; hãy sử dụng LiteRT cho các lần xuất mới.

Tại sao TFLite được sử dụng để xuất model?#

Được Google giới thiệu vào tháng 5 năm 2017 như một phần của framework TensorFlow, TensorFlow Lite, gọi tắt là TFLite, là một framework deep learning mã nguồn mở được thiết kế cho suy luận trên thiết bị, còn được gọi là điện toán edge. Framework này cung cấp cho developer các công cụ để thực thi model đã huấn luyện trên thiết bị di động, thiết bị nhúng và thiết bị IoT, cũng như máy tính truyền thống.

TensorFlow Lite hỗ trợ nhiều nền tảng, bao gồm Linux nhúng, Android, iOS và các bộ vi điều khiển (MCUs). Việc xuất TFLite cho phép ứng dụng chạy model cục bộ và ngoại tuyến.

Các tính năng chính của model TFLite#

Model TFLite cung cấp nhiều tính năng chính hỗ trợ machine learning trên thiết bị, giúp developer chạy model trên thiết bị di động, thiết bị nhúng và thiết bị edge:

• Tối ưu hóa trên thiết bị: TFLite được tối ưu cho ML trên thiết bị, giảm độ trễ bằng cách xử lý dữ liệu cục bộ, tăng cường quyền riêng tư bằng cách không truyền dữ liệu cá nhân và giảm kích thước model để tiết kiệm dung lượng.

• Hỗ trợ nhiều nền tảng: TFLite có khả năng tương thích nền tảng rộng, hỗ trợ Android, iOS, Linux nhúng và các bộ vi điều khiển.

• Hỗ trợ đa dạng ngôn ngữ: TFLite tương thích với nhiều ngôn ngữ lập trình, bao gồm Java, Swift, Objective-C, C++ và Python.

• Hiệu năng cao: Đạt hiệu năng vượt trội nhờ tăng tốc phần cứng và tối ưu hóa model.

Hiệu năng đo được (lịch sử)#

Cả hai định dạng đều chạy trong cùng một phép đo GPU liên tiếp với các kích thước đầu vào được nêu. Mỗi ô là tổng thời gian (tiền xử lý + suy luận + hậu xử lý), kèm phần phân tách theo từng giai đoạn bên dưới; log native xác nhận rằng cả hai định dạng đều chuyển toàn bộ graph cho LiteRT OpenCL (LITERT_CL) trên GPU Adreno.

Cùng một lần chạy di chuyển cũng so sánh các định dạng lượng tử hóa của YOLO26n detect. Suy luận là chỉ số có thể so sánh và phụ thuộc vào định dạng:

Trong lần chạy này, w8a16 chuyển sang CPU dự phòng với tổng thời gian khoảng 660 ms, so với khoảng 17 ms đối với các định dạng GPU. Các kết quả này là cơ sở để phát hành w8a32, nhưng khả năng tương thích và hiệu năng của delegate phụ thuộc vào thiết bị và phiên bản runtime. Hãy benchmark trên thiết bị mục tiêu và xác nhận vị trí của accelerator trong log runtime.

Các tùy chọn triển khai trong TFLite#

Trước khi xem ví dụ xuất thay thế bằng LiteRT, hãy tìm hiểu cách model TFLite thường được sử dụng.

TFLite cung cấp nhiều tùy chọn triển khai model machine learning trên thiết bị, bao gồm:

• Triển khai với Android và iOS: Cả ứng dụng Android và iOS sử dụng TFLite đều có thể phân tích luồng camera và cảm biến trên edge để phát hiện và nhận dạng đối tượng. TFLite cũng cung cấp các thư viện iOS native được viết bằng Swift và Objective-C. Sơ đồ kiến trúc bên dưới minh họa quy trình triển khai model đã huấn luyện lên nền tảng Android và iOS bằng TensorFlow Lite.

• Triển khai với Linux nhúng: Nếu chạy suy luận trên Raspberry Pi bằng Hướng dẫn Ultralytics không đáp ứng yêu cầu tốc độ cho trường hợp sử dụng của bạn, bạn có thể sử dụng model TFLite đã xuất để tăng tốc thời gian suy luận. Ngoài ra, có thể cải thiện hiệu năng hơn nữa bằng cách sử dụng thiết bị Coral Edge TPU.

• Triển khai với bộ vi điều khiển: Model TFLite cũng có thể được triển khai trên bộ vi điều khiển và các thiết bị khác chỉ có vài kilobyte bộ nhớ. Runtime cốt lõi chỉ cần 16 KB trên Arm Cortex M3 và có thể chạy nhiều model cơ bản. Runtime này không yêu cầu hỗ trợ hệ điều hành, bất kỳ thư viện C hoặc C++ tiêu chuẩn nào hay cấp phát bộ nhớ động.

Thay thế bản xuất TFLite bằng LiteRT#

Đối với các lần xuất mới, hãy chuyển đổi model sang LiteRT. Model kết quả vẫn giữ phần mở rộng tệp .tflite.

Cài đặt#

Để cài đặt các package bắt buộc, hãy chạy:

# Install the required package for YOLO26
pip install ultralytics

Để xem hướng dẫn chi tiết và các best practice liên quan đến quy trình cài đặt, hãy tham khảo hướng dẫn Cài đặt Ultralytics. Nếu gặp khó khăn khi cài đặt các package cần thiết cho YOLO26, hãy xem hướng dẫn Các vấn đề Thường gặp để tìm giải pháp và mẹo xử lý.

Cách sử dụng#

Tất cả model Ultralytics YOLO26 đều được thiết kế để hỗ trợ xuất ngay khi cài đặt, giúp dễ dàng tích hợp vào quy trình triển khai mà bạn lựa chọn. Bạn có thể xem danh sách đầy đủ các định dạng xuất và tùy chọn cấu hình được hỗ trợ để chọn thiết lập phù hợp nhất cho ứng dụng của mình.

Định dạng LiteRT thay thế hỗ trợ các mode Export, Predict và Validate. Hãy xuất model, sau đó nạp model .tflite đã xuất để chạy suy luận hoặc xác thực độ chính xác.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to LiteRT format
model.export(format="litert", imgsz=640)  # use imgsz=224 for classification

from ultralytics import YOLO

# Load the exported TFLite model
model = YOLO("yolo26n.tflite")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported TFLite model
model = YOLO("yolo26n.tflite")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Đối số Export#

Để biết thêm chi tiết về quy trình export, hãy truy cập trang tài liệu Ultralytics về export.

Triển khai model YOLO26 TFLite đã xuất#

Sau khi xuất model Ultralytics YOLO26 sang định dạng LiteRT, bạn có thể triển khai model .tflite thu được. Bước đầu tiên và được khuyến nghị để chạy model TFLite là sử dụng phương thức YOLO("model.tflite"), như đã nêu trong đoạn code sử dụng trước đó. Tuy nhiên, để xem hướng dẫn chuyên sâu về triển khai model TFLite trong nhiều môi trường khác, hãy tham khảo các tài nguyên sau:

• Android: Hướng dẫn bắt đầu nhanh về cách tích hợp TensorFlow Lite vào ứng dụng Android, cung cấp các bước dễ thực hiện để thiết lập và chạy model machine learning.

• iOS: Tham khảo hướng dẫn chi tiết dành cho developer về cách tích hợp và triển khai model TensorFlow Lite trong ứng dụng iOS, với hướng dẫn từng bước và các tài nguyên liên quan.

• Ví dụ đầu-cuối: Trang này cung cấp tổng quan về nhiều ví dụ TensorFlow Lite, minh họa các ứng dụng thực tế và tutorial giúp developer triển khai TensorFlow Lite trong các dự án machine learning trên thiết bị di động và edge.

Tóm tắt#

Hướng dẫn này giữ lại workflow triển khai TFLite cũ. Đối với các lần xuất mới, hãy sử dụng LiteRT để tạo model .tflite cho môi trường điện toán edge.

Để biết thêm chi tiết về cách sử dụng, hãy truy cập tài liệu chính thức của TFLite.

Ngoài ra, nếu bạn quan tâm đến các tích hợp Ultralytics YOLO26 khác, hãy xem trang hướng dẫn tích hợp của chúng tôi. Bạn sẽ tìm thấy nhiều thông tin và nội dung hữu ích tại đó.

FAQ#