Xuất model TFLite để triển khai (Đã ngừng sử dụng)#

Việc triển khai các model thị giác máy tính trên thiết bị biên hoặc thiết bị nhúng đòi hỏi một định dạng có thể đảm bảo hiệu năng liền mạch.

Định dạng xuất TensorFlow Lite hoặc TFLite trước đây tối ưu hóa các model Ultralytics YOLO26 cho những tác vụ như phát hiện đối tượng và phân loại hình ảnh trong các ứng dụng biên. Hướng dẫn này giữ lại bối cảnh triển khai TFLite cũ; hãy dùng LiteRT cho các lần xuất mới.

Tại sao TFLite từng được dùng để xuất model?#

Được Google giới thiệu vào tháng 5 năm 2017 như một phần của framework TensorFlow, TensorFlow Lite, hay gọi tắt là TFLite, là một framework deep learning mã nguồn mở được thiết kế cho suy luận trên thiết bị, còn được gọi là điện toán biên. Framework này cung cấp cho developer các công cụ để chạy model đã huấn luyện trên thiết bị di động, thiết bị nhúng, thiết bị IoT cũng như máy tính thông thường.

TensorFlow Lite hỗ trợ nhiều nền tảng, bao gồm Linux nhúng, Android, iOS và vi điều khiển (MCU). Các bản xuất TFLite cho phép ứng dụng chạy model cục bộ và ngoại tuyến.

Các tính năng chính của model TFLite#

Model TFLite cung cấp nhiều tính năng chính giúp triển khai machine learning trên thiết bị, hỗ trợ developer chạy model trên thiết bị di động, thiết bị nhúng và thiết bị biên:

• Tối ưu hóa trên thiết bị: TFLite tối ưu hóa cho ML trên thiết bị, giảm độ trễ bằng cách xử lý dữ liệu cục bộ, tăng cường quyền riêng tư bằng cách không truyền dữ liệu cá nhân và giảm kích thước model để tiết kiệm dung lượng.

• Hỗ trợ nhiều nền tảng: TFLite có khả năng tương thích rộng với các nền tảng, hỗ trợ Android, iOS, Linux nhúng và vi điều khiển.

• Hỗ trợ nhiều ngôn ngữ: TFLite tương thích với nhiều ngôn ngữ lập trình, bao gồm Java, Swift, Objective-C, C++ và Python.

• Hiệu năng cao: Đạt hiệu năng vượt trội nhờ tăng tốc phần cứng và tối ưu hóa model.

Hiệu năng đo được (dữ liệu lịch sử)#

Cả hai định dạng đều chạy trong cùng một lượt kiểm tra GPU liên tiếp ở các kích thước đầu vào được nêu. Mỗi ô là tổng thời gian (tiền xử lý + suy luận + hậu xử lý), kèm phân rã theo từng giai đoạn bên dưới; log gốc xác nhận cả hai định dạng đều chuyển toàn bộ graph cho LiteRT OpenCL (LITERT_CL) chạy trên GPU Adreno.

Trong cùng đợt chuyển đổi, các định dạng lượng tử hóa của YOLO26n detect cũng được so sánh. Suy luận là chỉ số có thể so sánh và phụ thuộc vào định dạng:

Trong lần chạy này, w8a16 chuyển về CPU, mất khoảng 660 ms tổng cộng so với khoảng 17 ms của các định dạng GPU. Những kết quả này là cơ sở để phát hành w8a32, nhưng khả năng tương thích và hiệu năng của delegate phụ thuộc vào thiết bị và phiên bản runtime. Hãy benchmark thiết bị mục tiêu và xác nhận vị trí chạy accelerator trong log runtime.

Các tùy chọn triển khai TFLite#

Trước khi xem ví dụ xuất thay thế bằng LiteRT, hãy tìm hiểu cách sử dụng model TFLite thông thường.

TFLite cung cấp nhiều tùy chọn triển khai model machine learning trên thiết bị, bao gồm:

• Triển khai trên Android và iOS: Ứng dụng Android và iOS dùng TFLite đều có thể phân tích luồng camera và dữ liệu cảm biến trên thiết bị biên để phát hiện và nhận diện đối tượng. TFLite cũng cung cấp các thư viện iOS gốc được viết bằng Swift và Objective-C. Sơ đồ kiến trúc bên dưới minh họa quy trình triển khai model đã huấn luyện trên nền tảng Android và iOS bằng TensorFlow Lite.

• Triển khai trên Linux nhúng: Nếu chạy suy luận trên Raspberry Pi theo hướng dẫn của Ultralytics không đáp ứng yêu cầu tốc độ của trường hợp sử dụng, bạn có thể dùng model TFLite đã xuất để tăng tốc suy luận. Ngoài ra, có thể cải thiện hiệu năng hơn nữa bằng cách sử dụng thiết bị Coral Edge TPU.

• Triển khai trên vi điều khiển: Model TFLite cũng có thể được triển khai trên vi điều khiển và các thiết bị khác chỉ có vài kilobyte bộ nhớ. Runtime cốt lõi chỉ chiếm 16 KB trên Arm Cortex M3 và có thể chạy nhiều model cơ bản. Runtime không yêu cầu hệ điều hành, thư viện C hoặc C++ tiêu chuẩn hay cấp phát bộ nhớ động.

Thay thế xuất TFLite bằng LiteRT#

Với các lần xuất mới, hãy chuyển đổi model sang LiteRT. Model tạo ra vẫn giữ phần mở rộng tệp .tflite.

Cài đặt#

Để cài đặt các package cần thiết, hãy chạy:

# Install the required package for YOLO26
pip install ultralytics

Để biết hướng dẫn chi tiết và các phương pháp tốt nhất về quy trình cài đặt, hãy xem hướng dẫn cài đặt Ultralytics. Nếu gặp khó khăn khi cài đặt các package cần thiết cho YOLO26, hãy tham khảo hướng dẫn khắc phục sự cố thường gặp để tìm giải pháp và mẹo hữu ích.

Cách sử dụng#

Tất cả model Ultralytics YOLO26 đều được thiết kế để hỗ trợ xuất ngay từ đầu, giúp bạn dễ dàng tích hợp chúng vào quy trình triển khai mong muốn. Bạn có thể xem danh sách đầy đủ các định dạng xuất được hỗ trợ và tùy chọn cấu hình để chọn thiết lập phù hợp nhất cho ứng dụng.

Định dạng LiteRT thay thế hỗ trợ các chế độ Export, Predict và Validate. Hãy xuất model, sau đó tải model .tflite đã xuất để chạy suy luận hoặc xác thực độ chính xác.

from ultralytics import YOLO

# Nạp model YOLO26
model = YOLO("yolo26n.pt")

# Xuất model sang định dạng LiteRT
model.export(format="litert", imgsz=640)  # dùng imgsz=224 cho phân loại

from ultralytics import YOLO

# Tải model TFLite đã xuất
model = YOLO("yolo26n.tflite")

# Chạy suy luận
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Tải model TFLite đã xuất
model = YOLO("yolo26n.tflite")

# # Đánh giá độ chính xác trên bộ dữ liệu COCO8
metrics = model.val(data="coco8.yaml")

Các tham số xuất model#

Để biết thêm chi tiết về quy trình xuất, hãy truy cập trang tài liệu Ultralytics về xuất model.

Triển khai model YOLO26 TFLite đã xuất#

Sau khi xuất model Ultralytics YOLO26 sang định dạng LiteRT, bạn có thể triển khai model .tflite được tạo ra. Bước đầu tiên được khuyến nghị để chạy model TFLite là sử dụng phương thức YOLO("model.tflite"), như đã nêu trong đoạn mã sử dụng trước đó. Tuy nhiên, để xem hướng dẫn chuyên sâu về triển khai model TFLite trong nhiều môi trường khác, hãy tham khảo các tài nguyên sau:

• Android: Hướng dẫn bắt đầu nhanh để tích hợp TensorFlow Lite vào ứng dụng Android, cung cấp các bước dễ làm theo để thiết lập và chạy model machine learning.

• iOS: Tham khảo hướng dẫn chi tiết dành cho developer về tích hợp và triển khai model TensorFlow Lite trong ứng dụng iOS, với hướng dẫn từng bước và các tài nguyên liên quan.

• Ví dụ đầu-cuối: Trang này tổng quan các ví dụ TensorFlow Lite khác nhau, giới thiệu ứng dụng thực tế và hướng dẫn giúp developer triển khai TensorFlow Lite trong các dự án machine learning trên thiết bị di động và thiết bị biên.

Tóm tắt#

Hướng dẫn này giữ lại quy trình triển khai TFLite cũ. Với các lần xuất mới, hãy dùng LiteRT để tạo model .tflite cho môi trường điện toán biên.

Để biết thêm chi tiết về cách sử dụng, hãy truy cập tài liệu chính thức của TFLite.

Ngoài ra, nếu muốn tìm hiểu các tích hợp Ultralytics YOLO26 khác, hãy xem trang hướng dẫn tích hợp của chúng tôi. Tại đó có nhiều thông tin và nội dung hữu ích.

Câu hỏi thường gặp#