Xuất mô hình TFLite để triển khai (Đã ngừng hỗ trợ)#

Việc triển khai các model computer vision trên thiết bị biên hoặc thiết bị nhúng đòi hỏi một định dạng có thể đảm bảo hiệu suất liền mạch.

Định dạng xuất TensorFlow Lite hoặc TFLite trước đây đã tối ưu hóa các model Ultralytics YOLO26 cho các tác vụ như object detection và image classification trong các ứng dụng biên. Hướng dẫn này bảo lưu ngữ cảnh triển khai TFLite cũ; hãy sử dụng LiteRT cho các bản xuất mới.

Tại sao TFLite lại được sử dụng để xuất mô hình?#

Được Google giới thiệu vào tháng 5 năm 2017 như một phần của framework TensorFlow, TensorFlow Lite, hay gọi tắt là TFLite, là một framework deep learning mã nguồn mở được thiết kế cho việc suy luận trên thiết bị, còn được gọi là edge computing. Nó cung cấp cho các nhà phát triển các công cụ để thực thi các model đã được huấn luyện trên thiết bị di động, thiết bị nhúng và IoT, cũng như máy tính truyền thống.

TensorFlow Lite hỗ trợ nhiều nền tảng, bao gồm Linux nhúng, Android, iOS và vi điều khiển (MCU). Các bản xuất TFLite cho phép các ứng dụng chạy mô hình cục bộ và ngoại tuyến.

Các Tính năng Chính của Model TFLite#

Model TFLite cung cấp một loạt các tính năng chính cho phép machine learning trên thiết bị bằng cách hỗ trợ nhà phát triển chạy model trên thiết bị di động, thiết bị nhúng và thiết bị biên:

• Tối ưu hóa trên thiết bị (On-device Optimization): TFLite tối ưu hóa cho ML trên thiết bị, giảm độ trễ bằng cách xử lý dữ liệu cục bộ, tăng cường quyền riêng tư bằng cách không truyền dữ liệu cá nhân, và giảm thiểu kích thước model để tiết kiệm không gian.

• Hỗ trợ Đa nền tảng: TFLite cung cấp khả năng tương thích nền tảng sâu rộng, hỗ trợ Android, iOS, Linux nhúng và vi điều khiển.

• Hỗ trợ Ngôn ngữ Đa dạng: TFLite tương thích với nhiều ngôn ngữ lập trình, bao gồm Java, Swift, Objective-C, C++ và Python.

• Hiệu năng Cao: Đạt được hiệu năng vượt trội thông qua tăng tốc phần cứng và tối ưu hóa model.

Hiệu suất đo lường (lịch sử)#

Cả hai định dạng đều chạy trong cùng một lượt quét GPU liên tiếp ở các kích thước đầu vào được hiển thị. Mỗi ô là tổng thời gian (tiền xử lý + suy luận + hậu xử lý), với phần chia nhỏ theo từng giai đoạn bên dưới; các nhật ký gốc xác nhận rằng cả hai định dạng đều ủy quyền toàn bộ đồ thị cho LiteRT OpenCL (LITERT_CL) trên Adreno GPU.

Lần chạy di chuyển tương tự cũng so sánh các định dạng lượng tử hóa phát hiện YOLO26n. Suy luận là số liệu có thể so sánh và phụ thuộc vào định dạng:

Trong lần chạy này, w8a16 đã quay lại sử dụng CPU với tổng thời gian khoảng 660 ms so với khoảng 17 ms đối với các định dạng GPU. Những kết quả này đã thúc đẩy việc phát hành w8a32, nhưng khả năng tương thích của bộ ủy quyền (delegate) và hiệu suất phụ thuộc vào thiết bị và phiên bản runtime. Hãy kiểm tra benchmark thiết bị mục tiêu và xác nhận vị trí đặt bộ tăng tốc trong nhật ký runtime của thiết bị đó.

Các Tùy chọn Triển khai trong TFLite#

Trước khi xem xét ví dụ về bản xuất thay thế bằng LiteRT, hãy cùng tìm hiểu cách các mô hình TFLite thường được sử dụng.

TFLite cung cấp nhiều tùy chọn triển khai trên thiết bị cho các model machine learning, bao gồm:

• Triển khai với Android và iOS: Cả ứng dụng Android và iOS sử dụng TFLite đều có thể phân tích các nguồn cấp dữ liệu camera và cảm biến ở biên để phát hiện và nhận dạng đối tượng. TFLite cũng cung cấp các thư viện iOS gốc được viết bằng Swift và Objective-C. Sơ đồ kiến trúc bên dưới hiển thị quy trình triển khai một model đã được huấn luyện lên các nền tảng Android và iOS bằng cách sử dụng TensorFlow Lite.

• Thực hiện với Embedded Linux: Nếu việc chạy suy luận trên Raspberry Pi bằng Ultralytics Guide không đáp ứng các yêu cầu về tốc độ cho trường hợp sử dụng của bạn, bạn có thể sử dụng model TFLite đã xuất để tăng tốc thời gian suy luận. Ngoài ra, bạn có thể cải thiện hiệu suất hơn nữa bằng cách tận dụng Coral Edge TPU device.

• Triển khai với Vi điều khiển: Model TFLite cũng có thể được triển khai trên các vi điều khiển và các thiết bị khác chỉ có vài kilobyte bộ nhớ. Runtime cốt lõi chỉ vừa với 16 KB trên Arm Cortex M3 và có thể chạy nhiều model cơ bản. Nó không yêu cầu hỗ trợ hệ điều hành, bất kỳ thư viện chuẩn C hoặc C++ nào, hay cấp phát bộ nhớ động.

Thay thế bản xuất TFLite bằng LiteRT#

Đối với các bản xuất mới, hãy chuyển đổi model của bạn sang LiteRT. Model kết quả sẽ giữ phần mở rộng tệp .tflite.

Cài đặt#

Để cài đặt các gói cần thiết, hãy chạy:

# Install the required package for YOLO26
pip install ultralytics

Để biết hướng dẫn chi tiết và các thực tiễn tốt nhất liên quan đến quá trình cài đặt, hãy xem Hướng dẫn Cài đặt Ultralytics của chúng tôi. Trong quá trình cài đặt các gói cần thiết cho YOLO26, nếu bạn gặp bất kỳ khó khăn nào, hãy tham khảo Hướng dẫn các Vấn đề Thường gặp của chúng tôi để tìm giải pháp và mẹo.

Cách sử dụng#

Tất cả các Ultralytics YOLO26 models đều được thiết kế để hỗ trợ xuất ngay khi sử dụng, giúp bạn dễ dàng tích hợp chúng vào quy trình làm việc triển khai ưa thích của mình. Bạn có thể view the full list of supported export formats and configuration options để chọn thiết lập tốt nhất cho ứng dụng của mình.

Định dạng LiteRT thay thế hỗ trợ các chế độ Export, Predict và Validate. Hãy xuất model của bạn, sau đó tải model .tflite đã xuất để chạy suy luận hoặc xác thực độ chính xác của model.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to LiteRT format
model.export(format="litert", imgsz=640)  # use imgsz=224 for classification

from ultralytics import YOLO

# Load the exported TFLite model
model = YOLO("yolo26n.tflite")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported TFLite model
model = YOLO("yolo26n.tflite")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Đối số xuất#

Để biết thêm chi tiết về quá trình xuất, hãy truy cập trang tài liệu của Ultralytics về việc xuất model.

Triển khai các Model YOLO26 TFLite đã Xuất#

Sau khi xuất model Ultralytics YOLO26 của bạn sang định dạng LiteRT, bạn có thể triển khai model .tflite kết quả. Bước đầu tiên chính và được khuyến nghị để chạy model TFLite là sử dụng phương thức YOLO("model.tflite"), như được phác thảo trong đoạn mã sử dụng trước đó. Tuy nhiên, để có hướng dẫn chi tiết về việc triển khai các model TFLite của bạn trong nhiều cài đặt khác nhau, hãy xem các tài nguyên sau:

• Android: Hướng dẫn bắt đầu nhanh để tích hợp TensorFlow Lite vào các ứng dụng Android, cung cấp các bước dễ thực hiện để thiết lập và chạy các model machine learning.

• iOS: Hãy xem hướng dẫn chi tiết này dành cho các nhà phát triển về cách tích hợp và triển khai các model TensorFlow Lite trong các ứng dụng iOS, cung cấp các hướng dẫn từng bước và tài nguyên.

• End-To-End Examples: Trang này cung cấp tổng quan về các ví dụ TensorFlow Lite khác nhau, giới thiệu các ứng dụng thực tế và hướng dẫn được thiết kế để giúp các nhà phát triển triển khai TensorFlow Lite trong các dự án machine learning của họ trên thiết bị di động và thiết bị biên.

Tóm tắt#

Hướng dẫn này bảo lưu quy trình triển khai TFLite cũ. Đối với các bản xuất mới, hãy sử dụng LiteRT để tạo các model .tflite cho các môi trường edge computing.

Để biết thêm chi tiết về cách sử dụng, hãy truy cập TFLite official documentation.

Ngoài ra, nếu bạn tò mò về các tích hợp Ultralytics YOLO26 khác, hãy xem integration guide page của chúng tôi. Bạn sẽ tìm thấy rất nhiều thông tin và hiểu biết hữu ích ở đó.

Câu hỏi thường gặp#