Bỏ để qua phần nội dung

Học cách xuất sang TFLite Edge TPU Định dạng từ YOLOv8 Mẫu

Triển khai các mô hình thị giác máy tính trên các thiết bị có sức mạnh tính toán hạn chế, chẳng hạn như hệ thống di động hoặc nhúng, có thể khó khăn. Sử dụng định dạng mô hình được tối ưu hóa để có hiệu suất nhanh hơn sẽ đơn giản hóa quy trình. Các TensorFlow Lite Cạnh TPU hoặc TFLite Edge TPU Định dạng mô hình được thiết kế để sử dụng năng lượng tối thiểu trong khi mang lại hiệu suất nhanh cho các mạng thần kinh.

Việc xuất sang TFLite Edge TPU Tính năng định dạng cho phép bạn tối ưu hóa Ultralytics YOLOv8 mô hình suy luận tốc độ cao và năng lượng thấp. Trong hướng dẫn này, chúng tôi sẽ hướng dẫn bạn cách chuyển đổi các mô hình của bạn sang TFLite Edge TPU định dạng, giúp các mô hình của bạn dễ dàng hoạt động tốt hơn trên các thiết bị di động và thiết bị nhúng khác nhau.

Tại sao bạn nên xuất sang TFLite Edge TPU?

Xuất mô hình sang TensorFlow Cạnh TPU Giúp các tác vụ machine learning trở nên nhanh chóng và hiệu quả. Công nghệ này phù hợp với các ứng dụng có sức mạnh, tài nguyên tính toán và kết nối hạn chế. Cạnh TPU là một công cụ tăng tốc phần cứng của Google. Nó tăng tốc TensorFlow Mô hình Lite trên các thiết bị cạnh. Hình ảnh dưới đây cho thấy một ví dụ về quá trình liên quan.

TFLite cạnh TPU

Cạnh TPU hoạt động với các mô hình lượng tử hóa. Lượng tử hóa làm cho các mô hình nhỏ hơn và nhanh hơn mà không làm mất nhiều độ chính xác. Đó là lý tưởng cho các nguồn lực hạn chế của điện toán biên, cho phép các ứng dụng phản hồi nhanh chóng bằng cách giảm độ trễ và cho phép xử lý dữ liệu nhanh chóng cục bộ, mà không phụ thuộc vào đám mây. Xử lý cục bộ cũng giữ cho dữ liệu người dùng riêng tư và an toàn vì nó không được gửi đến máy chủ từ xa.

Các tính năng chính của TFLite Edge TPU

Dưới đây là các tính năng chính tạo nên TFLite Edge TPU Một lựa chọn định dạng mô hình tuyệt vời cho các nhà phát triển:

  • Hiệu suất được tối ưu hóa trên các thiết bị biên: TFLite Edge TPU Đạt được hiệu suất mạng nơ-ron tốc độ cao thông qua lượng tử hóa, tối ưu hóa mô hình, tăng tốc phần cứng và tối ưu hóa trình biên dịch. Kiến trúc tối giản của nó góp phần vào kích thước nhỏ hơn và hiệu quả chi phí.

  • Thông lượng tính toán cao: TFLite Edge TPU Kết hợp tăng tốc phần cứng chuyên dụng và thực thi thời gian chạy hiệu quả để đạt được thông lượng tính toán cao. Nó rất phù hợp để triển khai các mô hình học máy với các yêu cầu hiệu suất nghiêm ngặt trên các thiết bị biên.

  • Tính toán ma trận hiệu quả: Các TensorFlow Cạnh TPU được tối ưu hóa cho các hoạt động ma trận, rất quan trọng đối với tính toán mạng nơ-ron. Hiệu quả này là chìa khóa trong các mô hình học máy, đặc biệt là những mô hình đòi hỏi nhiều phép nhân và biến đổi ma trận phức tạp.

Tùy chọn triển khai với TFLite Edge TPU

Trước khi chúng tôi nhảy vào cách xuất YOLOv8 mô hình cho TFLite Edge TPU định dạng, hãy hiểu TFLite Edge ở đâu TPU Mô hình thường được sử dụng.

TFLite cạnh TPU Cung cấp các tùy chọn triển khai khác nhau cho các mô hình học máy, bao gồm:

  • Triển khai trên thiết bị: TensorFlow Cạnh TPU Các mô hình có thể được triển khai trực tiếp trên các thiết bị di động và nhúng. Triển khai trên thiết bị cho phép các mô hình thực thi trực tiếp trên phần cứng, loại bỏ nhu cầu kết nối đám mây.

  • Điện toán biên với đám mây TensorFlow TPU: Trong các tình huống mà các thiết bị biên có khả năng xử lý hạn chế, TensorFlow TPU biên có thể giảm tải các tác vụ suy luận cho các máy chủ đám mây được trang bị TPU.

  • Triển khai kết hợp: Cách tiếp cận kết hợp kết hợp triển khai trên thiết bị và đám mây, đồng thời cung cấp giải pháp linh hoạt và có thể mở rộng để triển khai các mô hình học máy. Ưu điểm bao gồm xử lý trên thiết bị để phản hồi nhanh và điện toán đám mây cho các tính toán phức tạp hơn.

Xuất khẩu YOLOv8 Mô hình để TFLite Edge TPU

Bạn có thể mở rộng tính tương thích của mô hình và tính linh hoạt trong triển khai bằng cách chuyển đổi YOLOv8 mô hình để TensorFlow Cạnh TPU.

Cài đặt

Để cài đặt gói yêu cầu, hãy chạy:

Cài đặt

# Install the required package for YOLOv8
pip install ultralytics

Để biết hướng dẫn chi tiết và các phương pháp hay nhất liên quan đến quá trình cài đặt, hãy kiểm tra Ultralytics Hướng dẫn cài đặt. Trong khi cài đặt các gói cần thiết cho YOLOv8, nếu bạn gặp bất kỳ khó khăn nào, hãy tham khảo hướng dẫn Các vấn đề thường gặp của chúng tôi để biết các giải pháp và mẹo.

Sử dụng

Trước khi đi sâu vào hướng dẫn sử dụng, điều quan trọng cần lưu ý là trong khi tất cả Ultralytics YOLOv8 Các mô hình có sẵn để xuất, bạn có thể đảm bảo rằng mô hình bạn chọn hỗ trợ chức năng xuất tại đây.

Sử dụng

from ultralytics import YOLO

# Load the YOLOv8 model
model = YOLO('yolov8n.pt')

# Export the model to TFLite Edge TPU format
model.export(format='edgetpu')  # creates 'yolov8n_full_integer_quant_edgetpu.tflite’

# Load the exported TFLite Edge TPU model
edgetpu_model = YOLO('yolov8n_full_integer_quant_edgetpu.tflite')

# Run inference
results = edgetpu_model('https://ultralytics.com/images/bus.jpg')

# Export a YOLOv8n PyTorch model to TFLite Edge TPU format
yolo export model=yolov8n.pt format=edgetpu  # creates 'yolov8n_full_integer_quant_edgetpu.tflite'

# Run inference with the exported model
yolo predict model=yolov8n_full_integer_quant_edgetpu.tflite source='https://ultralytics.com/images/bus.jpg'

Để biết thêm chi tiết về các tùy chọn xuất được hỗ trợ, hãy truy cập Ultralytics trang tài liệu về các tùy chọn triển khai.

Triển khai xuất khẩu YOLOv8 TFLite cạnh TPU Mô hình

Sau khi xuất thành công Ultralytics YOLOv8 mô hình để TFLite Edge TPU định dạng, bây giờ bạn có thể triển khai chúng. Bước đầu tiên chính và được đề xuất để chạy TFLite Edge TPU Mô hình là sử dụng YOLOPhương thức ("model_edgetpu.tflite"), như đã nêu trong đoạn mã sử dụng trước.

Tuy nhiên, để được hướng dẫn chuyên sâu về cách triển khai TFLite Edge của bạn TPU Mô hình, hãy xem các tài nguyên sau:

Tóm tắt

Trong hướng dẫn này, chúng tôi đã học cách xuất Ultralytics YOLOv8 mô hình để TFLite Edge TPU định dạng. Bằng cách làm theo các bước được đề cập ở trên, bạn có thể tăng tốc độ và sức mạnh của các ứng dụng thị giác máy tính của mình.

Để biết thêm chi tiết về cách sử dụng, hãy truy cập Cạnh TPU Trang web chính thức.

Ngoài ra, để biết thêm thông tin về khác Ultralytics YOLOv8 Tích hợp, vui lòng truy cập trang hướng dẫn tích hợp của chúng tôi. Ở đó, bạn sẽ khám phá các tài nguyên và thông tin chi tiết có giá trị.



Đã tạo 2024-03-13, Cập nhật 2024-04-02
Tác giả: Burhan-Q (1), abirami-vina (1)

Ý kiến