Экспорт моделей TFLite для развертывания (устарело)#

Развертывание моделей computer vision на периферийных или встраиваемых устройствах требует формата, способного обеспечить бесперебойную работу.

Прежний формат экспорта TensorFlow Lite или TFLite оптимизировал модели Ultralytics YOLO26 для таких задач, как object detection и image classification в периферийных приложениях. В этом руководстве сохранен контекст устаревшего развертывания TFLite; для нового экспорта используй LiteRT.

Почему TFLite использовался для экспорта?#

Представленный Google в мае 2017 года в составе их фреймворка TensorFlow, TensorFlow Lite, или сокращенно TFLite, представлял собой фреймворк глубокого обучения с открытым исходным кодом, созданный для инференса на устройствах, также известного как edge computing. Он предоставлял разработчикам инструменты для запуска обученных моделей на мобильных, встраиваемых и IoT-устройствах, а также на традиционных компьютерах.

TensorFlow Lite поддерживал широкий спектр платформ, включая встроенные Linux, Android, iOS и микроконтроллеры (MCU). Экспорт в TFLite позволял приложениям запускать модели локально и в автономном режиме.

Ключевые особенности моделей TFLite#

Модели TFLite предлагают ряд ключевых функций, которые обеспечивают машинное обучение на устройстве, помогая разработчикам запускать свои модели на мобильных, встраиваемых и периферийных устройствах:

• Локальная оптимизация: TFLite оптимизирован для ML на устройстве, снижая задержку за счет локальной обработки данных, повышая конфиденциальность за счет отсутствия передачи персональных данных и минимизируя размер модели для экономии места.

• Поддержка нескольких платформ: TFLite предлагает широкую совместимость, поддерживая Android, iOS, встроенный Linux и микроконтроллеры.

• Разнообразная языковая поддержка: TFLite совместим с различными языками программирования, включая Java, Swift, Objective-C, C++ и Python.

• Высокая производительность: Достигает превосходной производительности за счет аппаратного ускорения и оптимизации моделей.

Измеренная производительность (историческая)#

Оба формата запускались в одном и том же последовательном проходе GPU при указанных размерах входа. Каждая ячейка представляет собой общее время (предобработка + инференс + постобработка) с разделением по этапам под ним; нативные логи подтвердили, что оба формата делегировали весь граф LiteRT OpenCL (LITERT_CL) на GPU Adreno.

В том же запуске миграции также сравнивались форматы квантования детекции YOLO26n. Инференс является сопоставимой метрикой, зависящей от формата:

В этом запуске w8a16 переключился на CPU со значением около 660 мс общего времени против примерно 17 мс для форматов GPU. Эти результаты послужили стимулом для выпуска w8a32, но совместимость делегатов и производительность зависят от устройства и версии рантайма. Протестируй целевое устройство и подтверди размещение ускорителя в его логах рантайма.

Варианты развертывания в TFLite#

Прежде чем мы рассмотрим пример экспорта для замены на LiteRT, давай разберемся, как обычно используются модели TFLite.

TFLite предлагает различные варианты развертывания моделей машинного обучения на устройствах, включая:

• Развертывание в Android и iOS: приложения как для Android, так и для iOS с использованием TFLite могут анализировать видеопотоки с камер и датчики на периферийных устройствах для обнаружения и идентификации объектов. TFLite также предлагает нативные библиотеки iOS, написанные на Swift и Objective-C. На диаграмме архитектуры ниже показан процесс развертывания обученной модели на платформах Android и iOS с использованием TensorFlow Lite.

• Реализация со Embedded Linux: если выполнение инференса на Raspberry Pi с использованием руководства Ultralytics не отвечает требованиям по скорости для твоего сценария использования, ты можешь использовать экспортированную модель TFLite для ускорения времени инференса. Кроме того, можно дополнительно повысить производительность, используя устройство Coral Edge TPU.

• Развертывание на микроконтроллерах: Модели TFLite также можно развертывать на микроконтроллерах и других устройствах, имеющих всего несколько килобайт памяти. Основная среда выполнения занимает всего 16 КБ на процессорах Arm Cortex M3 и может запускать многие базовые модели. Она не требует поддержки операционной системы, стандартных библиотек C или C++, а также динамического распределения памяти.

Замени экспорт TFLite на LiteRT#

Для нового экспорта конвертируй свою модель в LiteRT. Полученная модель сохраняет расширение файла .tflite.

Установка#

Чтобы установить необходимые пакеты, выполни:

# Install the required package for YOLO26
pip install ultralytics

Подробные инструкции и лучшие практики, связанные с процессом установки, можно найти в нашем руководстве по установке Ultralytics. Если в процессе установки необходимых пакетов для YOLO26 у тебя возникнут какие-либо трудности, обратись к нашему руководству по частым проблемам за решениями и советами.

Использование#

Все модели Ultralytics YOLO26 поддерживают экспорт из коробки, что позволяет легко интегрировать их в твой привычный рабочий процесс развертывания. Ты можешь посмотреть полный список поддерживаемых форматов экспорта и параметров конфигурации, чтобы выбрать оптимальную настройку для своего приложения.

Заменяющий формат LiteRT поддерживает режимы Export, Predict и Validate. Экспортируй свою модель, затем загрузи экспортированную модель .tflite, чтобы запустить инференс или проверить ее точность.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to LiteRT format
model.export(format="litert", imgsz=640)  # use imgsz=224 for classification

from ultralytics import YOLO

# Load the exported TFLite model
model = YOLO("yolo26n.tflite")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported TFLite model
model = YOLO("yolo26n.tflite")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Аргументы экспорта#

Дополнительную информацию о процессе экспорта см. на странице документации Ultralytics по экспорту.

Развертывание экспортированных моделей YOLO26 TFLite#

После экспорта твоей модели Ultralytics YOLO26 в формат LiteRT ты сможешь развернуть полученную модель .tflite. Основным и рекомендуемым первым шагом для запуска модели TFLite является использование метода YOLO("model.tflite"), как описано в предыдущем фрагменте кода использования. Однако для получения подробных инструкций по развертыванию твоих моделей TFLite в различных других условиях ознакомься со следующими ресурсами:

• Android: краткое руководство по интеграции TensorFlow Lite в приложения Android, содержащее простые шаги по настройке и запуск моделей machine learning.

• iOS: ознакомься с этим подробным руководством для разработчиков по интеграции и развертыванию моделей TensorFlow Lite в приложениях iOS, предлагающим пошаговые инструкции и ресурсы.

• End-To-End Examples: на этой странице представлен обзор различных примеров TensorFlow Lite, демонстрирующих практические приложения и учебные пособия, призванные помочь разработчикам внедрять TensorFlow Lite в свои проекты машинного обучения на мобильных и периферийных устройствах.

Резюме#

Это руководство сохраняет устаревший рабочий процесс развертывания TFLite. Для нового экспорта используй LiteRT для создания моделей .tflite для сред периферийных вычислений.

Для получения дополнительных сведений об использовании посетите официальную документацию TFLite.

Кроме того, если тебе интересны другие интеграции Ultralytics YOLO26, загляни на нашу страницу руководства по интеграции. Там ты найдешь много полезной информации и идей.

FAQ#