Экспорт модели TFLite для развёртывания (устарел)#

Для развёртывания моделей компьютерного зрения на периферийных или встроенных устройствах нужен формат, обеспечивающий стабильную производительность.

Прежний формат экспорта TensorFlow Lite или TFLite оптимизировал модели Ultralytics YOLO26 для таких задач, как обнаружение объектов и классификация изображений в периферийных приложениях. В этом руководстве сохранён контекст развёртывания с устаревшим TFLite; для новых экспортов используй LiteRT.

Почему для экспорта использовали TFLite?#

TensorFlow Lite, или TFLite, был представлен Google в мае 2017 года как часть фреймворка TensorFlow. Это фреймворк глубокого обучения с открытым исходным кодом, предназначенный для инференса на устройствах, также известного как периферийные вычисления. Он предоставлял разработчикам инструменты для запуска обученных моделей на мобильных, встроенных и IoT-устройствах, а также на обычных компьютерах.

TensorFlow Lite поддерживал широкий спектр платформ, включая встроенный Linux, Android, iOS и микроконтроллеры (MCU). Экспорт в TFLite позволял приложениям запускать модели локально и без подключения к сети.

Ключевые возможности моделей TFLite#

Модели TFLite обладают множеством ключевых возможностей для машинного обучения непосредственно на устройстве: они помогают разработчикам запускать модели на мобильных, встроенных и периферийных устройствах.

• Оптимизация для работы на устройстве: TFLite оптимизирует модели для машинного обучения непосредственно на устройстве, сокращая задержки за счёт локальной обработки данных, повышая конфиденциальность за счёт отказа от передачи персональных данных и уменьшая размер модели для экономии места.

• Поддержка различных платформ: TFLite совместим с широким спектром платформ, включая Android, iOS, встроенный Linux и микроконтроллеры.

• Поддержка разных языков программирования: TFLite совместим с различными языками программирования, включая Java, Swift, Objective-C, C++ и Python.

• Высокая производительность: высокая производительность достигается благодаря аппаратному ускорению и оптимизации моделей.

Измеренная производительность (исторические данные)#

Оба формата запускались в одном последовательном цикле тестирования на GPU при указанных размерах входных данных. Каждая ячейка содержит общее время (предобработка + инференс + постобработка), а ниже приведено время каждого этапа; системные журналы подтвердили, что оба формата передавали весь граф LiteRT OpenCL (LITERT_CL) на GPU Adreno.

В ходе того же цикла миграции также сравнивались форматы квантования для детектора YOLO26n. Для сравнения форматов подходит метрика инференса, зависящая от формата:

В этом тестировании w8a16 переключился на CPU: общее время составило около 660 мс против примерно 17 мс для форматов с GPU. Эти результаты стали причиной выпуска w8a32, однако совместимость с делегатами и производительность зависят от устройства и версии среды выполнения. Проверь производительность на целевом устройстве и убедись по журналам среды выполнения, что задействован ускоритель.

Варианты развёртывания в TFLite#

Прежде чем рассмотреть пример экспорта в замену TFLite — LiteRT, разберёмся, как обычно используют модели TFLite.

TFLite предлагает различные варианты развёртывания моделей машинного обучения непосредственно на устройстве, включая:

• Развёртывание на Android и iOS: приложения для Android и iOS с TFLite могут анализировать потоки с периферийных камер и датчиков, чтобы обнаруживать объекты и распознавать их. TFLite также предлагает собственные библиотеки для iOS, написанные на Swift и Objective-C. На приведённой ниже архитектурной схеме показано, как развёртывать обученную модель на платформах Android и iOS с помощью TensorFlow Lite.

• Использование во встроенном Linux: если инференс на Raspberry Pi с помощью руководства Ultralytics не обеспечивает нужную для твоего сценария скорость, можно использовать экспортированную модель TFLite, чтобы ускорить инференс. Кроме того, производительность можно повысить с помощью устройства Coral Edge TPU.

• Развёртывание на микроконтроллерах: модели TFLite также можно развёртывать на микроконтроллерах и других устройствах с объёмом памяти всего в несколько килобайт. Основная среда выполнения помещается в 16 КБ памяти на Arm Cortex M3 и может запускать многие базовые модели. Ей не требуется поддержка операционной системы, стандартные библиотеки C или C++ либо динамическое выделение памяти.

Замени экспорт TFLite на LiteRT#

Для новых экспортов преобразуй модель в формат LiteRT. Полученная модель сохраняет расширение файла .tflite.

Установка#

Чтобы установить необходимые пакеты, выполни команду:

# Install the required package for YOLO26
pip install ultralytics

Подробные инструкции и рекомендации по установке смотри в руководстве по установке Ultralytics. Если при установке пакетов, необходимых для YOLO26, возникнут сложности, решения и советы найдешь в руководстве по распространенным проблемам.

Использование#

Все модели Ultralytics YOLO26 изначально поддерживают экспорт, поэтому их легко интегрировать в предпочтительный процесс развёртывания. Чтобы выбрать оптимальную конфигурацию для своего приложения, посмотри полный список поддерживаемых форматов экспорта и параметров конфигурации.

Формат LiteRT, пришедший на смену прежнему, поддерживает режимы экспорта, предсказания и валидации. Экспортируй модель, затем загрузи экспортированную модель .tflite, чтобы выполнить инференс или проверить её точность.

from ultralytics import YOLO

# Загрузи модель YOLO26
model = YOLO("yolo26n.pt")

# Экспортировать модель в формат LiteRT
model.export(format="litert", imgsz=640)  # используй imgsz=224 для классификации

from ultralytics import YOLO

# Загрузи экспортированную модель TFLite
model = YOLO("yolo26n.tflite")

# Выполнить инференс
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Загрузи экспортированную модель TFLite
model = YOLO("yolo26n.tflite")

# Проверить точность на наборе данных COCO8
metrics = model.val(data="coco8.yaml")

Аргументы экспорта#

Подробнее о процессе экспорта смотри на странице документации Ultralytics об экспорте.

Развёртывание экспортированных моделей YOLO26 TFLite#

После экспорта модели Ultralytics YOLO26 в формате LiteRT можно развёртывать полученную модель .tflite. Основной и рекомендуемый первый шаг для запуска модели TFLite — использовать метод YOLO("model.tflite"), описанный в предыдущем фрагменте кода. Подробные инструкции по развёртыванию моделей TFLite в других средах смотри в следующих ресурсах:

• Android: краткое руководство по интеграции TensorFlow Lite в приложения Android с простыми пошаговыми инструкциями по настройке и запуску моделей машинного обучения.

• iOS: подробное руководство для разработчиков по интеграции и развёртыванию моделей TensorFlow Lite в приложениях iOS с пошаговыми инструкциями и полезными ресурсами.

• Примеры полного цикла: на этой странице представлен обзор различных примеров TensorFlow Lite, практических приложений и учебных материалов, которые помогут разработчикам использовать TensorFlow Lite в проектах машинного обучения для мобильных и периферийных устройств.

Итоги#

В этом руководстве описан прежний процесс развёртывания с TFLite. Для новых экспортов используй LiteRT, чтобы создавать модели .tflite для периферийных вычислений.

Дополнительную информацию об использовании смотри в официальной документации TFLite.

Если тебя интересуют другие интеграции Ultralytics YOLO26, загляни на нашу страницу руководства по интеграциям. Там ты найдёшь много полезной информации и рекомендаций.

Часто задаваемые вопросы#