Экспорт моделей TFLite для развёртывания (устарело)#

Развёртывание моделей компьютерного зрения на периферийных или встраиваемых устройствах требует формата, способного обеспечить стабильную производительность.

Прежний формат экспорта TensorFlow Lite или TFLite оптимизировал модели Ultralytics YOLO26 для таких задач, как обнаружение объектов и классификация изображений в периферийных приложениях. Это руководство сохраняет контекст развёртывания legacy-формата TFLite; для новых экспортов используй LiteRT.

Почему для экспорта использовался TFLite?#

Представленный Google в мае 2017 года как часть фреймворка TensorFlow, TensorFlow Lite, или сокращённо TFLite, был фреймворком глубокого обучения с открытым исходным кодом, предназначенным для выполнения инференса на устройстве, также известного как периферийные вычисления. Он предоставлял разработчикам инструменты для запуска обученных моделей на мобильных, встраиваемых и IoT-устройствах, а также на обычных компьютерах.

TensorFlow Lite поддерживал широкий спектр платформ, включая встроенный Linux, Android, iOS и микроконтроллеры (MCU). Экспорт TFLite позволял приложениям запускать модели локально и в автономном режиме.

Ключевые особенности моделей TFLite#

Модели TFLite обладают широким набором ключевых возможностей, обеспечивающих машинное обучение на устройстве и помогающих разработчикам запускать модели на мобильных, встраиваемых и периферийных устройствах:

• Оптимизация на устройстве: TFLite оптимизирован для машинного обучения на устройстве, снижает задержку за счёт локальной обработки данных, повышает конфиденциальность благодаря отсутствию передачи персональных данных и уменьшает размер модели для экономии места.

• Поддержка нескольких платформ: TFLite совместим с широким спектром платформ, включая Android, iOS, встроенный Linux и микроконтроллеры.

• Поддержка различных языков: TFLite совместим с разными языками программирования, включая Java, Swift, Objective-C, C++ и Python.

• Высокая производительность: обеспечивает высокую производительность благодаря аппаратному ускорению и оптимизации модели.

Измеренная производительность (исторические данные)#

Оба формата выполнялись в одном последовательном тесте GPU при указанных размерах входных данных. Каждая ячейка показывает общее время (предобработка + инференс + постобработка), а разбивка по этапам приведена под ним; нативные журналы подтвердили, что оба формата передавали полный граф LiteRT OpenCL (LITERT_CL) на GPU Adreno.

В ходе этого же прогона миграции также сравнивались форматы квантования для детекции YOLO26n. Инференс — сопоставимая метрика, зависящая от формата:

В этом прогоне w8a16 перешёл на CPU: общее время составило около 660 мс против примерно 17 мс для форматов GPU. Эти результаты послужили основанием для поставки w8a32, однако совместимость делегата и производительность зависят от устройства и версии среды выполнения. Протестируй целевое устройство и подтверди размещение ускорителя в журналах среды выполнения.

Варианты развёртывания в TFLite#

Прежде чем рассмотреть пример экспорта с заменой на LiteRT, разберёмся, как обычно используются модели TFLite.

TFLite предлагает различные варианты развёртывания моделей машинного обучения на устройстве, включая:

• Развёртывание на Android и iOS: приложения Android и iOS с TFLite могут анализировать потоки с камер и данные датчиков на периферийных устройствах, чтобы обнаруживать и идентифицировать объекты. TFLite также предлагает нативные библиотеки iOS, написанные на Swift и Objective-C. На приведённой ниже архитектурной схеме показан процесс развёртывания обученной модели на платформах Android и iOS с использованием TensorFlow Lite.

• Реализация во встроенном Linux: если запуск инференса на Raspberry Pi с использованием руководства Ultralytics не обеспечивает требуемую для твоего сценария скорость, можно использовать экспортированную модель TFLite для ускорения инференса. Кроме того, производительность можно дополнительно повысить с помощью устройства Coral Edge TPU.

• Развёртывание на микроконтроллерах: модели TFLite также можно развёртывать на микроконтроллерах и других устройствах всего с несколькими килобайтами памяти. Среда выполнения занимает всего 16 КБ на Arm Cortex M3 и может запускать многие базовые модели. Ей не требуется поддержка операционной системы, стандартных библиотек C или C++ либо динамического выделения памяти.

Замена экспорта TFLite на LiteRT#

Для новых экспортов конвертируй модель в LiteRT. Полученная модель сохраняет расширение файла .tflite.

Установка#

Чтобы установить необходимые пакеты, выполни:

# Install the required package for YOLO26
pip install ultralytics

Подробные инструкции и рекомендации по установке смотри в нашем руководстве по установке Ultralytics. Если при установке необходимых для YOLO26 пакетов возникнут трудности, обратись к руководству по распространенным проблемам, где encontrarás решения и советы.

Использование#

Все модели Ultralytics YOLO26 изначально поддерживают экспорт, поэтому их легко интегрировать в предпочитаемый тобой рабочий процесс развёртывания. Ты можешь просмотреть полный список поддерживаемых форматов экспорта и параметров конфигурации, чтобы выбрать оптимальную настройку для своего приложения.

Формат LiteRT поддерживает режимы Export, Predict и Validate. Экспортируй модель, затем загрузи экспортированную модель .tflite, чтобы выполнить инференс или проверить её точность.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to LiteRT format
model.export(format="litert", imgsz=640)  # use imgsz=224 for classification

from ultralytics import YOLO

# Load the exported TFLite model
model = YOLO("yolo26n.tflite")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported TFLite model
model = YOLO("yolo26n.tflite")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Аргументы экспорта#

Подробнее о процессе экспорта см. на странице документации Ultralytics об экспорте.

Развёртывание экспортированных моделей YOLO26 TFLite#

После экспорта модели Ultralytics YOLO26 в формат LiteRT можно развернуть полученную модель .tflite. Основной и рекомендуемый первый способ запуска модели TFLite — метод YOLO("model.tflite"), описанный в предыдущем фрагменте кода. Однако подробные инструкции по развёртыванию моделей TFLite в других средах смотри в следующих ресурсах:

• Android: краткое руководство по интеграции TensorFlow Lite в приложения Android с понятными пошаговыми инструкциями по настройке и запуску моделей машинного обучения.

• iOS: подробное руководство для разработчиков по интеграции и развёртыванию моделей TensorFlow Lite в приложениях iOS с пошаговыми инструкциями и необходимыми ресурсами.

• Примеры от начала до конца: на этой странице представлен обзор различных примеров TensorFlow Lite с практическими сценариями и руководствами, которые помогут разработчикам реализовать TensorFlow Lite в проектах машинного обучения для мобильных и периферийных устройств.

Итоги#

Это руководство сохраняет legacy-процесс развёртывания TFLite. Для новых экспортов используй LiteRT, чтобы создавать модели .tflite для сред периферийных вычислений.

Дополнительные сведения об использовании смотри в официальной документации TFLite.

Если тебя интересуют другие интеграции Ultralytics YOLO26, загляни на нашу страницу с руководством по интеграциям. Там ты найдёшь много полезной информации и рекомендаций.

Часто задаваемые вопросы#