Узнай, как экспортировать модель YOLO26 в формат TFLite Edge TPU#

Развёртывать модели компьютерного зрения на устройствах с ограниченными вычислительными возможностями, например мобильных или встроенных системах, бывает непросто. Этот процесс упрощает формат модели, оптимизированный для высокой скорости. Формат модели TensorFlow Lite Edge TPU, или TFLite Edge TPU, рассчитан на низкое энергопотребление и высокую скорость работы нейронных сетей.

Экспорт в формат TFLite Edge TPU позволяет оптимизировать модели Ultralytics YOLO26 для высокоскоростного инференса с низким энергопотреблением. В этом руководстве мы покажем, как преобразовать модели в формат TFLite Edge TPU, чтобы они эффективно работали на различных мобильных и встроенных устройствах.

Зачем экспортировать модель в TFLite Edge TPU?#

Экспорт моделей в TensorFlow Edge TPU ускоряет и повышает эффективность задач машинного обучения. Эта технология подходит для приложений с ограниченным энергопотреблением, вычислительными ресурсами и подключением к сети. Edge TPU — это аппаратный ускоритель от Google. Он ускоряет работу моделей TensorFlow Lite на периферийных устройствах. На изображении ниже показан пример этого процесса.

Edge TPU работает с квантованными моделями. Квантование уменьшает размер моделей и повышает их скорость без существенной потери точности. Это идеально подходит для ограниченных ресурсов периферийных устройств: приложения быстрее реагируют благодаря сокращению задержек и быстрой локальной обработке данных без зависимости от облака. Локальная обработка также сохраняет конфиденциальность и безопасность пользовательских данных, поскольку они не отправляются на удалённый сервер.

Ключевые возможности TFLite Edge TPU#

Вот ключевые возможности, благодаря которым TFLite Edge TPU — отличный выбор формата модели для разработчиков:

• Оптимизированная производительность на периферийных устройствах: TFLite Edge TPU обеспечивает высокую скорость работы нейронных сетей благодаря квантованию, оптимизации моделей, аппаратному ускорению и оптимизации компилятора. Минималистичная архитектура также уменьшает размер и снижает стоимость.

• Высокая вычислительная производительность: TFLite Edge TPU сочетает специализированное аппаратное ускорение и эффективное выполнение во время работы, обеспечивая высокую вычислительную производительность. Это решение хорошо подходит для развертывания моделей машинного обучения на периферийных устройствах с жесткими требованиями к производительности.

• Эффективные матричные вычисления: TensorFlow Edge TPU оптимизирован для матричных операций, критически важных для вычислений нейронных сетей. Эта эффективность особенно важна для моделей машинного обучения, которым требуется выполнять множество сложных матричных умножений и преобразований.

Варианты развертывания с TFLite Edge TPU#

Прежде чем перейти к экспорту моделей YOLO26 в формат TFLite Edge TPU, давай разберемся, где обычно применяются модели TFLite Edge TPU.

TFLite Edge TPU предлагает различные варианты развертывания моделей машинного обучения, в том числе:

• Развертывание на устройстве: модели TensorFlow Edge TPU можно напрямую развертывать на мобильных и встраиваемых устройствах. При развертывании на устройстве модели выполняются непосредственно на аппаратном обеспечении, поэтому подключение к облаку не требуется. Модель можно встроить в пакет приложения или загружать по запросу.

• Гибридное развертывание: гибридный подход сочетает развертывание на устройстве и в облаке, предлагая универсальное и масштабируемое решение для развертывания моделей машинного обучения. Среди преимуществ — обработка на устройстве для быстрого ответа и облачные вычисления для более сложных вычислений.

Поддерживаемые задачи#

Экспорт на Edge TPU поддерживает шесть из семи задач Ultralytics. Семантическая сегментация доступна только в YOLO26 — единственном семействе, в котором есть соответствующая голова. Оценка глубины не поддерживается, поскольку INT8-модель генерирует оператор v2 EXP, который компилятор Edge TPU не может обработать.

Компилятор Edge TPU сопоставляет поддерживаемые операции с ускорителем, а остальные оставляет для CPU, поэтому поддержка задачи не означает, что все операции выполняются на TPU.

Экспорт моделей YOLO26 в TFLite Edge TPU#

Преобразуя модели YOLO26 в TensorFlow Edge TPU, ты можешь расширить совместимость моделей и гибкость их развертывания.

Установка#

Чтобы установить необходимый пакет, выполни команду:

# Install the required package for YOLO26
pip install ultralytics

Подробные инструкции и рекомендации по установке смотри в руководстве по установке Ultralytics. Если при установке пакетов, необходимых для YOLO26, возникнут сложности, решения и советы найдешь в руководстве по распространенным проблемам.

Использование#

Все модели Ultralytics YOLO26 изначально поддерживают экспорт, поэтому их легко интегрировать в предпочтительный процесс развёртывания. Чтобы выбрать оптимальную конфигурацию для своего приложения, посмотри полный список поддерживаемых форматов экспорта и параметров конфигурации.

Формат TFLite Edge TPU поддерживает режимы экспорта, предсказания и валидации. Инференс и валидация выполняются на оборудовании Coral Edge TPU. Экспортируй модель, а затем загрузи экспортированную модель, чтобы запустить инференс или проверить точность.

from ultralytics import YOLO

# Загрузи модель YOLO26
model = YOLO("yolo26n.pt")

# Экспорт модели в формат TFLite Edge TPU
model.export(format="edgetpu")  # создает 'yolo26n_saved_model/yolo26n_full_integer_quant_edgetpu.tflite'

from ultralytics import YOLO

# Загрузка экспортированной модели TFLite Edge TPU
model = YOLO("yolo26n_saved_model/yolo26n_full_integer_quant_edgetpu.tflite")

# Выполнить инференс
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Загрузка экспортированной модели TFLite Edge TPU
model = YOLO("yolo26n_saved_model/yolo26n_full_integer_quant_edgetpu.tflite")

# Проверить точность на наборе данных COCO8
metrics = model.val(data="coco8.yaml")

Аргументы экспорта#

Подробнее о процессе экспорта смотри на странице документации Ultralytics об экспорте.

Развертывание экспортированных моделей YOLO26 TFLite Edge TPU#

После успешного экспорта моделей Ultralytics YOLO26 в формат TFLite Edge TPU их можно развертывать. Основной и рекомендуемый первый шаг для запуска модели TFLite Edge TPU — использовать метод YOLO("model_edgetpu.tflite"), как показано в предыдущем примере кода.

Подробные инструкции по развертыванию моделей TFLite Edge TPU смотри в следующих материалах:

• Coral Edge TPU на Raspberry Pi с Ultralytics YOLO26: узнай, как интегрировать Coral Edge TPU с Raspberry Pi, чтобы расширить возможности машинного обучения.

• Примеры кода: воспользуйся практическими примерами развертывания TensorFlow Edge TPU, чтобы быстрее приступить к своим проектам.

• Запуск инференса на Edge TPU с Python: узнай, как использовать TensorFlow Lite Python API в приложениях для Edge TPU, включая инструкции по настройке и применению.

Итоги#

В этом руководстве мы рассмотрели, как экспортировать модели Ultralytics YOLO26 в формат TFLite Edge TPU. Следуя приведенным выше шагам, ты сможешь повысить скорость и эффективность своих приложений для компьютерного зрения.

Дополнительную информацию об использовании смотри на официальном сайте Coral Edge TPU.

Дополнительную информацию о других интеграциях Ultralytics YOLO26 смотри на нашей странице руководства по интеграциям. Там ты найдешь полезные материалы и рекомендации.

Часто задаваемые вопросы#