Научитесь экспортировать в формат TFLite Edge TPU из модели YOLO11 .
Развертывание моделей компьютерного зрения на устройствах с ограниченной вычислительной мощностью, таких как мобильные или встраиваемые системы, может оказаться непростой задачей. Использование формата модели, оптимизированного для более быстрой работы, упрощает этот процесс. Формат модели TensorFlow Lite Edge TPU или TFLite Edge TPU разработан для минимального энергопотребления при высокой производительности нейронных сетей.
Функция экспорта в формат TFLite Edge TPU позволяет оптимизировать ваши Ultralytics YOLO11 модели для высокоскоростных и маломощных выводов. В этом руководстве мы расскажем вам о том, как конвертировать ваши модели в формат TFLite Edge TPU , чтобы облегчить работу с ними на различных мобильных и встраиваемых устройствах.
Почему вы должны экспортировать в TFLite Edge TPU?
Экспорт моделей в TensorFlow Edge TPU делает задачи машинного обучения быстрыми и эффективными. Эта технология подходит для приложений с ограниченной мощностью, вычислительными ресурсами и возможностями подключения. Edge TPU - это аппаратный ускоритель от Google. Он ускоряет работу моделей TensorFlow Lite на пограничных устройствах. На изображении ниже показан пример процесса.
Edge TPU работает с квантованными моделями. Квантование делает модели меньше и быстрее без потери точности. Она идеально подходит для ограниченных ресурсов пограничных вычислений, позволяя приложениям быстро реагировать на запросы за счет снижения задержек и быстрой обработки данных локально, без зависимости от облака. Локальная обработка также сохраняет конфиденциальность и безопасность пользовательских данных, поскольку они не отправляются на удаленный сервер.
Ключевые особенности TFLite Edge TPU
Вот ключевые особенности, которые делают TFLite Edge TPU отличным выбором формата модели для разработчиков:
-
Оптимизированная производительность на устройствах Edge: TFLite Edge TPU достигает высокой скорости работы нейронных сетей за счет квантования, оптимизации моделей, аппаратного ускорения и оптимизации компилятора. Минималистичная архитектура способствует уменьшению размеров и экономичности.
-
Высокая производительность вычислений: TFLite Edge TPU сочетает в себе специализированное аппаратное ускорение и эффективное выполнение во время исполнения для достижения высокой производительности вычислений. Он хорошо подходит для развертывания моделей машинного обучения с жесткими требованиями к производительности на пограничных устройствах.
-
Эффективные матричные вычисления: TensorFlow Edge TPU оптимизирован для выполнения матричных операций, которые крайне важны для вычислений в нейронных сетях. Эта эффективность является ключевой в моделях машинного обучения, особенно в тех, которые требуют многочисленных и сложных матричных умножений и преобразований.
Варианты развертывания с помощью TFLite Edge TPU
Прежде чем мы перейдем к тому, как экспортировать модели YOLO11 в формат TFLite Edge TPU , давайте разберемся, где обычно используются модели TFLite Edge TPU .
TFLite Edge TPU предлагает различные варианты развертывания моделей машинного обучения, в том числе:
-
Развертывание на устройствах: TensorFlow Модели Edge TPU могут быть развернуты непосредственно на мобильных и встроенных устройствах. Развертывание на устройствах позволяет выполнять модели непосредственно на оборудовании, исключая необходимость подключения к облаку.
-
Пограничные вычисления с облачными TensorFlow TPU: В сценариях, когда пограничные устройства имеют ограниченные возможности обработки данных, TensorFlow Edge TPU могут разгрузить задачи вывода на облачные серверы, оснащенные TPU.
-
Гибридное развертывание: Гибридный подход сочетает в себе развертывание на устройстве и в облаке и предлагает универсальное и масштабируемое решение для развертывания моделей машинного обучения. Преимущества включают обработку данных на устройстве для быстрого реагирования и облачные вычисления для более сложных расчетов.
Экспорт моделей YOLO11 в TFLite Edge TPU
Вы можете расширить совместимость моделей и гибкость развертывания, преобразовав модели YOLO11 в модели TensorFlow Edge TPU.
Установка
Чтобы установить необходимый пакет, выполните команду:
Для получения подробных инструкций и лучших практик, связанных с процессом установки, ознакомьтесь с нашим руководством по установкеUltralytics . При установке необходимых пакетов для YOLO11, если вы столкнетесь с какими-либо трудностями, обратитесь к нашему руководству по общим проблемам, чтобы найти решения и советы.
Использование
Прежде чем перейти к инструкциям по использованию, важно отметить, что, хотя все моделиUltralytics YOLO11 доступны для экспорта, вы можете убедиться, что выбранная вами модель поддерживает функцию экспорта , здесь.
Использование
from ultralytics import YOLO
# Load the YOLO11 model
model = YOLO("yolo11n.pt")
# Export the model to TFLite Edge TPU format
model.export(format="edgetpu") # creates 'yolo11n_full_integer_quant_edgetpu.tflite'
# Load the exported TFLite Edge TPU model
edgetpu_model = YOLO("yolo11n_full_integer_quant_edgetpu.tflite")
# Run inference
results = edgetpu_model("https://ultralytics.com/images/bus.jpg")
# Export a YOLO11n PyTorch model to TFLite Edge TPU format
yolo export model=yolo11n.pt format=edgetpu # creates 'yolo11n_full_integer_quant_edgetpu.tflite'
# Run inference with the exported model
yolo predict model=yolo11n_full_integer_quant_edgetpu.tflite source='https://ultralytics.com/images/bus.jpg'
Более подробную информацию о поддерживаемых вариантах экспорта можно найти на странице документацииUltralytics , посвященной вариантам развертывания.
Развертывание экспортированных моделей YOLO11 TFLite Edge TPU
После успешного экспорта моделей Ultralytics YOLO11 в формат TFLite Edge TPU вы можете приступить к их развертыванию. Основным и рекомендуемым первым шагом для запуска модели TFLite Edge TPU является использование метода YOLO("model_edgetpu.tflite"), как описано в предыдущем фрагменте кода использования.
Однако для получения подробных инструкций по развертыванию моделей TFLite Edge TPU ознакомьтесь со следующими ресурсами:
-
Coral Edge TPU на Raspberry Pi с. Ultralytics YOLO11: Узнайте, как интегрировать TPU Coral Edge с Raspberry Pi для расширения возможностей машинного обучения.
-
Примеры кода: Получите доступ к практическим примерам развертывания TensorFlow Edge TPU , чтобы запустить свои проекты.
-
Запустите вывод на краю TPU с. Python: Узнайте, как использовать TensorFlow Lite Python API для приложений Edge TPU , включая рекомендации по настройке и использованию.
Резюме
В этом руководстве мы узнали, как экспортировать модели Ultralytics YOLO11 в формат TFLite Edge TPU . Выполнив описанные выше шаги, вы сможете увеличить скорость и мощность приложений компьютерного зрения.
Более подробную информацию об использовании можно найти на официальном сайте Edge TPU .
Кроме того, для получения дополнительной информации о других интеграциях Ultralytics YOLO11 посетите нашу страницу руководства по интеграции. Там вы найдете ценные ресурсы и информацию.
ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ
Как экспортировать модель YOLO11 в формат TFLite Edge TPU ?
Чтобы экспортировать модель YOLO11 в формат TFLite Edge TPU , выполните следующие действия:
Использование
from ultralytics import YOLO
# Load the YOLO11 model
model = YOLO("yolo11n.pt")
# Export the model to TFLite Edge TPU format
model.export(format="edgetpu") # creates 'yolo11n_full_integer_quant_edgetpu.tflite'
# Load the exported TFLite Edge TPU model
edgetpu_model = YOLO("yolo11n_full_integer_quant_edgetpu.tflite")
# Run inference
results = edgetpu_model("https://ultralytics.com/images/bus.jpg")
# Export a YOLO11n PyTorch model to TFLite Edge TPU format
yolo export model=yolo11n.pt format=edgetpu # creates 'yolo11n_full_integer_quant_edgetpu.tflite'
# Run inference with the exported model
yolo predict model=yolo11n_full_integer_quant_edgetpu.tflite source='https://ultralytics.com/images/bus.jpg'
Подробные сведения об экспорте моделей в другие форматы см. в нашем руководстве по экспорту.
Каковы преимущества экспорта моделей YOLO11 в TFLite Edge TPU?
Экспорт моделей YOLO11 в TFLite Edge TPU имеет ряд преимуществ:
- Оптимизированная производительность: Достигайте высокой скорости работы нейронной сети при минимальном энергопотреблении.
- Сокращение задержки: Быстрая локальная обработка данных без необходимости зависимости от облака.
- Повышенная конфиденциальность: Локальная обработка позволяет сохранить конфиденциальность и безопасность пользовательских данных.
Это делает его идеальным для применения в пограничных вычислениях, где устройства имеют ограниченную мощность и вычислительные ресурсы. Узнайте больше о том , почему вы должны экспортировать.
Можно ли развернуть модели TFLite Edge TPU на мобильных и встраиваемых устройствах?
Да, модели TensorFlow Lite Edge TPU могут быть развернуты непосредственно на мобильных и встроенных устройствах. Такой подход к развертыванию позволяет моделям выполняться непосредственно на оборудовании, обеспечивая более быстрый и эффективный вывод заключений. Примеры интеграции можно найти в нашем руководстве по развертыванию Coral Edge TPU на Raspberry Pi.
Каковы некоторые общие случаи использования моделей TFLite Edge TPU ?
Чаще всего модели TFLite Edge TPU используются в следующих случаях:
- Умные камеры: Улучшение анализа изображений и видео в реальном времени.
- Устройства IoT: Обеспечение умного дома и промышленной автоматизации.
- Здравоохранение: Ускорение медицинской визуализации и диагностики.
- Розничная торговля: Совершенствование управления запасами и анализ поведения покупателей.
Эти приложения выигрывают от высокой производительности и низкого энергопотребления моделей TFLite Edge TPU . Узнайте больше о сценариях использования.
Как устранить неполадки при экспорте или развертывании моделей TFLite Edge TPU ?
Если вы столкнулись с проблемами при экспорте или развертывании моделей TFLite Edge TPU , обратитесь к нашему руководству по общим проблемам, чтобы получить советы по устранению неполадок. В этом руководстве описаны общие проблемы и их решения, которые помогут вам обеспечить бесперебойную работу. Для получения дополнительной поддержки посетите наш Справочный центр.
