Как запустить Ultralytics YOLO26 на Raspberry Pi с Coral Edge TPU#

Raspberry Pi — это энергоэффективная и доступная платформа для запуска компьютерного зрения на периферийных устройствах, но инференс на устройстве работает медленно даже с оптимизированными форматами, такими как ONNX или OpenVINO. Подключение Pi к сопроцессору Coral Edge TPU переносит инференс на специализированное железо и значительно ускоряет его. В этом руководстве показано, как установить среду выполнения, экспортировать модель Ultralytics YOLO26 в формат Edge TPU и запустить ускоренный инференс.

Зачем использовать Coral Edge TPU?#

Coral Edge TPU — это компактное устройство, которое добавляет сопроцессор Edge TPU в твою систему, обеспечивая низкое энергопотребление и высокую производительность машинного обучения при работе с моделями TensorFlow Lite. Оно отлично подходит для встроенных и мобильных систем, где возможностей одного CPU недостаточно:

• Более быстрый вывод — Edge TPU ускоряет квантованные модели намного эффективнее, чем это может сделать CPU Raspberry Pi в одиночку.
• Низкое энергопотребление — обеспечивает высокую пропускную способность на ватт, что идеально для систем с питанием от аккумуляторов или солнечных батарей.
• Plug-and-play — USB Accelerator подключается через USB 3.0, поэтому никакой дополнительной интеграции оборудования не требуется.

Предварительные требования#

• Raspberry Pi 4B (рекомендуется от 2 ГБ) или Raspberry Pi 5 (рекомендуется)
• Raspberry Pi OS Bullseye/Bookworm (64-разрядная) с рабочим столом (рекомендуется)
• Coral USB Accelerator
• Платформа не на ARM (Google Colab, машина на x86_64 Linux или контейнер Ultralytics Docker) для экспорта модели, так как компилятор Edge TPU недоступен на ARM

В этом руководстве предполагается, что у тебя уже установлена рабочая Raspberry Pi OS с ultralytics и ее зависимостями. Если нет, сначала изучи руководство по быстрому старту.

Когда предварительные требования выполнены, рабочий процесс состоит из трех шагов: установка среды выполнения Edge TPU на Pi, экспорт модели на машине не на ARM и запуск инференса обратно на Pi.

Установка среды выполнения Edge TPU#

Среда выполнения поставляется в нескольких сборках, поэтому выбери ту, которая соответствует твоей операционной системе. Сборка с высокой частотой запускает Edge TPU на более высокой тактовой частоте для лучшей производительности, но это может вызвать троттлинг из-за перегрева — используй какое-либо охлаждение, если выберешь её.

Скачай последнюю версию отсюда, а затем установи пакет .deb:

sudo dpkg -i path/to/package.deb

После установки среды выполнения подключи Coral Edge TPU к порту USB 3.0 на Raspberry Pi, чтобы вступило в силу новое правило udev.

# If you installed the standard version
sudo apt remove libedgetpu1-std

# If you installed the high-frequency version
sudo apt remove libedgetpu1-max

Экспорт модели в формат Edge TPU#

Чтобы использовать Edge TPU, преобразуй модель в совместимый формат. Выполняй экспорт на платформе не на ARM — Google Colab, машине на x86_64 Linux, официальном контейнере Ultralytics Docker или Ultralytics Platform, так как компилятор Edge TPU недоступен на ARM. См. раздел Режим экспорта для получения информации о доступных аргументах.

from ultralytics import YOLO

# Load a model
model = YOLO("path/to/model.pt")  # Load an official model or custom model

# Export the model
model.export(format="edgetpu")

Экспортированная модель сохраняется в папке <model_name>_saved_model/ как <model_name>_full_integer_quant_edgetpu.tflite.

Запуск вывода на Edge TPU#

Перед запуском модели установи нужные библиотеки на Raspberry Pi. Если TensorFlow уже установлен, сначала удали его:

pip uninstall tensorflow tensorflow-aarch64

Затем установи или обнови tflite-runtime:

pip install -U tflite-runtime

Теперь ты можешь запустить вывод:

from ultralytics import YOLO

# Load a model
model = YOLO("path/to/<model_name>_full_integer_quant_edgetpu.tflite")  # Load an official model or custom model

# Run Prediction
model.predict("path/to/source.png")

Подробную информацию о режиме предсказаний можно найти на странице Предсказание.

from ultralytics import YOLO

# Load a model
model = YOLO("path/to/<model_name>_full_integer_quant_edgetpu.tflite")  # Load an official model or custom model

# Run Prediction
model.predict("path/to/source.png")  # Inference defaults to the first TPU

model.predict("path/to/source.png", device="tpu:0")  # Select the first TPU

model.predict("path/to/source.png", device="tpu:1")  # Select the second TPU

Бенчмарки#

Приведенные ниже цифры были измерены на Raspberry Pi OS Bookworm 64-бит и USB Coral Edge TPU. Они показывают только время вывода (пре-/постобработка исключены) и служат относительным ориентиром для ускорения, которое обеспечивает Edge TPU на различных моделях Pi и режимах.

В среднем:

• Raspberry Pi 5 на 22% быстрее в стандартном режиме, чем Raspberry Pi 4B.
• Raspberry Pi 5 на 30.2% быстрее в режиме высокой частоты, чем Raspberry Pi 4B.
• Режим высокой частоты на 28.4% быстрее стандартного режима.

Заключение#

Coral Edge TPU превращает Raspberry Pi в мощное и энергоэффективное устройство для инференса с Ultralytics YOLO26. Экспортируй модель на машине не на ARM, сохрани суффикс _edgetpu.tflite и запусти ее с tflite-runtime на Pi для получения ускоренного инференса на периферии. Дополнительные варианты развертывания см. в руководстве Raspberry Pi.

FAQ#