Краткое руководство по началу работы: Raspberry Pi с Ultralytics YOLO11

Это подробное руководство содержит детальное описание развертывания Ultralytics YOLO11 на устройствах Raspberry Pi. Кроме того, в нем представлены сравнительные тесты производительности, демонстрирующие возможности YOLO11 на этих небольших и мощных устройствах.

Смотреть: Обновления и улучшения Raspberry Pi 5.

Что такое Raspberry Pi?

Raspberry Pi — это небольшой, доступный по цене одноплатный компьютер. Он стал популярным для широкого спектра проектов и приложений, от домашней автоматизации для любителей до промышленного использования. Платы Raspberry Pi способны запускать различные операционные системы и предлагают контакты GPIO (General Purpose Input/Output), которые обеспечивают простую интеграцию с датчиками, приводами и другими аппаратными компонентами. Они бывают разных моделей с различными спецификациями, но все они разделяют одну и ту же основную философию: быть недорогими, компактными и универсальными.

Сравнение серий Raspberry Pi

Что такое Raspberry Pi OS?

Raspberry Pi OS (ранее известная как Raspbian) — это Unix-подобная операционная система, основанная на дистрибутиве Debian GNU/Linux для семейства компактных одноплатных компьютеров Raspberry Pi, распространяемых Raspberry Pi Foundation. Raspberry Pi OS высоко оптимизирована для Raspberry Pi с процессорами ARM и использует модифицированную среду рабочего стола LXDE с менеджером окон Openbox. Raspberry Pi OS находится в активной разработке с акцентом на повышение стабильности и производительности как можно большего числа пакетов Debian на Raspberry Pi.

Прошивка Raspberry Pi OS на Raspberry Pi

Первое, что нужно сделать, получив в руки Raspberry Pi, — это прошить micro-SD карту с Raspberry Pi OS, вставить ее в устройство и загрузиться в ОС. Следуйте подробной документации по началу работы от Raspberry Pi, чтобы подготовить устройство к первому использованию.

Настройка Ultralytics

Существует два способа настройки пакета Ultralytics на Raspberry Pi для создания вашего следующего проекта в области компьютерного зрения. Вы можете использовать любой из них.

• Начать с Docker
• Начать без Docker

Начать с Docker

Самый быстрый способ начать работу с Ultralytics YOLO11 на Raspberry Pi — это запустить предварительно собранный образ Docker для Raspberry Pi.

Выполните приведенную ниже команду, чтобы извлечь контейнер Docker и запустить его на Raspberry Pi. Он основан на образе Docker arm64v8/debian, который содержит Debian 12 (Bookworm) в среде Python3.

t=ultralytics/ultralytics:latest-arm64
sudo docker pull $t && sudo docker run -it --ipc=host $t

После этого перейдите к разделу Использование NCNN на Raspberry Pi.

Начать без Docker

Установка пакета Ultralytics

Здесь мы установим пакет Ultralytics на Raspberry Pi с дополнительными зависимостями, чтобы мы могли экспортировать модели PyTorch в другие различные форматы.

1. Обновите список пакетов, установите pip и обновите до последней версии

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Установите ultralytics пакет pip с необязательными зависимостями

   pip install ultralytics[export]
   

3. Перезагрузите устройство

   sudo reboot
   

Использование NCNN на Raspberry Pi

Из всех форматов экспорта моделей, поддерживаемых Ultralytics, NCNN обеспечивает наилучшую производительность при работе с устройствами Raspberry Pi, поскольку NCNN высоко оптимизирован для мобильных / встроенных платформ (таких как архитектура ARM).

Преобразование модели в NCNN и запуск инференса

Модель YOLO11n в формате PyTorch преобразуется в NCNN для выполнения инференса с экспортированной моделью.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to NCNN format
model.export(format="ncnn")  # creates 'yolo11n_ncnn_model'

# Load the exported NCNN model
ncnn_model = YOLO("yolo11n_ncnn_model")

# Run inference
results = ncnn_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to NCNN format
yolo export model=yolo11n.pt format=ncnn # creates 'yolo11n_ncnn_model'

# Run inference with the exported model
yolo predict model='yolo11n_ncnn_model' source='https://ultralytics.com/images/bus.jpg'

Бенчмарки YOLO11 на Raspberry Pi 5

Команда Ultralytics провела тесты YOLO11 в десяти различных форматах моделей, измеряя скорость и точность: PyTorch, TorchScript, ONNX, OpenVINO, TF SavedModel, TF GraphDef, TF Lite, PaddlePaddle, MNN, NCNN. Тесты проводились на Raspberry Pi 5 с FP32 точностью и размером входного изображения по умолчанию 640.

Сравнительная таблица

Мы включили бенчмарки только для моделей YOLO11n и YOLO11s, поскольку модели других размеров слишком велики для запуска на Raspberry Pi и не обеспечивают достойной производительности.

Подробная сравнительная таблица

В таблице ниже представлены результаты эталонного тестирования для двух различных моделей (YOLO11n, YOLO11s) в десяти различных форматах (PyTorch, TorchScript, ONNX, OpenVINO, TF SavedModel, TF GraphDef, TF Lite, PaddlePaddle, MNN, NCNN), работающих на Raspberry Pi 5, что дает нам статус, размер, метрику mAP50-95(B) и время вывода для каждой комбинации.

Воспроизведение наших результатов

Чтобы воспроизвести вышеуказанные бенчмарки Ultralytics во всех форматах экспорта, запустите этот код:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all all export formats
yolo benchmark model=yolo11n.pt data=coco128.yaml imgsz=640

Использование камеры Raspberry Pi

При использовании Raspberry Pi для проектов компьютерного зрения может быть важно захватывать видеопотоки в реальном времени для выполнения логического вывода. Встроенный разъем MIPI CSI на Raspberry Pi позволяет подключать официальные модули камеры Raspberry PI. В этом руководстве мы использовали модуль камеры Raspberry Pi 3 для захвата видеопотоков и выполнения логического вывода с использованием моделей YOLO11.

Тестирование камеры

Выполните следующую команду после подключения камеры к Raspberry Pi. Вы должны увидеть видеопоток с камеры в течение примерно 5 секунд.

rpicam-hello

Инференс с использованием камеры

Существует 2 способа использования камеры Raspberry Pi для инференса моделей YOLO11.

import cv2
from picamera2 import Picamera2

from ultralytics import YOLO

# Initialize the Picamera2
picam2 = Picamera2()
picam2.preview_configuration.main.size = (1280, 720)
picam2.preview_configuration.main.format = "RGB888"
picam2.preview_configuration.align()
picam2.configure("preview")
picam2.start()

# Load the YOLO11 model
model = YOLO("yolo11n.pt")

while True:
    # Capture frame-by-frame
    frame = picam2.capture_array()

    # Run YOLO11 inference on the frame
    results = model(frame)

    # Visualize the results on the frame
    annotated_frame = results[0].plot()

    # Display the resulting frame
    cv2.imshow("Camera", annotated_frame)

    # Break the loop if 'q' is pressed
    if cv2.waitKey(1) == ord("q"):
        break

# Release resources and close windows
cv2.destroyAllWindows()

rpicam-vid -n -t 0 --inline --listen -o tcp://127.0.0.1:8888

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Run inference
results = model("tcp://127.0.0.1:8888")

yolo predict model=yolo11n.pt source="tcp://127.0.0.1:8888"

Рекомендации по использованию Raspberry Pi

Существует несколько передовых методов, которые необходимо соблюдать, чтобы обеспечить максимальную производительность на Raspberry Pi при работе с YOLO11.

1. Используйте SSD

   При использовании Raspberry Pi в режиме 24x7 рекомендуется использовать SSD для системы, поскольку SD-карта не сможет выдержать непрерывную запись и может сломаться. Благодаря встроенному разъему PCIe на Raspberry Pi 5 теперь вы можете подключать SSD-накопители с помощью адаптера, такого как NVMe Base для Raspberry Pi 5.

2. Прошивка без графического интерфейса

   При прошивке Raspberry Pi OS вы можете не устанавливать среду рабочего стола (Raspberry Pi OS Lite), что позволит сэкономить немного оперативной памяти на устройстве, оставив больше места для обработки компьютерного зрения.

3. Разгон Raspberry Pi

   Если вы хотите немного повысить производительность при запуске моделей Ultralytics YOLO11 на Raspberry Pi 5, вы можете разогнать CPU с базовой частоты 2,4 ГГц до 2,9 ГГц, а GPU с 800 МГц до 1 ГГц. Если система станет нестабильной или произойдет сбой, уменьшите значения разгона с шагом 100 МГц. Обеспечьте надлежащее охлаждение, так как разгон увеличивает тепловыделение и может привести к тепловому дросселированию.

   a. Обновите программное обеспечение

   sudo apt update && sudo apt dist-upgrade
   

   b. Откройте для редактирования файл конфигурации

   sudo nano /boot/firmware/config.txt
   

   c. Добавьте следующие строки внизу

   arm_freq=3000
   gpu_freq=1000
   force_turbo=1
   

   d. Сохраните и выйдите, нажав CTRL + X, затем Y и нажмите ENTER

   e. Перезагрузите Raspberry Pi

Следующие шаги

Поздравляем с успешной настройкой YOLO на вашем Raspberry Pi! Для дальнейшего обучения и поддержки посетите документацию Ultralytics YOLO11 и Kashmir World Foundation.

Благодарности и цитирования

Это руководство было первоначально создано Дааном Элтинком для Kashmir World Foundation, организации, занимающейся использованием YOLO для сохранения исчезающих видов. Мы признаем их новаторскую работу и образовательный подход в области технологий обнаружения объектов.

Для получения дополнительной информации о деятельности Kashmir World Foundation вы можете посетить их веб-сайт.

Часто задаваемые вопросы

Как настроить Ultralytics YOLO11 на Raspberry Pi без использования Docker?

Чтобы настроить Ultralytics YOLO11 на Raspberry Pi без Docker, выполните следующие действия:

1. Обновите список пакетов и выполните установку. pip:

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Установите пакет Ultralytics с дополнительными зависимостями:

   pip install ultralytics[export]
   

3. Перезагрузите устройство, чтобы применить изменения:

   sudo reboot
   

Для получения подробных инструкций обратитесь к разделу Запуск без Docker.

Почему следует использовать формат NCNN Ultralytics YOLO11 на Raspberry Pi для задач ИИ?

Формат NCNN в Ultralytics YOLO11 высоко оптимизирован для мобильных и встроенных платформ, что делает его идеальным для выполнения задач ИИ на устройствах Raspberry Pi. NCNN максимально увеличивает производительность логического вывода за счет использования архитектуры ARM, обеспечивая более быструю и эффективную обработку по сравнению с другими форматами. Для получения более подробной информации о поддерживаемых параметрах экспорта посетите страницу документации Ultralytics, посвященную вариантам развертывания.

Как преобразовать модель YOLO11 в формат NCNN для использования на Raspberry Pi?

Вы можете преобразовать модель PyTorch YOLO11 в формат NCNN с помощью команд Python или CLI:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to NCNN format
model.export(format="ncnn")  # creates 'yolo11n_ncnn_model'

# Load the exported NCNN model
ncnn_model = YOLO("yolo11n_ncnn_model")

# Run inference
results = ncnn_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to NCNN format
yolo export model=yolo11n.pt format=ncnn # creates 'yolo11n_ncnn_model'

# Run inference with the exported model
yolo predict model='yolo11n_ncnn_model' source='https://ultralytics.com/images/bus.jpg'

Для получения более подробной информации см. раздел Использование NCNN на Raspberry Pi.

Каковы аппаратные различия между Raspberry Pi 4 и Raspberry Pi 5, важные для запуска YOLO11?

Ключевые различия включают:

• CPU: Raspberry Pi 4 использует Broadcom BCM2711, Cortex-A72 64-bit SoC, а Raspberry Pi 5 использует Broadcom BCM2712, Cortex-A76 64-bit SoC.
• Максимальная частота CPU: Raspberry Pi 4 имеет максимальную частоту 1,8 ГГц, тогда как Raspberry Pi 5 достигает 2,4 ГГц.
• Память: Raspberry Pi 4 предлагает до 8 ГБ LPDDR4-3200 SDRAM, а Raspberry Pi 5 оснащен LPDDR4X-4267 SDRAM, доступной в вариантах 4 ГБ и 8 ГБ.

Эти улучшения способствуют повышению производительности моделей YOLO11 на Raspberry Pi 5 по сравнению с Raspberry Pi 4. Обратитесь к таблице Сравнение серий Raspberry Pi для получения более подробной информации.

Как настроить модуль камеры Raspberry Pi для работы с Ultralytics YOLO11?

Существует два способа настройки камеры Raspberry Pi для логического вывода YOLO11:

1. Используя picamera2:

   import cv2
   from picamera2 import Picamera2
   
   from ultralytics import YOLO
   
   picam2 = Picamera2()
   picam2.preview_configuration.main.size = (1280, 720)
   picam2.preview_configuration.main.format = "RGB888"
   picam2.preview_configuration.align()
   picam2.configure("preview")
   picam2.start()
   
   model = YOLO("yolo11n.pt")
   
   while True:
       frame = picam2.capture_array()
       results = model(frame)
       annotated_frame = results[0].plot()
       cv2.imshow("Camera", annotated_frame)
   
       if cv2.waitKey(1) == ord("q"):
           break
   
   cv2.destroyAllWindows()
   

2. Использование TCP-потока:

   rpicam-vid -n -t 0 --inline --listen -o tcp://127.0.0.1:8888
   

   from ultralytics import YOLO
   
   model = YOLO("yolo11n.pt")
   results = model("tcp://127.0.0.1:8888")
   

Для получения подробных инструкций по настройке посетите раздел Логический вывод с помощью камеры.

📅 Создано 1 год назад ✏️ Обновлено 3 месяца назад

Комментарии