Краткое руководство: Seeed Studio reCamera с Ultralytics YOLO11

reCamera была представлена AI-сообществу на YOLO Vision 2024 (YV24), ежегодном гибридном мероприятии Ultralytics. Она в основном предназначена для периферийных AI-приложений, предлагая мощные возможности обработки и простое развертывание.

Благодаря поддержке различных аппаратных конфигураций и ресурсов с открытым исходным кодом, он служит идеальной платформой для прототипирования и развертывания инновационных решений в области компьютерного зрения на периферии.

Почему стоит выбрать reCamera?

Серия reCamera специально разработана для периферийных AI-приложений, адаптированных для удовлетворения потребностей разработчиков и новаторов. Вот почему она выделяется:

• Производительность на базе RISC-V: В основе лежит процессор SG200X, построенный на архитектуре RISC-V, обеспечивающий исключительную производительность для периферийных задач ИИ, сохраняя при этом энергоэффективность. Благодаря способности выполнять 1 триллион операций в секунду (1 TOPS), он легко справляется с такими сложными задачами, как обнаружение объектов в реальном времени.

• Оптимизированные видеотехнологии: Поддерживает передовые стандарты сжатия видео, включая H.264 и H.265, для снижения требований к хранению и пропускной способности без ущерба для качества. Такие функции, как HDR-изображения, 3D-шумоподавление и коррекция объектива, обеспечивают профессиональное качество изображения даже в сложных условиях.

• Энергоэффективная двойная обработка: В то время как SG200X обрабатывает сложные задачи ИИ, меньший 8-битный микроконтроллер управляет более простыми операциями для экономии энергии, что делает reCamera идеальной для устройств с батарейным питанием или маломощных установок.

• Модульная и обновляемая конструкция: reCamera построена с использованием модульной структуры, состоящей из трех основных компонентов: основной платы, платы датчика и базовой платы. Такая конструкция позволяет разработчикам легко заменять или обновлять компоненты, обеспечивая гибкость и перспективность для развивающихся проектов.

Быстрая настройка оборудования reCamera

Пожалуйста, ознакомьтесь с Руководством по быстрому старту reCamera для первоначальной настройки устройства, например, для подключения устройства к сети WiFi и доступа к веб-интерфейсу Node-RED для быстрого предварительного просмотра результатов обнаружения.

Инференс с использованием предустановленных моделей YOLO11

reCamera поставляется с предустановленными четырьмя моделями Ultralytics YOLO11, и вы можете просто выбрать желаемую модель на панели управления Node-RED.

• Обнаружение (YOLO11n)
• Классификация (YOLO11n-cls)
• Сегментация (YOLO11n-seg)
• Оценка позы (YOLO11n-pose)

Шаг 1: Если вы подключили reCamera к сети, введите IP-адрес reCamera в веб-браузере, чтобы открыть панель управления Node-RED. Если вы подключили reCamera к ПК через USB, вы можете ввести 192.168.42.1. Здесь вы увидите, что модель обнаружения YOLO11n загружается по умолчанию.

Шаг 2: Щелкните зеленый кружок в правом нижнем углу, чтобы получить доступ к редактору потоков Node-RED.

Шаг 3: Нажмите на model узел и щелчок On Device.

Шаг 4: Выберите одну из четырех предустановленных моделей YOLO11n и нажмите Done. Например, здесь мы выберем YOLO11n Pose

Шаг 6: Нажмите Deploy а когда завершится развертывание, нажмите Dashboard

Теперь вы сможете увидеть модель оценки позы YOLO11n в действии!

Экспорт в cvimodel: Преобразование вашей модели YOLO11

Если вы хотите использовать пользовательскую обученную модель YOLO11 с reCamera, выполните следующие действия.

Здесь мы сначала преобразуем PyTorch модель в ONNX а затем преобразуйте его в MLIR формат модели. Наконец MLIR будет преобразовано в cvimodel для инференса на устройстве

Экспорт в ONNX

Экспортируйте модель Ultralytics YOLO11 в формат модели ONNX.

Установка

Чтобы установить необходимые пакеты, выполните команду:

pip install ultralytics

Подробные инструкции и рекомендации, касающиеся процесса установки, см. в нашем руководстве по установке Ultralytics. Если во время установки необходимых пакетов для YOLO11 у вас возникнут какие-либо трудности, обратитесь к нашему руководству по распространенным проблемам для получения решений и советов.

Использование

from ultralytics import YOLO

# Load the YOLO11 model
model = YOLO("yolo11n.pt")

# Export the model to ONNX format
model.export(format="onnx", opset=14)  # creates 'yolo11n.onnx'

# Export a YOLO11n PyTorch model to ONNX format
yolo export model=yolo11n.pt format=onnx opset=14 # creates 'yolo11n.onnx'

Для получения более подробной информации о процессе экспорта посетите страницу документации Ultralytics по экспорту.

Экспорт ONNX в MLIR и cvimodel

После получения модели ONNX, обратитесь к странице Convert and Quantize AI Models, чтобы преобразовать модель ONNX в MLIR, а затем в cvimodel.

Оценка производительности

Скоро.

Реальные приложения reCamera

Расширенные возможности компьютерного зрения и модульная конструкция reCamera делают его пригодным для широкого спектра реальных сценариев, помогая разработчикам и предприятиям с легкостью решать уникальные задачи.

• Обнаружение падений: Разработанная для обеспечения безопасности и применения в здравоохранении, reCamera может обнаруживать падения в режиме реального времени, что делает ее идеальной для ухода за пожилыми людьми, больниц и промышленных объектов, где важна быстрая реакция.

• Обнаружение средств индивидуальной защиты: reCamera можно использовать для обеспечения безопасности на рабочем месте, обнаруживая соблюдение требований к СИЗ в режиме реального времени. Она помогает определить, носят ли рабочие каски, перчатки или другие средства защиты, снижая риски в промышленных условиях.

• Обнаружение пожара: Возможности обработки reCamera в реальном времени делают ее отличным выбором для обнаружения пожара в промышленных и жилых районах, обеспечивая раннее предупреждение для предотвращения потенциальных бедствий.

• Обнаружение отходов: Его также можно использовать для обнаружения отходов, что делает его отличным инструментом для мониторинга окружающей среды и управления отходами.

• Обнаружение автомобильных деталей: В обрабатывающей и автомобильной промышленности это помогает в обнаружении и анализе автомобильных деталей для контроля качества, мониторинга сборочной линии и управления запасами.

Часто задаваемые вопросы

Как установить и настроить reCamera в первый раз?

Чтобы настроить reCamera в первый раз, выполните следующие действия:

1. Подключите reCamera к источнику питания
2. Подключите его к сети Wi-Fi, используя Краткое руководство по reCamera.
3. Получите доступ к веб-интерфейсу Node-RED, введя IP-адрес устройства в веб-браузере (или используйте 192.168.42.1 если подключено через USB)
4. Начните немедленно использовать предустановленные модели YOLO11 через интерфейс панели управления

Могу ли я использовать свои собственные обученные модели YOLO11 с reCamera?

Да, вы можете использовать пользовательские обученные модели YOLO11 с reCamera. Процесс включает в себя:

1. Экспортируйте свою модель PyTorch в формат ONNX, используя model.export(format="onnx", opset=14)
2. Преобразование модели ONNX в формат MLIR
3. Преобразование MLIR в формат cvimodel для логического вывода на устройстве
4. Загрузите преобразованную модель на свою reCamera

Подробные инструкции см. в руководстве Преобразование и квантование моделей ИИ.

Чем reCamera отличается от традиционных IP-камер?

В отличие от традиционных IP-камер, требующих внешнего оборудования для обработки, reCamera:

• Интегрирует обработку AI непосредственно на устройстве с помощью процессора RISC-V SG200X
• Предлагает 1 TOPS вычислительной мощности для приложений искусственного интеллекта на периферийных устройствах в реальном времени
• Имеет модульную конструкцию, позволяющую модернизировать и настраивать компоненты
• Поддерживает передовые видеотехнологии, такие как сжатие H.264/H.265, HDR-изображения и 3D-шумоподавление.
• Поставляется с предустановленными моделями Ultralytics YOLO11 для немедленного использования

Эти особенности делают reCamera автономным решением для edge AI-приложений, не требующим дополнительного внешнего оборудования для обработки.

📅 Создано 7 месяцев назад ✏️ Обновлено 5 месяцев назад

Комментарии