Краткое руководство пользователя: Seeed Studio reCamera с Ultralytics YOLO11

reCamera была представлена сообществу специалистов по искусственному интеллекту на выставке YOLO Vision 2024 (YV24), Ultralytics ежегодном гибридном мероприятии Ultralytics. Она предназначена в основном для краевых приложений ИИ, предлагая мощные вычислительные возможности и простоту развертывания.

Благодаря поддержке различных аппаратных конфигураций и ресурсов с открытым исходным кодом он служит идеальной платформой для создания прототипов и развертывания инновационных решений в области компьютерного зрения на границе.

Почему стоит выбрать reCamera?

Серия reCamera специально создана для приложений с искусственным интеллектом, отвечающих потребностям разработчиков и новаторов. Вот почему она выделяется на фоне других:

• Производительность на базе RISC-V: В основе процессора SG200X, построенного на архитектуре RISC-V, лежит исключительная производительность для задач искусственного интеллекта при сохранении энергоэффективности. Благодаря способности выполнять 1 триллион операций в секунду (1 TOPS) он легко справляется с такими сложными задачами, как обнаружение объектов в режиме реального времени.

• Оптимизированные видеотехнологии: Поддерживает передовые стандарты сжатия видео, включая H.264 и H.265, что позволяет снизить требования к хранению и пропускной способности без ущерба для качества. Такие функции, как HDR-изображение, 3D-шумоподавление и коррекция объектива, обеспечивают профессиональное изображение даже в сложных условиях.

• Энергоэффективная двойная обработка: В то время как SG200X выполняет сложные задачи искусственного интеллекта, более компактный 8-битный микроконтроллер управляет более простыми операциями для экономии энергии, что делает reCamera идеальной для работы от аккумулятора или устройств с низким энергопотреблением.

• Модульная и модернизируемая конструкция: Камера reCamera построена по модульному принципу и состоит из трех основных компонентов: основной платы, платы датчиков и базовой платы. Такая конструкция позволяет разработчикам легко заменять или модернизировать компоненты, обеспечивая гибкость и перспективность развивающихся проектов.

Быстрая настройка оборудования reCamera

Пожалуйста, следуйте краткому руководству по эксплуатации reCamera для первоначальной настройки устройства, например, подключения устройства к сети WiFi и доступа к веб-интерфейсу Node-RED для быстрого предварительного просмотра результатов обнаружения.

Выводы с использованием предустановленных моделей YOLO11

В reCamera предустановлены четыре модели Ultralytics YOLO11 , и вы можете просто выбрать нужную модель на приборной панели Node-RED.

• Обнаружение (YOLO11n)
• Классификация (YOLO11n-cls)
• Сегментация (YOLO11n-seg)
• Оценка постов (YOLO11n-pose)

Шаг 1: Если вы подключили reCamera к сети, введите IP-адрес reCamera в веб-браузере, чтобы открыть панель управления Node-RED. Если вы подключили reCamera к ПК через USB, вы можете ввести 192.168.42.1. Здесь вы увидите, что модель обнаружения YOLO11n загружена по умолчанию.

Шаг 2: Нажмите на зеленый кружок в правом нижнем углу, чтобы перейти в редактор потока Node-RED.

Шаг 3: Нажмите на кнопку model узел и нажмите кнопку On Device.

Шаг 4: Выберите одну из четырех предустановленных моделей YOLO11n и нажмите кнопку Done. Например, здесь мы выберем YOLO11n Pose

Шаг 6: Нажмите Deploy и когда он закончит развертывание, нажмите Dashboard

Теперь вы сможете увидеть модель оценки позы YOLO11n в действии!

Экспорт в cvimodel: Преобразование модели YOLO11

Если вы хотите использовать модель YOLO11 , обученную на заказ, и использовать ее с reCamera, пожалуйста, выполните следующие действия.

Сначала мы преобразуем PyTorch модель для ONNX а затем преобразуйте его в MLIR формат модели. Наконец, MLIR будет преобразована в cvimodel для того, чтобы сделать вывод на устройстве

Экспорт в ONNX

Экспорт модели Ultralytics YOLO11 в формат моделиONNX .

Установка

Чтобы установить необходимые пакеты, выполните команду:

pip install ultralytics

Для получения подробных инструкций и лучших практик, связанных с процессом установки, ознакомьтесь с нашим руководством по установкеUltralytics . При установке необходимых пакетов для YOLO11, если вы столкнетесь с какими-либо трудностями, обратитесь к нашему руководству по общим проблемам, чтобы найти решения и советы.

Использование

from ultralytics import YOLO

# Load the YOLO11 model
model = YOLO("yolo11n.pt")

# Export the model to ONNX format
model.export(format="onnx", opset=14)  # creates 'yolo11n.onnx'

# Export a YOLO11n PyTorch model to ONNX format
yolo export model=yolo11n.pt format=onnx opset=14 # creates 'yolo11n.onnx'

Более подробную информацию о процессе экспорта можно найти на странице документацииUltralytics , посвященной экспорту.

Экспорт ONNX в MLIR и cvimodel

После получения модели ONNX обратитесь к странице Преобразование и квантование AI-моделей, чтобы преобразовать модель ONNX в MLIR, а затем в cvimodel.

Бенчмарки

Скоро будет.

Применение reCamera в реальном мире

Передовые возможности компьютерного зрения и модульная конструкция reCamera позволяют использовать ее в широком спектре реальных сценариев, помогая разработчикам и компаниям с легкостью решать уникальные задачи.

• Обнаружение падений: Камера reCamera, разработанная для применения в сфере безопасности и здравоохранения, способна обнаруживать падения в режиме реального времени, что делает ее идеальным решением для ухода за пожилыми людьми, больниц и промышленных предприятий, где быстрое реагирование имеет решающее значение.

• Обнаружение средств индивидуальной защиты: Камера reCamera может использоваться для обеспечения безопасности на рабочем месте, определяя соответствие СИЗ в режиме реального времени. Она помогает определить, надеты ли на работниках каски, перчатки или другие средства защиты, снижая риски в промышленных условиях.

• Обнаружение пожара: Возможности обработки данных в реальном времени делают камеру reCamera отличным выбором для обнаружения пожаров в промышленных и жилых зонах, обеспечивая раннее предупреждение для предотвращения потенциальных катастроф.

• Обнаружение отходов: Он также может быть использован для обнаружения отходов, что делает его отличным инструментом для мониторинга окружающей среды и управления отходами.

• Обнаружение деталей автомобиля: В обрабатывающей и автомобильной промышленности он помогает обнаруживать и анализировать детали автомобилей для контроля качества, мониторинга сборочных линий и управления запасами.

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ

Как установить и настроить reCamera в первый раз?

Чтобы настроить камеру reCamera в первый раз, выполните следующие действия:

1. Подключите камеру reCamera к источнику питания
2. Подключите камеру к сети WiFi, используя краткое руководство по эксплуатации reCamera.
3. Зайдите в веб-интерфейс Node-RED, введя IP-адрес устройства в веб-браузере (или используйте 192.168.42.1 при подключении через USB)
4. Начните использовать предустановленные модели YOLO11 сразу же через интерфейс приборной панели

Могу ли я использовать свои модели YOLO11 , обученные на заказ, в reCamera?

Да, вы можете использовать специально обученные модели YOLO11 в reCamera. Процесс включает в себя:

1. Экспортируйте модель PyTorch в формат ONNX , используя model.export(format="onnx", opset=14)
2. Преобразование модели ONNX в формат MLIR
3. Преобразуйте MLIR в формат cvimodel для выводов на устройстве
4. Загрузите преобразованную модель в камеру reCamera

Подробные инструкции см. в руководстве по преобразованию и квантованию AI-моделей.

Чем reCamera отличается от традиционных IP-камер?

В отличие от традиционных IP-камер, для обработки которых требуется внешнее оборудование, reCamera:

• Интеграция обработки искусственного интеллекта непосредственно в устройство с помощью процессора RISC-V SG200X
• Вычислительная мощность 1 TOPS для приложений ИИ на границе в реальном времени
• Модульная конструкция позволяет модернизировать и настраивать компоненты.
• Поддержка передовых видеотехнологий, таких как сжатие H.264/H.265, HDR-изображение и 3D-шумоподавление
• Поставляется с предустановленными моделями Ultralytics YOLO11 для немедленного использования

Эти функции делают reCamera самостоятельным решением для краевых приложений искусственного интеллекта, не требующим дополнительного внешнего вычислительного оборудования.

📅 Создано 2 месяца назад ✏️ Обновлено 11 дней назад

Комментарии