Экспорт Rockchip RKNN для Ultralytics YOLO11 моделей

При развертывании моделей компьютерного зрения на встраиваемых устройствах, особенно на процессорах Rockchip, очень важно иметь совместимый формат модели. Экспорт Ultralytics YOLO11 моделей в формат RKNN обеспечивает оптимизированную производительность и совместимость с аппаратным обеспечением Rockchip. В этом руководстве вы узнаете, как конвертировать модели YOLO11 в формат RKNN, что позволит эффективно развернуть их на платформах Rockchip.

Что такое Rockchip?

Компания Rockchip, известная своими универсальными и энергоэффективными решениями, разрабатывает передовые системы-на-чипе (SoC) для широкого спектра бытовой электроники, промышленных приложений и технологий искусственного интеллекта. Благодаря архитектуре на базе ARM, встроенным блокам нейронной обработки (NPU) и поддержке мультимедиа высокого разрешения, SoC Rockchip обеспечивают передовую производительность таких устройств, как планшеты, "умные" телевизоры, системы IoT и краевые приложения искусственного интеллекта. Такие компании, как Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas и Banana Pi, предлагают множество продуктов на базе SoC Rockchip, расширяя свой охват и влияние на различных рынках.

Набор инструментов RKNN

RKNN Toolkit - это набор инструментов и библиотек, предоставляемых компанией Rockchip для облегчения развертывания моделей глубокого обучения на своих аппаратных платформах. RKNN, или Rockchip Neural Network, - это проприетарный формат, используемый этими инструментами. Модели RKNN разработаны для использования всех преимуществ аппаратного ускорения, обеспечиваемого NPU (Neural Processing Unit) компании Rockchip, что гарантирует высокую производительность в задачах искусственного интеллекта на таких устройствах, как RK3588, RK3566, RV1103, RV1106, и других системах на базе Rockchip.

Ключевые особенности моделей RKNN

Модели RKNN обладают рядом преимуществ для развертывания на платформах Rockchip:

• Оптимизированы для NPU: Модели RKNN специально оптимизированы для работы на NPU Rockchip, что обеспечивает максимальную производительность и эффективность.
• Низкая задержка: Формат RKNN минимизирует время ожидания вывода, что очень важно для приложений реального времени на пограничных устройствах.
• Настройка под конкретную платформу: Модели RKNN могут быть адаптированы к конкретным платформам Rockchip, что позволяет лучше использовать аппаратные ресурсы.
• Энергоэффективность: Благодаря использованию специализированного оборудования NPU модели RKNN потребляют меньше энергии, чем CPU или GPU, что увеличивает время автономной работы портативных устройств.

Флеш-версия ОС для аппаратного обеспечения Rockchip

Первым шагом после приобретения устройства на базе Rockchip является прошивка ОС, чтобы оборудование могло загрузиться в рабочую среду. В этом руководстве мы приведем руководства по началу работы с двумя протестированными нами устройствами - Radxa Rock 5B и Radxa Zero 3W.

• Руководство по началу работы с Radxa Rock 5B
• Руководство по началу работы с Radxa Zero 3W

Экспорт в RKNN: Преобразование модели YOLO11

Экспортируйте модель Ultralytics YOLO11 в формат RKNN и проведите расчеты на основе экспортированной модели.

Установка

Чтобы установить необходимые пакеты, выполните команду:

# Install the required package for YOLO11
pip install ultralytics

Для получения подробных инструкций и лучших практик, связанных с процессом установки, ознакомьтесь с нашим руководством по установкеUltralytics . При установке необходимых пакетов для YOLO11, если вы столкнетесь с какими-либо трудностями, обратитесь к нашему руководству по общим проблемам, чтобы найти решения и советы.

Использование

from ultralytics import YOLO

# Load the YOLO11 model
model = YOLO("yolo11n.pt")

# Export the model to RKNN format
# 'name' can be one of rk3588, rk3576, rk3566, rk3568, rk3562, rv1103, rv1106, rv1103b, rv1106b, rk2118
model.export(format="rknn", name="rk3588")  # creates '/yolo11n_rknn_model'

# Export a YOLO11n PyTorch model to RKNN format
# 'name' can be one of rk3588, rk3576, rk3566, rk3568, rk3562, rv1103, rv1106, rv1103b, rv1106b, rk2118
yolo export model=yolo11n.pt format=rknn name=rk3588 # creates '/yolo11n_rknn_model'

Аргументы экспорта

Более подробную информацию о процессе экспорта можно найти на странице документацииUltralytics , посвященной экспорту.

Развертывание экспортированных YOLO11 моделей RKNN

После того как вы успешно экспортировали свои модели Ultralytics YOLO11 в формат RKNN, следующим шагом будет развертывание этих моделей на устройствах на базе Rockchip.

Установка

Чтобы установить необходимые пакеты, выполните команду:

# Install the required package for YOLO11
pip install ultralytics

Использование

from ultralytics import YOLO

# Load the exported RKNN model
rknn_model = YOLO("./yolo11n_rknn_model")

# Run inference
results = rknn_model("https://ultralytics.com/images/bus.jpg")

# Run inference with the exported model
yolo predict model='./yolo11n_rknn_model' source='https://ultralytics.com/images/bus.jpg'

Применение в реальном мире

Устройства на базе Rockchip с моделями YOLO11 RKNN могут использоваться в различных приложениях:

• Интеллектуальное наблюдение: Развертывание эффективных систем обнаружения объектов для мониторинга безопасности с низким энергопотреблением.
• Промышленная автоматизация: Реализуйте контроль качества и обнаружение дефектов непосредственно на встраиваемых устройствах.
• Аналитика розничной торговли: Отслеживайте поведение покупателей и управление запасами в режиме реального времени без зависимости от облака.
• Умное сельское хозяйство: Мониторинг состояния сельскохозяйственных культур и обнаружение вредителей с помощью компьютерного зрения в сельском хозяйстве.
• Автономная робототехника: Обеспечение навигации на основе технического зрения и обнаружения препятствий на платформах с ограниченными ресурсами.

Бенчмарки

YOLO11 Приведенные ниже бенчмарки были выполнены командой Ultralytics на Radxa Rock 5B на базе Rockchip RK3588 с rknn формат модели, измеряющий скорость и точность.

Резюме

В этом руководстве вы узнали, как экспортировать модели Ultralytics YOLO11 в формат RKNN, чтобы упростить их развертывание на платформах Rockchip. Вы также познакомились с инструментарием RKNN Toolkit и конкретными преимуществами использования моделей RKNN для приложений краевого ИИ.

Сочетание Ultralytics YOLO11 и технологии NPU компании Rockchip обеспечивает эффективное решение для выполнения сложных задач компьютерного зрения на встраиваемых устройствах. Такой подход позволяет выполнять обнаружение объектов в реальном времени и другие приложения искусственного зрения с минимальным энергопотреблением и высокой производительностью.

Более подробную информацию об использовании можно найти в официальной документации RKNN.

Также, если вы хотите узнать больше о других интеграциях Ultralytics YOLO11 , посетите нашу страницу руководства по интеграции. Там вы найдете множество полезных ресурсов и сведений.

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ

Как экспортировать модель Ultralytics YOLO в формат RKNN?

Вы можете легко экспортировать свою модель Ultralytics YOLO в формат RKNN, используя export() метод в пакете Ultralytics Python или через интерфейс командной строки (CLI). Убедитесь, что для экспорта используется ПК с Linux на базе архитектуры x86, поскольку устройства ARM64, такие как Rockchip, не поддерживаются для этой операции. Вы можете указать целевую платформу Rockchip с помощью параметра name аргумент, например rk3588, rk3566, или другие. Этот процесс генерирует оптимизированную модель RKNN, готовую к развертыванию на вашем устройстве Rockchip, используя преимущества его блока нейронной обработки (NPU) для ускоренного вывода.

from ultralytics import YOLO

# Load your YOLO model
model = YOLO("yolo11n.pt")

# Export to RKNN format for a specific Rockchip platform
model.export(format="rknn", name="rk3588")

yolo export model=yolo11n.pt format=rknn name=rk3588

Каковы преимущества использования моделей RKNN на устройствах Rockchip?

Модели RKNN специально разработаны для использования возможностей аппаратного ускорения блоков нейронной обработки (NPU) Rockchip. Такая оптимизация позволяет значительно повысить скорость вывода и уменьшить задержки по сравнению с использованием типовых форматов моделей, таких как ONNX или TensorFlow Lite, на том же оборудовании. Использование моделей RKNN позволяет более эффективно использовать ресурсы устройства, что приводит к снижению энергопотребления и повышению общей производительности, что особенно важно для приложений реального времени на пограничных устройствах. Преобразование моделей Ultralytics YOLO в модели RKNN позволит вам достичь оптимальной производительности на устройствах с SoC от Rockchip, таких как RK3588, RK3566 и другие.

Можно ли развернуть модели RKNN на устройствах других производителей, например NVIDIA или Google?

Модели RKNN специально оптимизированы для платформ Rockchip и их встроенных NPU. Хотя технически вы можете запустить модель RKNN на других платформах с помощью программной эмуляции, вы не сможете воспользоваться аппаратным ускорением, обеспечиваемым устройствами Rockchip. Для оптимальной работы на других платформах рекомендуется экспортировать модели Ultralytics YOLO в форматы, специально разработанные для этих платформ, такие как TensorRT для NVIDIA GPU или TensorFlow Lite для Google's Edge TPU. Ultralytics поддерживает экспорт в широкий спектр форматов, обеспечивая совместимость с различными аппаратными ускорителями.

Какие платформы Rockchip поддерживаются для развертывания модели RKNN?

Экспорт Ultralytics YOLO в формат RKNN поддерживает широкий спектр платформ Rockchip, включая популярные RK3588, RK3576, RK3566, RK3568, RK3562, RV1103, RV1106, RV1103B, RV1106B и RK2118. Эти платформы часто встречаются в устройствах таких производителей, как Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas и Banana Pi. Такая широкая поддержка гарантирует, что вы сможете развернуть свои оптимизированные модели RKNN на различных устройствах на базе Rockchip, от одноплатных компьютеров до промышленных систем, используя все преимущества их возможностей ускорения ИИ для повышения производительности ваших приложений компьютерного зрения.

Какова производительность моделей RKNN по сравнению с другими форматами на устройствах Rockchip?

Модели RKNN обычно превосходят другие форматы, такие как ONNX или TensorFlow Lite, на устройствах Rockchip благодаря их оптимизации для NPU Rockchip. Например, бенчмарки на Radxa Rock 5B (RK3588) показывают, что YOLO11n в формате RKNN достигает времени вывода 99,5 мс/изображение, что значительно быстрее, чем другие форматы. Это преимущество в производительности сохраняется при различных размерах модели YOLO11 , как показано в разделе бенчмарков. Благодаря использованию выделенного оборудования NPU, модели RKNN минимизируют задержки и максимизируют пропускную способность, что делает их идеальными для приложений реального времени на пограничных устройствах на базе Rockchip.

📅 Создано 2 месяца назад ✏️ Обновлено 10 дней назад

Комментарии