Экспорт Rockchip RKNN для моделей Ultralytics YOLO26#

При развертывании моделей компьютерного зрения на встраиваемых устройствах, особенно на базе процессоров Rockchip, наличие совместимого формата модели имеет решающее значение. Экспорт моделей Ultralytics YOLO26 в формат RKNN обеспечивает оптимизированную производительность и совместимость с аппаратным обеспечением Rockchip. Это руководство проведет тебя через процесс конвертации моделей YOLO26 в формат RKNN, включая экспорт с плавающей запятой и с квантованием INT8, что позволяет эффективно развертывать их на платформах Rockchip.

Что такое Rockchip?#

Известная своими универсальными и энергоэффективными решениями, компания Rockchip проектирует передовые системы на кристалле (SoC), которые питают широкий спектр потребительской электроники, промышленных приложений и технологий ИИ. Благодаря архитектуре на базе ARM, встроенным нейронным процессорам (NPU) и поддержке мультимедиа высокого разрешения, SoC от Rockchip обеспечивают передовую производительность для таких устройств, как планшеты, умные телевизоры, системы интернета вещей (IoT) и периферийные приложения ИИ. Такие компании, как Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas и Banana Pi, предлагают различные продукты на базе SoC Rockchip, еще больше расширяя их охват и влияние на самых разных рынках.

Набор инструментов RKNN#

RKNN Toolkit представляет собой набор инструментов и библиотек, предоставляемых Rockchip для упрощения развертывания моделей глубокого обучения на их аппаратных платформах. RKNN (Rockchip Neural Network) — это проприетарный формат, используемый этими инструментами. Модели RKNN разработаны таким образом, чтобы в полной мере использовать аппаратное ускорение, обеспечиваемое NPU (Neural Processing Unit) от Rockchip, что гарантирует высокую производительность в задачах ИИ на таких устройствах, как RK3588, RK3566, RV1103, RV1106 и других системах на базе Rockchip.

Ключевые особенности моделей RKNN#

Модели RKNN обладают рядом преимуществ для развертывания на платформах Rockchip:

• Оптимизация под NPU: Модели RKNN специально оптимизированы для запуска на NPU от Rockchip, что обеспечивает максимальную производительность и эффективность.
• Низкая задержка: Формат RKNN минимизирует задержку вывода, что критически важно для приложений реального времени на граничных устройствах.
• Адаптация под конкретную платформу: Модели RKNN можно настроить под конкретные платформы Rockchip, что позволяет лучше использовать аппаратные ресурсы.
• Энергоэффективность: Используя выделенное аппаратное обеспечение NPU, модели RKNN потребляют меньше энергии, чем при обработке на CPU или GPU, что увеличивает время автономной работы портативных устройств.

Прошивка ОС на оборудование Rockchip#

Первый шаг после получения устройства на базе Rockchip — это прошивка ОС, чтобы оборудование могло загрузиться в рабочую среду. В этом руководстве мы укажем на руководства по началу работы для двух протестированных нами устройств: Radxa Rock 5B и Radxa Zero 3W.

• Руководство по началу работы с Radxa Rock 5B
• Руководство по началу работы с Radxa Zero 3W

Поддерживаемые задачи#

Экспорт в RKNN поддерживает все семь задач Ultralytics. Семантическая сегментация и оценка глубины доступны только с YOLO26 — единственным семейством, в котором есть эти головы.

Экспорт в RKNN: конвертация твоей модели YOLO26#

Экспортируй модель Ultralytics YOLO26 в формат RKNN и запускай вывод с помощью экспортированной модели.

Установка#

Чтобы установить необходимые пакеты, выполни:

# Install the required package for YOLO26
pip install ultralytics

Подробные инструкции и лучшие практики, связанные с процессом установки, можно найти в нашем руководстве по установке Ultralytics. Если в процессе установки необходимых пакетов для YOLO26 у тебя возникнут какие-либо трудности, обратись к нашему руководству по частым проблемам за решениями и советами.

Использование#

Формат RKNN поддерживает режимы Export, Predict и Validate. Инференс и валидация выполняются на аппаратном обеспечении NPU от Rockchip. Экспортируй свою модель, а затем загрузи ее для выполнения инференса или проверки точности. По умолчанию при экспорте в RKNN используется путь сборки с плавающей запятой (quantize=16) для целей Rockchip, поддерживающих FP16. Используй quantize=8 для сборки модели RKNN с квантованием INT8 и данными калибровки. Экспорт в RKNN не имеет отдельного режима FP32; значение по умолчанию FP16 не запрашивает FP32.

from ultralytics import YOLO

# Load a YOLO26 model (replace with any supported task model)
model = YOLO("yolo26n-obb.pt")

# Export the model to RKNN format
model.export(format="rknn", name="rk3588")  # creates '/yolo26n-obb_rknn_model'

# Export an INT8-quantized RKNN model with calibration data
model.export(format="rknn", name="rk3588", quantize=8, data="dota8.yaml")

from ultralytics import YOLO

# Load the exported RKNN model
model = YOLO("./yolo26n-obb_rknn_model")

# Run inference
results = model("https://ultralytics.com/images/boats.jpg")

from ultralytics import YOLO

# Load the exported RKNN model
model = YOLO("./yolo26n-obb_rknn_model")

# Validate accuracy on the DOTA8 dataset
metrics = model.val(data="dota8.yaml")

Аргументы экспорта#

Дополнительную информацию о процессе экспорта см. на странице документации Ultralytics по экспорту.

Развертывание экспортированных моделей YOLO26 RKNN#

После успешного экспорта моделей Ultralytics YOLO26 в формат RKNN следующим шагом будет развертывание этих моделей на устройствах на базе Rockchip.

Установка#

Чтобы установить необходимые пакеты, выполни:

# Install the required package for YOLO26
pip install ultralytics

После установки выполняй инференс и валидацию на своем устройстве Rockchip точно так же, как показано в разделе Использование выше — экспортированный файл _rknn_model загружается напрямую с помощью YOLO(...).

Применение в реальных условиях#

Устройства на базе Rockchip с моделями YOLO26 RKNN могут использоваться в различных приложениях:

• Умное видеонаблюдение: Развертывай эффективные системы обнаружения объектов для мониторинга безопасности с низким энергопотреблением.
• Промышленная автоматизация: Внедряй контроль качества и обнаружение дефектов непосредственно на встраиваемых устройствах.
• Розничная аналитика: Отслеживай поведение клиентов и управляй запасами в режиме реального времени без зависимости от облака.
• Умное сельское хозяйство: Контролируй состояние посевов и обнаруживай вредителей с помощью компьютерного зрения в сельском хозяйстве.
• Автономная робототехника: Включай навигацию на основе зрения и обнаружение препятствий на платформах с ограниченными ресурсами.

Бенчмарки#

Приведенные ниже тесты производительности YOLO26 были запущены командой Ultralytics на Radxa Rock 5B на базе Rockchip RK3588 с форматом модели rknn для измерения скорости и точности.

Резюме#

В этом руководстве ты узнал, как экспортировать модели Ultralytics YOLO26 в формат RKNN для улучшения их развертывания на платформах Rockchip. Тебя также познакомили с RKNN Toolkit и конкретными преимуществами использования моделей RKNN для приложений граничного ИИ.

Сочетание Ultralytics YOLO26 и технологии NPU от Rockchip представляет собой эффективное решение для выполнения сложных задач компьютерного зрения на встраиваемых устройствах. Этот подход обеспечивает обнаружение объектов в реальном времени и другие приложения искусственного интеллекта для работы с изображениями с минимальным энергопотреблением и высокой производительностью.

Для получения дополнительной информации об использовании посети официальную документацию RKNN.

Кроме того, если ты хочешь узнать больше о других интеграциях Ultralytics YOLO26, посети нашу страницу руководства по интеграции. Там ты найдешь множество полезных ресурсов и идей.

FAQ#