Экспорт моделей Ultralytics YOLO26 в формат RKNN для Rockchip#

При развертывании моделей компьютерного зрения на встраиваемых устройствах, особенно работающих на процессорах Rockchip, крайне важно использовать совместимый формат модели. Экспорт моделей Ultralytics YOLO26 в формат RKNN обеспечивает оптимизированную производительность и совместимость с оборудованием Rockchip. В этом руководстве ты узнаешь, как преобразовать модели YOLO26 в формат RKNN, включая экспорт моделей с плавающей точкой и моделей с INT8-квантизацией, чтобы эффективно развертывать их на платформах Rockchip.

Что такое Rockchip?#

Известная своими универсальными и энергоэффективными решениями компания Rockchip разрабатывает передовые системы на кристалле (SoCs), которые используются в широком спектре потребительской электроники, промышленных приложений и технологий AI. Благодаря архитектуре на базе ARM, встроенным нейронным процессорам (NPUs) и поддержке мультимедиа высокого разрешения SoCs Rockchip обеспечивают передовую производительность таких устройств, как планшеты, Smart TV, IoT-системы и приложения периферийного AI. Такие компании, как Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas и Banana Pi, предлагают различные продукты на базе SoCs Rockchip, расширяя их распространение и влияние на различных рынках.

RKNN Toolkit#

RKNN Toolkit — это набор инструментов и библиотек, предоставляемых Rockchip для упрощения развертывания моделей глубокого обучения на аппаратных платформах компании. RKNN, или нейронная сеть Rockchip, — это проприетарный формат, используемый этими инструментами. Модели RKNN разработаны для полного использования аппаратного ускорения, предоставляемого NPU Rockchip (нейронным процессором), что обеспечивает высокую производительность задач AI на таких устройствах, как RK3588, RK3566, RV1103, RV1106 и других системах на базе Rockchip.

Ключевые особенности моделей RKNN#

Модели RKNN имеют несколько преимуществ при развертывании на платформах Rockchip:

• Оптимизация для NPU: модели RKNN специально оптимизированы для работы на NPU Rockchip, что обеспечивает максимальную производительность и эффективность.
• Низкая задержка: формат RKNN минимизирует задержку инференса, что критически важно для приложений реального времени на периферийных устройствах.
• Настройка под платформу: модели RKNN можно адаптировать под конкретные платформы Rockchip, обеспечивая более эффективное использование аппаратных ресурсов.
• Энергоэффективность: благодаря использованию специализированного оборудования NPU модели RKNN потребляют меньше энергии, чем обработка на базе CPU или GPU, что продлевает время работы портативных устройств от батареи.

Установка ОС на оборудование Rockchip#

Первый шаг после получения устройства на базе Rockchip — установить ОС, чтобы оборудование могло загрузиться в рабочую среду. В этом руководстве мы сошлемся на руководства по началу работы для двух протестированных устройств: Radxa Rock 5B и Radxa Zero 3W.

• Руководство по началу работы с Radxa Rock 5B
• Руководство по началу работы с Radxa Zero 3W

Поддерживаемые задачи#

Экспорт в RKNN поддерживает все семь задач Ultralytics. Семантическая сегментация и оценка глубины доступны только в YOLO26 — единственном семействе, поставляемом с такими головами.

Экспорт в RKNN: преобразование модели YOLO26#

Экспортируй модель Ultralytics YOLO26 в формат RKNN и запусти инференс с помощью экспортированной модели.

Установка#

Чтобы установить необходимые пакеты, выполни:

# Install the required package for YOLO26
pip install ultralytics

Подробные инструкции и рекомендации по установке смотри в нашем руководстве по установке Ultralytics. Если при установке необходимых для YOLO26 пакетов возникнут трудности, обратись к руководству по распространенным проблемам, где encontrarás решения и советы.

Использование#

Формат RKNN поддерживает режимы Export, Predict и Validate. Инференс и валидация выполняются на оборудовании NPU Rockchip. Экспортируй модель, затем загрузи экспортированную модель, чтобы запустить инференс или проверить ее точность. По умолчанию экспорт в RKNN использует путь сборки с плавающей точкой (quantize=16) для целевых устройств Rockchip с поддержкой FP16. Используй quantize=8, чтобы собрать модель RKNN с INT8-квантизацией и данными для калибровки. Экспорт в RKNN не предоставляет отдельный режим FP32; режим FP16 по умолчанию не запрашивает FP32.

from ultralytics import YOLO

# Load a YOLO26 model (replace with any supported task model)
model = YOLO("yolo26n-obb.pt")

# Export the model to RKNN format
model.export(format="rknn", name="rk3588")  # creates 'yolo26n-obb_rknn_model'

# Export an INT8-quantized RKNN model with calibration data (detection models only)
model = YOLO("yolo26n.pt")
model.export(format="rknn", name="rk3588", quantize=8, data="coco8.yaml")  # creates 'yolo26n_rknn_model'

from ultralytics import YOLO

# Load the exported RKNN model
model = YOLO("./yolo26n-obb_rknn_model")

# Run inference
results = model("https://ultralytics.com/images/boats.jpg")

from ultralytics import YOLO

# Load the exported RKNN model
model = YOLO("./yolo26n-obb_rknn_model")

# Validate accuracy on the DOTA8 dataset
metrics = model.val(data="dota8.yaml")

Аргументы экспорта#

Подробнее о процессе экспорта см. на странице документации Ultralytics об экспорте.

Развертывание экспортированных моделей YOLO26 RKNN#

После успешного экспорта моделей Ultralytics YOLO26 в формат RKNN следующий шаг — развернуть эти модели на устройствах на базе Rockchip.

Установка#

Чтобы установить необходимые пакеты, выполни:

# Install the required package for YOLO26
pip install ultralytics

После установки запусти инференс и валидацию на устройстве Rockchip точно так, как показано в разделе Использование выше: экспортированная модель _rknn_model напрямую загружается с помощью YOLO(...).

Практические применения#

Устройства на базе Rockchip с моделями YOLO26 RKNN можно использовать в различных приложениях:

• Интеллектуальное видеонаблюдение: развертывай эффективные системы детекции объектов для мониторинга безопасности с низким энергопотреблением.
• Промышленная автоматизация: реализуй контроль качества и обнаружение дефектов непосредственно на встраиваемых устройствах.
• Аналитика в розничной торговле: отслеживай поведение клиентов и управление запасами в реальном времени без зависимости от облака.
• Интеллектуальное сельское хозяйство: отслеживай состояние посевов и обнаруживай вредителей с помощью компьютерного зрения в сельском хозяйстве.
• Автономная робототехника: обеспечивай навигацию на основе зрения и обнаружение препятствий на платформах с ограниченными ресурсами.

Бенчмарки#

Приведенные ниже бенчмарки YOLO26 выполнены командой Ultralytics на Radxa Rock 5B на базе Rockchip RK3588 с форматом модели rknn; измерялись скорость и точность.

Итоги#

В этом руководстве ты узнал, как экспортировать модели Ultralytics YOLO26 в формат RKNN для улучшения их развертывания на платформах Rockchip. Ты также познакомился с RKNN Toolkit и узнал о конкретных преимуществах использования моделей RKNN для приложений периферийного AI.

Сочетание Ultralytics YOLO26 и технологии NPU Rockchip обеспечивает эффективное решение для выполнения сложных задач компьютерного зрения на встраиваемых устройствах. Такой подход позволяет выполнять детекцию объектов в реальном времени и другие приложения AI в области зрения при минимальном энергопотреблении и высокой производительности.

Дополнительные сведения об использовании см. в официальной документации RKNN.

Если ты хочешь узнать больше о других интеграциях Ultralytics YOLO26, посети нашу страницу руководства по интеграциям. Там ты найдешь множество полезных ресурсов и рекомендаций.

Часто задаваемые вопросы#