Экспорт моделей Ultralytics YOLO26 в формат Rockchip RKNN#

При развертывании моделей компьютерного зрения на встраиваемых устройствах, особенно на устройствах с процессорами Rockchip, необходим совместимый формат модели. Экспорт моделей Ultralytics YOLO26 в формат RKNN обеспечивает оптимальную производительность и совместимость с оборудованием Rockchip. В этом руководстве описано преобразование моделей YOLO26 в формат RKNN, в том числе экспорт с плавающей точкой и квантованием INT8, для эффективного развертывания на платформах Rockchip.

Что такое Rockchip?#

Компания Rockchip известна своими универсальными и энергоэффективными решениями. Она разрабатывает передовые системы на кристалле (SoCs), которые используются в самых разных потребительских электронных устройствах, промышленных приложениях и технологиях ИИ. Архитектура на базе ARM, встроенные нейропроцессорные блоки (NPUs) и поддержка мультимедиа высокого разрешения обеспечивают SoCs Rockchip передовые возможности для таких устройств, как планшеты, Smart TV, IoT-системы и периферийные приложения ИИ. Такие компании, как Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas и Banana Pi, предлагают широкий ассортимент устройств на базе SoCs Rockchip, расширяя их присутствие и влияние на различных рынках.

RKNN Toolkit#

RKNN Toolkit — это набор инструментов и библиотек от Rockchip, упрощающий развертывание моделей глубокого обучения на аппаратных платформах компании. RKNN, или Rockchip Neural Network, — проприетарный формат, используемый этими инструментами. Модели RKNN разработаны для полного использования аппаратного ускорения, обеспечиваемого NPU (нейропроцессорным блоком) Rockchip, что гарантирует высокую производительность ИИ-задач на таких устройствах, как RK3588, RK3566, RV1103, RV1106 и других системах на базе Rockchip.

Ключевые особенности моделей RKNN#

Модели RKNN дают несколько преимуществ при развертывании на платформах Rockchip:

• Оптимизация для NPU: модели RKNN специально оптимизированы для работы на NPU Rockchip, что обеспечивает максимальную производительность и эффективность.
• Низкая задержка: формат RKNN сокращает задержку инференса, что особенно важно для приложений реального времени на периферийных устройствах.
• Настройка под конкретную платформу: модели RKNN можно адаптировать к определенным платформам Rockchip, чтобы эффективнее использовать аппаратные ресурсы.
• Энергоэффективность: благодаря специализированному аппаратному обеспечению NPU модели RKNN потребляют меньше энергии, чем обработка на CPU или GPU, и продлевают время автономной работы портативных устройств.

Установка ОС на устройство Rockchip#

После того как ты получил устройство на базе Rockchip, первым делом нужно установить ОС, чтобы оно могло загрузиться и перейти в рабочую среду. В этом руководстве мы приведем ссылки на инструкции по началу работы для двух протестированных нами устройств: Radxa Rock 5B и Radxa Zero 3W.

• Начало работы с Radxa Rock 5B
• Начало работы с Radxa Zero 3W

Поддерживаемые задачи#

Экспорт в RKNN поддерживает все семь задач Ultralytics. Семантическая сегментация и оценка глубины доступны только в YOLO26 — единственном семействе, в котором есть такие выходные блоки.

Экспорт в RKNN: преобразование модели YOLO26#

Экспортируй модель Ultralytics YOLO26 в формат RKNN и запускай инференс с помощью экспортированной модели.

Установка#

Чтобы установить необходимые пакеты, выполни команду:

# Install the required package for YOLO26
pip install ultralytics

Подробные инструкции и рекомендации по установке смотри в руководстве по установке Ultralytics. Если при установке пакетов, необходимых для YOLO26, возникнут сложности, решения и советы найдешь в руководстве по распространенным проблемам.

Использование#

Формат RKNN поддерживает режимы Export, Predict и Validate. Инференс и валидация выполняются на NPU-оборудовании Rockchip. Экспортируй модель, а затем загрузи экспортированную модель, чтобы запустить инференс или проверить точность. По умолчанию при экспорте в RKNN для целевых платформ Rockchip с поддержкой FP16 используется путь сборки с плавающей точкой (quantize=16). Используй quantize=8, чтобы собрать квантованную модель RKNN INT8 с калибровочными данными. Экспорт в RKNN не предоставляет отдельный режим FP32; настройка FP16 по умолчанию не запрашивает FP32.

from ultralytics import YOLO

# Загрузи модель YOLO26 (замени на любую модель поддерживаемой задачи)
model = YOLO("yolo26n-obb.pt")

# Экспортируй модель в формат RKNN
model.export(format="rknn", name="rk3588")  # creates 'yolo26n-obb_rknn_model'

# Экспортируй квантованную модель RKNN INT8 с калибровочными данными
model = YOLO("yolo26n.pt")
model.export(format="rknn", name="rk3588", quantize=8, data="coco8.yaml")  # creates 'yolo26n_rknn_model'

from ultralytics import YOLO

# Загрузи экспортированную модель RKNN
model = YOLO("./yolo26n-obb_rknn_model")

# Выполнить инференс
results = model("https://ultralytics.com/images/boats.jpg")

from ultralytics import YOLO

# Загрузи экспортированную модель RKNN
model = YOLO("./yolo26n-obb_rknn_model")

# Проверь точность на наборе данных DOTA8
metrics = model.val(data="dota8.yaml")

Аргументы экспорта#

Подробнее о процессе экспорта смотри на странице документации Ultralytics об экспорте.

Развертывание экспортированных моделей YOLO26 RKNN#

После успешного экспорта моделей Ultralytics YOLO26 в формат RKNN следующий шаг — развернуть их на устройствах Rockchip.

Установка#

Чтобы установить необходимые пакеты, выполни команду:

# Install the required package for YOLO26
pip install ultralytics

После установки запусти инференс и валидацию на устройстве Rockchip точно так, как показано выше в разделе Использование, — экспортированная модель _rknn_model напрямую загружается с помощью YOLO(...).

Применение в реальных условиях#

Устройства на базе Rockchip с моделями YOLO26 RKNN подходят для самых разных приложений:

• Интеллектуальное видеонаблюдение: развертывай энергоэффективные системы обнаружения объектов для мониторинга безопасности.
• Промышленная автоматизация: выполняй контроль качества и обнаружение дефектов непосредственно на встраиваемых устройствах.
• Аналитика в розничной торговле: отслеживай поведение клиентов и управляй запасами в реальном времени без зависимости от облака.
• Умное сельское хозяйство: следи за состоянием посевов и выявляй вредителей с помощью компьютерного зрения в сельском хозяйстве.
• Автономная робототехника: реализуй навигацию на основе компьютерного зрения и обнаружение препятствий на платформах с ограниченными ресурсами.

Бенчмарки#

Приведенные ниже тесты производительности YOLO26 команда Ultralytics провела на Radxa Rock 5B с Rockchip RK3588, используя формат модели rknn для измерения скорости и точности.

Итоги#

В этом руководстве ты узнал, как экспортировать модели Ultralytics YOLO26 в формат RKNN для их эффективного развертывания на платформах Rockchip. Ты также познакомился с RKNN Toolkit и преимуществами использования моделей RKNN для периферийных приложений ИИ.

Сочетание Ultralytics YOLO26 и технологии NPU Rockchip позволяет эффективно выполнять сложные задачи компьютерного зрения на встраиваемых устройствах. Такой подход обеспечивает обнаружение объектов в реальном времени (object detection) и другие приложения визуального ИИ при минимальном энергопотреблении и высокой производительности.

Подробную информацию об использовании смотри в официальной документации RKNN.

Если хочешь узнать больше о других вариантах интеграции Ultralytics YOLO26, посети нашу страницу руководства по интеграциям. Там ты найдешь множество полезных материалов и рекомендаций.

Часто задаваемые вопросы#