Rockchip RKNN Export pour Ultralytics YOLO11 Modèles
Lors du déploiement de modèles de vision par ordinateur sur des dispositifs embarqués, en particulier ceux équipés de processeurs Rockchip, il est essentiel de disposer d'un format de modèle compatible. L'exportation des Ultralytics YOLO11 vers le format RKNN permet d'optimiser les performances et la compatibilité avec le matériel Rockchip. Ce guide vous aidera à convertir vos modèles YOLO11 au format RKNN, ce qui permettra un déploiement efficace sur les plates-formes Rockchip.
Note
Ce guide a été testé avec Radxa Rock 5B qui est basé sur Rockchip RK3588 et Radxa Zero 3W qui est basé sur Rockchip RK3566. Il devrait fonctionner avec d'autres appareils basés sur la puce Rockchip qui prend en charge rknn-toolkit2 tels que RK3576, RK3568, RK3562, RV1103, RV1106, RV1103B, RV1106B et RK2118.
Qu'est-ce que Rockchip ?
Réputé pour fournir des solutions polyvalentes et économes en énergie, Rockchip conçoit des systèmes sur puce (SoC) avancés qui alimentent une large gamme d'appareils électroniques grand public, d'applications industrielles et de technologies d'IA. Avec une architecture basée sur ARM, des unités de traitement neuronal (NPU) intégrées et une prise en charge multimédia haute résolution, les SoC de Rockchip permettent des performances de pointe pour des appareils tels que les tablettes, les téléviseurs intelligents, les systèmes IoT et les applications d'IA de pointe. Des entreprises telles que Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas et Banana Pi proposent une variété de produits basés sur les SoC de Rockchip, élargissant encore leur portée et leur impact sur divers marchés.
Boîte à outils RKNN
La boîte à outils RKNN est un ensemble d'outils et de bibliothèques fournis par Rockchip pour faciliter le déploiement de modèles d'apprentissage profond sur leurs plates-formes matérielles. RKNN, ou Rockchip Neural Network, est le format propriétaire utilisé par ces outils. Les modèles RKNN sont conçus pour tirer pleinement parti de l'accélération matérielle fournie par la NPU (Neural Processing Unit) de Rockchip, ce qui garantit des performances élevées dans les tâches d'IA sur des appareils tels que RK3588, RK3566, RV1103, RV1106 et d'autres systèmes alimentés par Rockchip.
Principales caractéristiques des modèles RKNN
Les modèles RKNN offrent plusieurs avantages pour le déploiement sur les plates-formes Rockchip :
- Optimisé pour NPU: Les modèles RKNN sont spécifiquement optimisés pour fonctionner sur les NPU de Rockchip, ce qui garantit des performances et une efficacité maximales.
- Faible latence: Le format RKNN minimise la latence de l'inférence, ce qui est essentiel pour les applications en temps réel sur les appareils périphériques.
- Personnalisation spécifique à la plate-forme: Les modèles RKNN peuvent être adaptés à des plates-formes Rockchip spécifiques, ce qui permet une meilleure utilisation des ressources matérielles.
Flash OS to Rockchip hardware
La première étape après avoir mis la main sur un appareil à base de Rockchip est de flasher un système d'exploitation afin que le matériel puisse démarrer dans un environnement fonctionnel. Dans ce guide, nous vous indiquerons les guides de démarrage des deux appareils que nous avons testés, à savoir Radxa Rock 5B et Radxa Zero 3W.
Exporter vers RKNN : Conversion de votre modèle YOLO11
Exporter un modèle Ultralytics YOLO11 au format RKNN et exécuter l'inférence avec le modèle exporté.
Note
Veillez à utiliser un PC Linux basé sur X86 pour exporter le modèle vers RKNN, car l'exportation sur des appareils basés sur Rockchip (ARM64) n'est pas prise en charge.
Installation
Pour installer les paquets nécessaires, exécutez :
Pour des instructions détaillées et les meilleures pratiques liées au processus d'installation, consultez notre guide d'installationUltralytics . Lors de l'installation des paquets requis pour YOLO11, si vous rencontrez des difficultés, consultez notre guide des problèmes courants pour obtenir des solutions et des conseils.
Utilisation
Note
L'exportation n'est actuellement possible que pour les modèles de détection. D'autres modèles seront pris en charge à l'avenir.
Utilisation
Arguments d'exportation
Argument | Type | DĂ©faut | Description |
---|---|---|---|
format |
str |
rknn |
Format cible pour le modèle exporté, définissant la compatibilité avec divers environnements de déploiement. |
imgsz |
int ou tuple |
640 |
Taille de l'image souhaitée pour l'entrée du modèle. Il peut s'agir d'un entier pour les images carrées ou d'un tuple (height, width) pour les dimensions spécifiques. |
batch |
int |
1 |
Spécifie la taille du lot d'inférence du modèle exporté ou le nombre maximum d'images que le modèle exporté traitera simultanément en predict mode. |
name |
str |
rk3588 |
Spécifie le modèle de la puce Rockchip (rk3588, rk3576, rk3566, rk3568, rk3562, rv1103, rv1106, rv1103b, rv1106b, rk2118). |
Pour plus de détails sur le processus d'exportation, consultez la page de documentationUltralytics sur l'exportation.
Déploiement des modèles RKNN exportés YOLO11
Une fois que vous avez réussi à exporter vos modèles Ultralytics YOLO11 au format RKNN, l'étape suivante consiste à déployer ces modèles sur des appareils basés sur Rockchip.
Installation
Pour installer les paquets nécessaires, exécutez :
Utilisation
Utilisation
Note
Si vous rencontrez un message indiquant que la version du runtime RKNN ne correspond pas à la version du Toolkit RKNN et que l'inférence échoue, remplacez le message suivant /usr/lib/librknnrt.so
avec les autorités fichier librknnrt.so.
Critères de référence
YOLO11 Les tests de référence ci-dessous ont été effectués par l'équipe Ultralytics sur Radxa Rock 5B basé sur Rockchip RK3588 avec rknn
format de modèle vitesse de mesure et précision.
Modèle | Format | Statut | Taille (MB) | mAP50-95(B) | Temps d'inférence (ms/im) |
---|---|---|---|---|---|
YOLO11n | rknn |
âś… | 7.4 | 0.61 | 99.5 |
YOLO11s | rknn |
âś… | 20.7 | 0.741 | 122.3 |
YOLO11m | rknn |
âś… | 41.9 | 0.764 | 298.0 |
YOLO11l | rknn |
âś… | 53.3 | 0.72 | 319.6 |
YOLO11x | rknn |
âś… | 114.6 | 0.828 | 632.1 |
Note
La validation du benchmark ci-dessus a été effectuée à l'aide de l'ensemble de données coco8
Résumé
Dans ce guide, vous avez appris à exporter les modèles Ultralytics YOLO11 au format RKNN afin d'améliorer leur déploiement sur les plates-formes Rockchip. Vous avez également découvert la boîte à outils RKNN et les avantages spécifiques de l'utilisation des modèles RKNN pour les applications d'intelligence artificielle.
Pour plus de détails sur l'utilisation, consultez la documentation officielle de RKNN.
Par ailleurs, si vous souhaitez en savoir plus sur d'autres intégrations de Ultralytics YOLO11 , visitez notre page de guide d'intégration. Vous y trouverez de nombreuses ressources et informations utiles.
FAQ
Comment exporter mon modèle Ultralytics YOLO au format RKNN ?
Vous pouvez facilement exporter votre modèle Ultralytics YOLO au format RKNN à l'aide de la fonction export()
dans le paquet Ultralytics Python ou via l'interface de ligne de commande (CLI). Assurez-vous que vous utilisez un PC Linux basé sur x86 pour le processus d'exportation, car les dispositifs ARM64 tels que Rockchip ne sont pas pris en charge pour cette opération. Vous pouvez spécifier la plate-forme Rockchip cible à l'aide de l'option name
comme par exemple rk3588
, rk3566
ou autres. Ce processus génère un modèle RKNN optimisé prêt à être déployé sur votre appareil Rockchip, en tirant parti de son unité de traitement neuronal (NPU) pour une inférence accélérée.
Exemple
Quels sont les avantages de l'utilisation des modèles RKNN sur les appareils Rockchip ?
Les modèles RKNN sont spécifiquement conçus pour exploiter les capacités d'accélération matérielle des unités de traitement neuronal (NPU) de Rockchip. Cette optimisation se traduit par des vitesses d'inférence nettement plus rapides et une latence réduite par rapport à l'exécution de formats de modèles génériques tels que ONNX ou TensorFlow Lite sur le même matériel. L'utilisation de modèles RKNN permet une utilisation plus efficace des ressources de l'appareil, ce qui se traduit par une réduction de la consommation d'énergie et une amélioration des performances globales, ce qui est particulièrement important pour les applications en temps réel sur les appareils en périphérie. En convertissant vos modèles Ultralytics YOLO en modèles RKNN, vous pouvez obtenir des performances optimales sur les appareils équipés de SoC Rockchip tels que le RK3588, le RK3566 et d'autres.
Puis-je déployer des modèles RKNN sur des appareils d'autres fabricants tels que NVIDIA ou Google?
Les modèles RKNN sont spécifiquement optimisés pour les plates-formes Rockchip et leurs NPU intégrées. Bien que vous puissiez techniquement exécuter un modèle RKNN sur d'autres plateformes à l'aide d'une émulation logicielle, vous ne bénéficierez pas de l'accélération matérielle fournie par les appareils Rockchip. Pour des performances optimales sur d'autres plateformes, il est recommandé d'exporter vos modèles Ultralytics YOLO vers des formats spécifiquement conçus pour ces plateformes, tels que TensorRT pour NVIDIA GPU ou TensorFlow Lite pour Google's Edge TPU. Ultralytics prend en charge l'exportation vers une large gamme de formats, garantissant ainsi la compatibilité avec divers accélérateurs matériels.
Quelles sont les plates-formes Rockchip prises en charge pour le déploiement du modèle RKNN ?
L'exportation de Ultralytics YOLO vers le format RKNN prend en charge une large gamme de plates-formes Rockchip, y compris les populaires RK3588, RK3576, RK3566, RK3568, RK3562, RV1103, RV1106, RV1103B, RV1106B et RK2118. Ces plateformes sont généralement présentes dans les appareils de fabricants tels que Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas et Banana Pi. Cette prise en charge étendue garantit que vous pouvez déployer vos modèles RKNN optimisés sur divers dispositifs alimentés par Rockchip, des ordinateurs monocartes aux systèmes industriels, en tirant pleinement parti de leurs capacités d'accélération de l'IA pour améliorer les performances de vos applications de vision par ordinateur.
Comment les performances des modèles RKNN se comparent-elles à celles d'autres formats sur les appareils Rockchip ?
Les modèles RKNN sont généralement plus performants que d'autres formats tels que ONNX ou TensorFlow Lite sur les appareils Rockchip en raison de leur optimisation pour les NPU de Rockchip. Par exemple, des tests sur le Radxa Rock 5B (RK3588) montrent que YOLO11n au format RKNN atteint un temps d'inférence de 99,5 ms/image, ce qui est nettement plus rapide que les autres formats. Cet avantage en termes de performances est constant pour les différentes tailles de modèles YOLO11 , comme le montre la section sur les benchmarks. En exploitant le matériel NPU dédié, les modèles RKNN minimisent la latence et maximisent le débit, ce qui les rend idéaux pour les applications en temps réel sur les appareils périphériques basés sur Rockchip.