Exportation RKNN Rockchip pour les modèles Ultralytics YOLO26
Lors du déploiement de modèles de vision par ordinateur sur des appareils embarqués, en particulier ceux équipés de processeurs Rockchip, disposer d'un format de modèle compatible est essentiel. Exporter des modèles Ultralytics YOLO26 au format RKNN garantit des performances optimisées et une compatibilité avec le matériel Rockchip. Ce guide te montrera comment convertir tes modèles YOLO26 au format RKNN, permettant un déploiement efficace sur les plateformes Rockchip.
Ce guide a été testé avec la Radxa Rock 5B, basée sur le Rockchip RK3588, et la Radxa Zero 3W, basée sur le Rockchip RK3566. Il est prévu qu'il fonctionne sur d'autres appareils basés sur Rockchip qui prennent en charge rknn-toolkit2, tels que le RK3576, RK3568, RK3562, RK2118 et RV1126B. Les cibles qui ne prennent en charge que l'inférence INT8 (RV1103, RV1106, RV1103B, RV1106B) ne sont pas encore prises en charge, car l'exportation RKNN d'Ultralytics ne produit actuellement que des modèles FP16.
Qu'est-ce que Rockchip ?
Réputé pour proposer des solutions polyvalentes et économes en énergie, Rockchip conçoit des System-on-Chips (SoCs) avancés qui alimentent une large gamme d'électronique grand public, d'applications industrielles et de technologies d'IA. Avec une architecture basée sur ARM, des unités de traitement neuronal (NPU) intégrées et une prise en charge multimédia haute résolution, les SoCs Rockchip permettent des performances de pointe pour des appareils comme les tablettes, les téléviseurs intelligents, les systèmes IoT et les applications d'IA en périphérie (edge AI). Des entreprises comme Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas et Banana Pi proposent une variété de produits basés sur les SoCs Rockchip, étendant davantage leur portée et leur impact sur divers marchés.
RKNN Toolkit
Le RKNN Toolkit est un ensemble d'outils et de bibliothèques fournis par Rockchip pour faciliter le déploiement de modèles d'apprentissage profond sur leurs plateformes matérielles. RKNN, ou Rockchip Neural Network, est le format propriétaire utilisé par ces outils. Les modèles RKNN sont conçus pour tirer pleinement parti de l'accélération matérielle fournie par le NPU (Neural Processing Unit) de Rockchip, garantissant des performances élevées dans les tâches d'IA sur des appareils comme les RK3588, RK3566, RV1103, RV1106 et d'autres systèmes alimentés par Rockchip.
Fonctionnalités clés des modèles RKNN
Les modèles RKNN offrent plusieurs avantages pour le déploiement sur les plateformes Rockchip :
- Optimisé pour le NPU : Les modèles RKNN sont spécifiquement optimisés pour fonctionner sur les NPU de Rockchip, garantissant des performances et une efficacité maximales.
- Faible latence : Le format RKNN minimise la latence d'inférence, ce qui est essentiel pour les applications en temps réel sur les appareils en périphérie.
- Personnalisation spécifique à la plateforme : Les modèles RKNN peuvent être adaptés à des plateformes Rockchip spécifiques, permettant une meilleure utilisation des ressources matérielles.
- Efficacité énergétique : En exploitant le matériel NPU dédié, les modèles RKNN consomment moins d'énergie que le traitement basé sur CPU ou GPU, prolongeant ainsi la durée de vie de la batterie pour les appareils portables.
Flasher le système d'exploitation sur le matériel Rockchip
La première étape après avoir récupéré ton appareil basé sur Rockchip est de flasher un système d'exploitation afin que le matériel puisse démarrer dans un environnement fonctionnel. Dans ce guide, nous indiquerons les guides de démarrage des deux appareils que nous avons testés, à savoir la Radxa Rock 5B et la Radxa Zero 3W.
Exporter vers RKNN : Conversion de ton modèle YOLO26
Exporte un modèle Ultralytics YOLO26 au format RKNN et exécute l'inférence avec le modèle exporté.
Assure-toi d'utiliser un PC Linux basé sur X86 pour exporter le modèle vers RKNN, car l'exportation sur des appareils basés sur Rockchip (ARM64) n'est pas prise en charge.
Installation
Pour installer les packages requis, exécute :
!!! Tip "Installation"
# Install the required package for YOLO26
pip install ultralyticsPour des instructions détaillées et les meilleures pratiques liées au processus d'installation, consulte notre guide d'installation d'Ultralytics. Pendant l'installation des paquets requis pour YOLO26, si tu rencontres des difficultés, consulte notre guide des problèmes courants pour des solutions et astuces.
Utilisation
L'exportation n'est actuellement prise en charge que pour les modèles de détection. Davantage de modèles seront pris en charge à l'avenir.
from ultralytics import YOLO
# Load the YOLO26 model
model = YOLO("yolo26n.pt")
# Export the model to RKNN format
# 'name' can be one of rk3588, rk3576, rk3566, rk3568, rk3562, rk2118, rv1126b (FP16). INT8-only targets rv1103, rv1106, rv1103b, rv1106b are not yet supported.
model.export(format="rknn", name="rk3588") # creates '/yolo26n_rknn_model'Arguments d'exportation
| Argument | Type | Défaut | Description |
|---|---|---|---|
format | str | 'rknn' | Format cible pour le modèle exporté, définissant la compatibilité avec divers environnements de déploiement. |
imgsz | int ou tuple | 640 | Taille d'image souhaitée pour l'entrée du modèle. Peut être un entier pour des images carrées ou un tuple (height, width) pour des dimensions spécifiques. |
batch | int | 1 | Spécifie la taille d'inférence par lot du modèle exporté ou le nombre maximal d'images que le modèle traitera simultanément en mode predict. |
name | str | 'rk3588' | Spécifie la cible Rockchip. Prise en charge FP16 : rk3588, rk3576, rk3566, rk3568, rk3562, rk2118, rv1126b. Les cibles INT8 uniquement (rv1103, rv1106, rv1103b, rv1106b) ne sont pas encore prises en charge. |
device | str | None | Spécifie l'appareil pour l'exportation : GPU (device=0), CPU (device=cpu). |
Assure-toi d'utiliser une machine Linux x86 lors de l'exportation vers RKNN.
Pour plus de détails sur le processus d'exportation, visite la page de documentation Ultralytics sur l'exportation.
Déploiement des modèles YOLO26 RKNN exportés
Une fois que tu as exporté avec succès tes modèles Ultralytics YOLO26 au format RKNN, l'étape suivante consiste à déployer ces modèles sur des appareils basés sur Rockchip.
Installation
Pour installer les packages requis, exécute :
!!! Tip "Installation"
# Install the required package for YOLO26
pip install ultralyticsUtilisation
from ultralytics import YOLO
# Load the exported RKNN model
rknn_model = YOLO("./yolo26n_rknn_model")
# Run inference
results = rknn_model("https://ultralytics.com/images/bus.jpg")Si tu rencontres un message de journal indiquant que la version du runtime RKNN ne correspond pas à la version du RKNN Toolkit et que l'inférence échoue, remplace /usr/lib/librknnrt.so par le fichier librknnrt.so officiel.
Applications concrètes
Les appareils alimentés par Rockchip avec des modèles YOLO26 RKNN peuvent être utilisés dans diverses applications :
- Surveillance intelligente : Déploie des systèmes de détection d'objets efficaces pour la surveillance de la sécurité avec une faible consommation d'énergie.
- Automatisation industrielle : Implémente le contrôle qualité et la détection des défauts directement sur les appareils embarqués.
- Analyse de vente au détail : Suis le comportement des clients et la gestion des stocks en temps réel sans dépendance au cloud.
- Agriculture intelligente : Surveille la santé des cultures et détecte les parasites à l'aide de la vision par ordinateur dans l'agriculture.
- Robotique autonome : Active la navigation basée sur la vision et la détection d'obstacles sur des plateformes aux ressources limitées.
Benchmarks
Les benchmarks YOLO26 ci-dessous ont été exécutés par l'équipe Ultralytics sur la Radxa Rock 5B basée sur le Rockchip RK3588 avec le format de modèle rknn en mesurant la vitesse et la précision.
| Modèle | Format | Statut | Taille (Mo) | mAP50-95(B) | Temps d'inférence (ms/im) |
|---|---|---|---|---|---|
| YOLO26n | rknn | ✅ | 7.1 | 0.479 | 65.7 |
| YOLO26s | rknn | ✅ | 20.9 | 0.571 | 99.2 |
| YOLO26m | rknn | ✅ | 42.5 | 0.610 | 235.3 |
| YOLO26l | rknn | ✅ | 52.1 | 0.630 | 280.5 |
| YOLO26x | rknn | ✅ | 112.2 | 0.666 | 669.1 |
Benchmarké avec ultralytics 8.4.23
La validation pour les benchmarks ci-dessus a été effectuée à l'aide du jeu de données COCO128. Le temps d'inférence n'inclut pas le pré/post-traitement.
Résumé
Dans ce guide, tu as appris comment exporter des modèles Ultralytics YOLO26 au format RKNN pour améliorer leur déploiement sur les plateformes Rockchip. Tu as également été initié au RKNN Toolkit et aux avantages spécifiques de l'utilisation de modèles RKNN pour les applications d'IA en périphérie.
La combinaison d'Ultralytics YOLO26 et de la technologie NPU de Rockchip fournit une solution efficace pour exécuter des tâches avancées de vision par ordinateur sur des appareils embarqués. Cette approche permet la détection d'objets en temps réel et d'autres applications d'IA visuelle avec une consommation d'énergie minimale et des performances élevées.
Pour plus de détails sur l'utilisation, visite la documentation officielle RKNN.
De plus, si tu souhaites en savoir plus sur d'autres intégrations d'Ultralytics YOLO26, visite notre page de guide d'intégration. Tu y trouveras de nombreuses ressources et perspectives utiles.
FAQ
Comment exporter mon modèle Ultralytics YOLO au format RKNN ?
Tu peux facilement exporter ton modèle Ultralytics YOLO au format RKNN en utilisant la méthode export() dans le package Python Ultralytics ou via l'interface de ligne de commande (CLI). Assure-toi d'utiliser un PC Linux basé sur x86 pour le processus d'exportation, car les appareils ARM64 comme Rockchip ne sont pas pris en charge pour cette opération. Tu peux spécifier la plateforme Rockchip cible en utilisant l'argument name, tel que rk3588, rk3566, ou d'autres. Ce processus génère un modèle RKNN optimisé prêt pour le déploiement sur ton appareil Rockchip, en tirant parti de son unité de traitement neuronal (NPU) pour une inférence accélérée.
from ultralytics import YOLO
# Load your YOLO model
model = YOLO("yolo26n.pt")
# Export to RKNN format for a specific Rockchip platform
model.export(format="rknn", name="rk3588")Quels sont les avantages de l'utilisation de modèles RKNN sur les appareils Rockchip ?
Les modèles RKNN sont spécifiquement conçus pour tirer parti des capacités d'accélération matérielle des unités de traitement neuronal (NPU) de Rockchip. Cette optimisation se traduit par des vitesses d'inférence nettement plus rapides et une latence réduite par rapport à l'exécution de formats de modèles génériques comme ONNX ou TensorFlow Lite sur le même matériel. L'utilisation de modèles RKNN permet une utilisation plus efficace des ressources de l'appareil, ce qui entraîne une consommation d'énergie plus faible et de meilleures performances globales, particulièrement critiques pour les applications en temps réel sur les appareils en périphérie. En convertissant tes modèles Ultralytics YOLO en RKNN, tu peux atteindre des performances optimales sur des appareils alimentés par des SoCs Rockchip comme les RK3588, RK3566 et autres.
Puis-je déployer des modèles RKNN sur des appareils d'autres fabricants comme NVIDIA ou Google ?
Les modèles RKNN sont spécifiquement optimisés pour les plateformes Rockchip et leurs NPU intégrés. Bien que tu puisses techniquement exécuter un modèle RKNN sur d'autres plateformes en utilisant l'émulation logicielle, tu ne bénéficieras pas de l'accélération matérielle fournie par les appareils Rockchip. Pour des performances optimales sur d'autres plateformes, il est recommandé d'exporter tes modèles Ultralytics YOLO vers des formats spécifiquement conçus pour ces plateformes, tels que TensorRT pour les GPU NVIDIA ou TensorFlow Lite pour l'Edge TPU de Google. Ultralytics prend en charge l'exportation vers une large gamme de formats, garantissant la compatibilité avec divers accélérateurs matériels.
Quelles plateformes Rockchip sont prises en charge pour le déploiement de modèles RKNN ?
L'exportation Ultralytics YOLO vers le format RKNN prend actuellement en charge les plateformes Rockchip avec inférence FP16 : RK3588, RK3576, RK3566, RK3568, RK3562, RK2118 et RV1126B. Les cibles INT8 uniquement (RV1103, RV1106, RV1103B, RV1106B) ne sont pas encore prises en charge car leurs NPU nécessitent une quantification, ce qui est sur la feuille de route. Ces plateformes se trouvent couramment dans des appareils de fabricants comme Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas et Banana Pi, te permettant de déployer tes modèles RKNN optimisés sur une gamme d'appareils alimentés par Rockchip, des ordinateurs monocartes aux systèmes industriels.
Comment les performances des modèles RKNN se comparent-elles à d'autres formats sur les appareils Rockchip ?
Les modèles RKNN surpassent généralement d'autres formats comme ONNX ou TensorFlow Lite sur les appareils Rockchip grâce à leur optimisation pour les NPU de Rockchip. Par exemple, les benchmarks sur la Radxa Rock 5B (RK3588) montrent que YOLO26n au format RKNN atteint un temps d'inférence de 99,5 ms/image, nettement plus rapide que d'autres formats. Cet avantage en termes de performances est cohérent avec les différentes tailles de modèles YOLO26, comme démontré dans la section benchmarks. En exploitant le matériel NPU dédié, les modèles RKNN minimisent la latence et maximisent le débit, ce qui les rend idéaux pour les applications en temps réel sur les appareils en périphérie basés sur Rockchip.