RKNN-Export fĂŒr Ultralytics YOLO11 Modelle
Beim Einsatz von Computer-Vision-Modellen auf eingebetteten GerĂ€ten, insbesondere auf solchen mit Rockchip-Prozessoren, ist ein kompatibles Modellformat unerlĂ€sslich. Der Export von Ultralytics YOLO11 Modelle in das RKNN-Format gewĂ€hrleistet eine optimierte Leistung und KompatibilitĂ€t mit der Hardware von Rockchip. Dieser Leitfaden fĂŒhrt Sie durch die Konvertierung Ihrer YOLO11 Modelle in das RKNN-Format und ermöglicht so einen effizienten Einsatz auf Rockchip-Plattformen.
Hinweis
Diese Anleitung wurde mit Radxa Rock 5B, das auf Rockchip RK3588 basiert, und Radxa Zero 3W, das auf Rockchip RK3566 basiert, getestet. Es wird erwartet, dass sie auch mit anderen Rockchip-basierten GerĂ€ten funktioniert, die rknn-toolkit2 unterstĂŒtzen, wie RK3576, RK3568, RK3562, RV1103, RV1106, RV1103B, RV1106B und RK2118.
Was ist Rockchip?
Rockchip ist bekannt fĂŒr seine vielseitigen und energieeffizienten Lösungen und entwickelt fortschrittliche System-on-Chips (SoCs), die eine breite Palette von Unterhaltungselektronik, Industrieanwendungen und KI-Technologien unterstĂŒtzen. Mit ARM-basierter Architektur, eingebauten Neural Processing Units (NPUs) und hochauflösender Multimedia-UnterstĂŒtzung ermöglichen SoCs von Rockchip Spitzenleistungen fĂŒr GerĂ€te wie Tablets, Smart-TVs, IoT-Systeme und Edge-KI-Anwendungen. Unternehmen wie Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas und Banana Pi bieten eine Vielzahl von Produkten an, die auf Rockchip-SoCs basieren, und erweitern damit ihre Reichweite und ihren Einfluss auf verschiedene MĂ€rkte.
RKNN-Werkzeugsatz
Das RKNN-Toolkit ist eine Reihe von Tools und Bibliotheken, die von Rockchip bereitgestellt werden, um den Einsatz von Deep-Learning-Modellen auf ihren Hardware-Plattformen zu erleichtern. RKNN, oder Rockchip Neural Network, ist das proprietÀre Format, das von diesen Tools verwendet wird. RKNN-Modelle sind so konzipiert, dass sie die von der NPU (Neural Processing Unit) von Rockchip gebotene Hardware-Beschleunigung in vollem Umfang nutzen und eine hohe Leistung bei KI-Aufgaben auf GerÀten wie RK3588, RK3566, RV1103, RV1106 und anderen Rockchip-Systemen gewÀhrleisten.
Hauptmerkmale von RKNN-Modellen
RKNN-Modelle bieten mehrere Vorteile fĂŒr den Einsatz auf Rockchip-Plattformen:
- Optimiert fĂŒr NPU: RKNN-Modelle sind speziell fĂŒr den Betrieb auf den NPUs von Rockchip optimiert und gewĂ€hrleisten maximale Leistung und Effizienz.
- Geringe Latenz: Das RKNN-Format minimiert die Inferenzlatenz, was fĂŒr Echtzeitanwendungen auf Edge-GerĂ€ten entscheidend ist.
- Plattformspezifische Anpassung: RKNN-Modelle können auf bestimmte Rockchip-Plattformen zugeschnitten werden, was eine bessere Nutzung der Hardware-Ressourcen ermöglicht.
Flash OS auf Rockchip-Hardware
Der erste Schritt, nachdem man ein Rockchip-basiertes GerÀt in die HÀnde bekommen hat, ist das Flashen eines Betriebssystems, damit die Hardware in eine Arbeitsumgebung booten kann. In dieser Anleitung werden wir auf die Startanleitungen der beiden von uns getesteten GerÀte Radxa Rock 5B und Radxa Zero 3W hinweisen.
Nach RKNN exportieren: Konvertierung Ihres YOLO11 Modells
Exportieren Sie ein Ultralytics YOLO11 Modell in das RKNN-Format und fĂŒhren Sie die Inferenz mit dem exportierten Modell durch.
Hinweis
Stellen Sie sicher, dass Sie einen X86-basierten Linux-PC verwenden, um das Modell nach RKNN zu exportieren, da der Export auf Rockchip-basierten GerĂ€ten (ARM64) nicht unterstĂŒtzt wird.
Einrichtung
Um die erforderlichen Pakete zu installieren, fĂŒhren Sie aus:
Detaillierte Anweisungen und bewĂ€hrte Verfahren fĂŒr den Installationsprozess finden Sie in unserem Ultralytics Installationshandbuch. Wenn Sie bei der Installation der erforderlichen Pakete fĂŒr YOLO11 auf Schwierigkeiten stoĂen, finden Sie in unserem Leitfaden fĂŒr hĂ€ufige Probleme Lösungen und Tipps.
Verwendung
Hinweis
Der Export wird derzeit nur fĂŒr Erkennungsmodelle unterstĂŒtzt. Weitere Modelle werden in Zukunft unterstĂŒtzt.
Verwendung
from ultralytics import YOLO
# Load the YOLO11 model
model = YOLO("yolo11n.pt")
# Export the model to RKNN format
# Here name can be one of rk3588, rk3576, rk3566, rk3568, rk3562, rv1103, rv1106, rv1103b, rv1106b, rk2118
model.export(format="rknn", args={"name": "rk3588"}) # creates '/yolo11n_rknn_model'
Weitere Einzelheiten zum Exportvorgang finden Sie auf der Dokumentationsseite zum Exportieren unterUltralytics .
Einsatz von exportierten YOLO11 RKNN-Modellen
Sobald Sie Ihre Ultralytics YOLO11 Modelle erfolgreich in das RKNN-Format exportiert haben, besteht der nÀchste Schritt darin, diese Modelle auf Rockchip-basierten GerÀten einzusetzen.
Einrichtung
Um die erforderlichen Pakete zu installieren, fĂŒhren Sie aus:
Verwendung
Verwendung
Benchmarks
YOLO11 Die folgenden Benchmarks wurden vom Ultralytics Team auf dem Radxa Rock 5B basierend auf dem Rockchip RK3588 mit rknn
Modellformat zur Messung von Geschwindigkeit und Genauigkeit.
Modell | Format | Status | GröĂe (MB) | mAP50-95(B) | Inferenzzeit (ms/im) |
---|---|---|---|---|---|
YOLO11n | rknn | â | 7.4 | 0.61 | 99.5 |
YOLO11s | rknn | â | 20.7 | 0.741 | 122.3 |
YOLO11m | rknn | â | 41.9 | 0.764 | 298.0 |
YOLO11l | rknn | â | 53.3 | 0.72 | 319.6 |
YOLO11x | rknn | â | 114.6 | 0.828 | 632.1 |
Hinweis
Die Validierung des obigen Benchmarks wurde mit dem coco8-Datensatz durchgefĂŒhrt
Zusammenfassung
In diesem Leitfaden haben Sie gelernt, wie Sie Ultralytics YOLO11 Modelle in das RKNN-Format exportieren, um deren Einsatz auf Rockchip-Plattformen zu verbessern. AuĂerdem wurden Sie mit dem RKNN-Toolkit und den spezifischen Vorteilen der Verwendung von RKNN-Modellen fĂŒr Edge AI-Anwendungen vertraut gemacht.
Weitere Einzelheiten zur Verwendung finden Sie in der offiziellen RKNN-Dokumentation.
Wenn Sie mehr ĂŒber andere Ultralytics YOLO11 Integrationen erfahren möchten, besuchen Sie unseren Integrationsleitfaden. Dort finden Sie viele nĂŒtzliche Ressourcen und Einblicke.