Zum Inhalt springen

RKNN-Export fĂŒr Ultralytics YOLO11 Modelle

Beim Einsatz von Computer-Vision-Modellen auf eingebetteten GerĂ€ten, insbesondere auf solchen mit Rockchip-Prozessoren, ist ein kompatibles Modellformat unerlĂ€sslich. Der Export von Ultralytics YOLO11 Modelle in das RKNN-Format gewĂ€hrleistet eine optimierte Leistung und KompatibilitĂ€t mit der Hardware von Rockchip. Dieser Leitfaden fĂŒhrt Sie durch die Konvertierung Ihrer YOLO11 Modelle in das RKNN-Format und ermöglicht so einen effizienten Einsatz auf Rockchip-Plattformen.

Hinweis

Diese Anleitung wurde mit Radxa Rock 5B, das auf Rockchip RK3588 basiert, und Radxa Zero 3W, das auf Rockchip RK3566 basiert, getestet. Es wird erwartet, dass sie auch mit anderen Rockchip-basierten GerĂ€ten funktioniert, die rknn-toolkit2 unterstĂŒtzen, wie RK3576, RK3568, RK3562, RV1103, RV1106, RV1103B, RV1106B und RK2118.

RKNN

Was ist Rockchip?

Rockchip ist bekannt fĂŒr seine vielseitigen und energieeffizienten Lösungen und entwickelt fortschrittliche System-on-Chips (SoCs), die eine breite Palette von Unterhaltungselektronik, Industrieanwendungen und KI-Technologien unterstĂŒtzen. Mit ARM-basierter Architektur, eingebauten Neural Processing Units (NPUs) und hochauflösender Multimedia-UnterstĂŒtzung ermöglichen SoCs von Rockchip Spitzenleistungen fĂŒr GerĂ€te wie Tablets, Smart-TVs, IoT-Systeme und Edge-KI-Anwendungen. Unternehmen wie Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas und Banana Pi bieten eine Vielzahl von Produkten an, die auf Rockchip-SoCs basieren, und erweitern damit ihre Reichweite und ihren Einfluss auf verschiedene MĂ€rkte.

RKNN-Werkzeugsatz

Das RKNN-Toolkit ist eine Reihe von Tools und Bibliotheken, die von Rockchip bereitgestellt werden, um den Einsatz von Deep-Learning-Modellen auf ihren Hardware-Plattformen zu erleichtern. RKNN, oder Rockchip Neural Network, ist das proprietÀre Format, das von diesen Tools verwendet wird. RKNN-Modelle sind so konzipiert, dass sie die von der NPU (Neural Processing Unit) von Rockchip gebotene Hardware-Beschleunigung in vollem Umfang nutzen und eine hohe Leistung bei KI-Aufgaben auf GerÀten wie RK3588, RK3566, RV1103, RV1106 und anderen Rockchip-Systemen gewÀhrleisten.

Hauptmerkmale von RKNN-Modellen

RKNN-Modelle bieten mehrere Vorteile fĂŒr den Einsatz auf Rockchip-Plattformen:

  • Optimiert fĂŒr NPU: RKNN-Modelle sind speziell fĂŒr den Betrieb auf den NPUs von Rockchip optimiert und gewĂ€hrleisten maximale Leistung und Effizienz.
  • Geringe Latenz: Das RKNN-Format minimiert die Inferenzlatenz, was fĂŒr Echtzeitanwendungen auf Edge-GerĂ€ten entscheidend ist.
  • Plattformspezifische Anpassung: RKNN-Modelle können auf bestimmte Rockchip-Plattformen zugeschnitten werden, was eine bessere Nutzung der Hardware-Ressourcen ermöglicht.

Flash OS auf Rockchip-Hardware

Der erste Schritt, nachdem man ein Rockchip-basiertes GerÀt in die HÀnde bekommen hat, ist das Flashen eines Betriebssystems, damit die Hardware in eine Arbeitsumgebung booten kann. In dieser Anleitung werden wir auf die Startanleitungen der beiden von uns getesteten GerÀte Radxa Rock 5B und Radxa Zero 3W hinweisen.

Nach RKNN exportieren: Konvertierung Ihres YOLO11 Modells

Exportieren Sie ein Ultralytics YOLO11 Modell in das RKNN-Format und fĂŒhren Sie die Inferenz mit dem exportierten Modell durch.

Hinweis

Stellen Sie sicher, dass Sie einen X86-basierten Linux-PC verwenden, um das Modell nach RKNN zu exportieren, da der Export auf Rockchip-basierten GerĂ€ten (ARM64) nicht unterstĂŒtzt wird.

Einrichtung

Um die erforderlichen Pakete zu installieren, fĂŒhren Sie aus:

Einrichtung

# Install the required package for YOLO11
pip install ultralytics

Detaillierte Anweisungen und bewĂ€hrte Verfahren fĂŒr den Installationsprozess finden Sie in unserem Ultralytics Installationshandbuch. Wenn Sie bei der Installation der erforderlichen Pakete fĂŒr YOLO11 auf Schwierigkeiten stoßen, finden Sie in unserem Leitfaden fĂŒr hĂ€ufige Probleme Lösungen und Tipps.

Verwendung

Hinweis

Der Export wird derzeit nur fĂŒr Erkennungsmodelle unterstĂŒtzt. Weitere Modelle werden in Zukunft unterstĂŒtzt.

Verwendung

from ultralytics import YOLO

# Load the YOLO11 model
model = YOLO("yolo11n.pt")

# Export the model to RKNN format
# Here name can be one of rk3588, rk3576, rk3566, rk3568, rk3562, rv1103, rv1106, rv1103b, rv1106b, rk2118
model.export(format="rknn", args={"name": "rk3588"})  # creates '/yolo11n_rknn_model'
# Export a YOLO11n PyTorch model to RKNN format
# Here name can be one of rk3588, rk3576, rk3566, rk3568, rk3562, rv1103, rv1106, rv1103b, rv1106b, rk2118
yolo export model=yolo11n.pt format=rknn name=rk3588  # creates '/yolo11n_rknn_model'

Weitere Einzelheiten zum Exportvorgang finden Sie auf der Dokumentationsseite zum Exportieren unterUltralytics .

Einsatz von exportierten YOLO11 RKNN-Modellen

Sobald Sie Ihre Ultralytics YOLO11 Modelle erfolgreich in das RKNN-Format exportiert haben, besteht der nÀchste Schritt darin, diese Modelle auf Rockchip-basierten GerÀten einzusetzen.

Einrichtung

Um die erforderlichen Pakete zu installieren, fĂŒhren Sie aus:

Einrichtung

# Install the required package for YOLO11
pip install ultralytics

Verwendung

Verwendung

from ultralytics import YOLO

# Load the exported RKNN model
rknn_model = YOLO("./yolo11n_rknn_model")

# Run inference
results = rknn_model("https://ultralytics.com/images/bus.jpg")
# Run inference with the exported model
yolo predict model='./yolo11n_rknn_model' source='https://ultralytics.com/images/bus.jpg'

Benchmarks

YOLO11 Die folgenden Benchmarks wurden vom Ultralytics Team auf dem Radxa Rock 5B basierend auf dem Rockchip RK3588 mit rknn Modellformat zur Messung von Geschwindigkeit und Genauigkeit.

Modell Format Status GrĂ¶ĂŸe (MB) mAP50-95(B) Inferenzzeit (ms/im)
YOLO11n rknn ✅ 7.4 0.61 99.5
YOLO11s rknn ✅ 20.7 0.741 122.3
YOLO11m rknn ✅ 41.9 0.764 298.0
YOLO11l rknn ✅ 53.3 0.72 319.6
YOLO11x rknn ✅ 114.6 0.828 632.1

Hinweis

Die Validierung des obigen Benchmarks wurde mit dem coco8-Datensatz durchgefĂŒhrt

Zusammenfassung

In diesem Leitfaden haben Sie gelernt, wie Sie Ultralytics YOLO11 Modelle in das RKNN-Format exportieren, um deren Einsatz auf Rockchip-Plattformen zu verbessern. Außerdem wurden Sie mit dem RKNN-Toolkit und den spezifischen Vorteilen der Verwendung von RKNN-Modellen fĂŒr Edge AI-Anwendungen vertraut gemacht.

Weitere Einzelheiten zur Verwendung finden Sie in der offiziellen RKNN-Dokumentation.

Wenn Sie mehr ĂŒber andere Ultralytics YOLO11 Integrationen erfahren möchten, besuchen Sie unseren Integrationsleitfaden. Dort finden Sie viele nĂŒtzliche Ressourcen und Einblicke.

📅 Erstellt vor 0 Tagen ✏ Aktualisiert vor 0 Tagen

Kommentare