Wie man von YOLOv8 nach NCNN exportiert, um eine reibungslose Verteilung zu erreichen

Der Einsatz von Computer-Vision-Modellen auf Geräten mit begrenzter Rechenleistung, wie z. B. mobilen oder eingebetteten Systemen, kann schwierig sein. Du musst sicherstellen, dass du ein Format verwendest, das für optimale Leistung optimiert ist. So wird sichergestellt, dass auch Geräte mit begrenzter Rechenleistung fortgeschrittene Computer Vision Aufgaben gut bewältigen können.

Die Funktion zum Export in das Format NCNN ermöglicht es dir, deine Ultralytics YOLOv8 Modelle für leichtgewichtige gerätebasierte Anwendungen zu optimieren. In diesem Leitfaden zeigen wir dir, wie du deine Modelle in das Format NCNN konvertierst, damit sie auf verschiedenen mobilen und eingebetteten Geräten gut funktionieren.

Warum solltest du auf NCNN exportieren?

Das NCNN Framework, das von Tencent entwickelt wurde, ist ein hochleistungsfähiges Framework für neuronale Netzwerke, das speziell für mobile Plattformen wie Mobiltelefone, eingebettete Geräte und IoT-Geräte optimiert wurde. NCNN ist mit einer Vielzahl von Plattformen kompatibel, darunter Linux, Android, iOS und macOS.

NCNN ist für seine hohe Verarbeitungsgeschwindigkeit auf mobilen CPUs bekannt und ermöglicht eine schnelle Bereitstellung von Deep-Learning-Modellen auf mobilen Plattformen. Das macht es einfacher, intelligente Apps zu entwickeln und die Macht der KI direkt in deine Hände zu legen.

Die wichtigsten Merkmale der NCNN Modelle

NCNN Modelle bieten eine breite Palette an wichtigen Funktionen, die maschinelles Lernen auf Geräten ermöglichen, indem sie Entwicklern helfen, ihre Modelle auf mobilen, eingebetteten und Edge-Geräten auszuführen:

• Effizient und leistungsfähig: Die Modelle von NCNN sind effizient und leichtgewichtig und für den Betrieb auf mobilen und eingebetteten Geräten wie dem Raspberry Pi mit begrenzten Ressourcen optimiert. Außerdem können sie bei verschiedenen Bildverarbeitungsaufgaben eine hohe Leistung mit hoher Genauigkeit erzielen.

• Quantisierung: NCNN Modelle unterstützen oft die Quantisierung, eine Technik, die die Genauigkeit der Gewichte und Aktivierungen des Modells reduziert. Dies führt zu weiteren Leistungsverbesserungen und reduziert den Speicherbedarf.

• Kompatibilität: Die Modelle von NCNN sind kompatibel mit gängigen Deep-Learning-Frameworks wie TensorFlowCaffe, und ONNX. Diese Kompatibilität ermöglicht es Entwicklern, bestehende Modelle und Arbeitsabläufe einfach zu nutzen.

• Einfache Nutzung: Die Modelle von NCNN lassen sich dank ihrer Kompatibilität mit gängigen Deep-Learning-Frameworks leicht in verschiedene Anwendungen integrieren. Darüber hinaus bietet NCNN benutzerfreundliche Tools für die Konvertierung von Modellen zwischen verschiedenen Formaten, um eine reibungslose Interoperabilität in der gesamten Entwicklungslandschaft zu gewährleisten.

Einsatzoptionen mit NCNN

Bevor wir uns den Code für den Export ansehen YOLOv8 Modelle bis hin zu den NCNN -Format zu verstehen, wie NCNN normalerweise werden Modelle verwendet.

NCNN Modelle, die auf Effizienz und Leistung ausgelegt sind, sind mit einer Vielzahl von Einsatzplattformen kompatibel:

• Mobiler Einsatz: Speziell optimiert für Android und iOS, ermöglicht die nahtlose Integration in mobile Anwendungen für effiziente Inferenzen auf dem Gerät.

• Eingebettete Systeme und IoT-Geräte: Wenn du feststellst, dass die Inferenz auf einem Raspberry Pi mit dem Ultralytics Guide nicht schnell genug ist, kannst du zu einem NCNN exportierten Modell wechseln, um die Dinge zu beschleunigen. NCNN eignet sich hervorragend für Geräte wie den Raspberry Pi und NVIDIA Jetson, vor allem in Situationen, in denen du eine schnelle Verarbeitung direkt auf dem Gerät brauchst.

• Desktop- und Server-Einsatz: Kann in Desktop- und Serverumgebungen unter Linux, Windows und macOS eingesetzt werden und unterstützt Entwicklung, Schulung und Evaluierung mit höheren Rechenkapazitäten.

Exportieren nach NCNN: Konvertiere dein YOLOv8 Modell

Du kannst die Modellkompatibilität und die Einsatzflexibilität erweitern, indem du die Modelle von YOLOv8 in das Format NCNN konvertierst.

Installation

Um die benötigten Pakete zu installieren, führe sie aus:

# Install the required package for YOLOv8
pip install ultralytics

Ausführliche Anweisungen und bewährte Verfahren für den Installationsprozess findest du in unserem Ultralytics Installationsleitfaden. Wenn du bei der Installation der erforderlichen Pakete für YOLOv8 auf Schwierigkeiten stößt, findest du in unserem Leitfaden für häufige Probleme Lösungen und Tipps.

Verwendung

Bevor du dich mit den Nutzungshinweisen beschäftigst, solltest du wissen, dass alle Modelle vonUltralytics YOLOv8 exportiert werden können. Hier kannst du sicherstellen, dass das von dir ausgewählte Modell die Exportfunktion unterstützt.

from ultralytics import YOLO

# Load the YOLOv8 model
model = YOLO("yolov8n.pt")

# Export the model to NCNN format
model.export(format="ncnn")  # creates '/yolov8n_ncnn_model'

# Load the exported NCNN model
ncnn_model = YOLO("./yolov8n_ncnn_model")

# Run inference
results = ncnn_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLOv8n PyTorch model to NCNN format
yolo export model=yolov8n.pt format=ncnn  # creates '/yolov8n_ncnn_model'

# Run inference with the exported model
yolo predict model='./yolov8n_ncnn_model' source='https://ultralytics.com/images/bus.jpg'

Weitere Details zu den unterstützten Exportoptionen findest du auf der Ultralytics Dokumentationsseite zu den Bereitstellungsoptionen.

Einsatz von exportierten YOLOv8 NCNN Modellen

Nachdem du deine Ultralytics YOLOv8 Modelle erfolgreich in das NCNN Format exportiert hast, kannst du sie nun einsetzen. Der wichtigste und empfohlene erste Schritt zum Ausführen eines NCNN Modells ist die Verwendung der Methode YOLO("./model_ncnn_model"), wie im vorherigen Codeausschnitt beschrieben. Ausführliche Anleitungen für den Einsatz deiner NCNN Modelle in verschiedenen anderen Situationen findest du in den folgenden Ressourcen:

• Android: In diesem Blog wird erklärt, wie man NCNN Modelle für Aufgaben wie die Objekterkennung durch Android Anwendungen verwendet.

• macOS: Verstehe, wie du NCNN Modelle für die Durchführung von Aufgaben unter macOS nutzen kannst.

• Linux: Auf dieser Seite erfährst du, wie du NCNN Modelle auf Geräten mit begrenzten Ressourcen wie dem Raspberry Pi und anderen ähnlichen Geräten einsetzen kannst.

• Windows x64 mit VS2017: In diesem Blog erfährst du, wie du NCNN Modelle unter Windows x64 mit Visual Studio Community 2017 einsetzen kannst.

Zusammenfassung

In diesem Leitfaden haben wir uns mit dem Export von Ultralytics YOLOv8 Modellen in das NCNN Format beschäftigt. Dieser Konvertierungsschritt ist wichtig, um die Effizienz und Geschwindigkeit der YOLOv8 Modelle zu verbessern und sie effektiver und für Computerumgebungen mit begrenzten Ressourcen geeignet zu machen.

Ausführliche Anweisungen zur Verwendung findest du in der offiziellen Dokumentation NCNN .

Wenn du dich auch für andere Integrationsmöglichkeiten für Ultralytics YOLOv8 interessierst, solltest du unseren Integrationsleitfaden besuchen, um weitere Einblicke und Informationen zu erhalten.

FAQ

Wie exportiere ich Ultralytics YOLOv8 Modelle in das Format NCNN ?

Um dein Modell Ultralytics YOLOv8 in das Format NCNN zu exportieren, befolge diese Schritte:

• Python: Verwenden Sie die export Funktion aus der Klasse YOLO .

  from ultralytics import YOLO
  
  # Load the YOLOv8 model
  model = YOLO("yolov8n.pt")
  
  # Export to NCNN format
  model.export(format="ncnn")  # creates '/yolov8n_ncnn_model'
  

• CLI: Verwenden Sie die yolo Befehl mit dem export Argument.

  yolo export model=yolov8n.pt format=ncnn  # creates '/yolov8n_ncnn_model'
  

Ausführliche Informationen zu den Exportoptionen findest du auf der Seite Export in der Dokumentation.

Was sind die Vorteile des Exports von YOLOv8 Modellen auf NCNN?

Der Export deiner Ultralytics YOLOv8 Modelle nach NCNN bietet mehrere Vorteile:

• Effizienz: Die Modelle von NCNN sind für mobile und eingebettete Geräte optimiert und gewährleisten auch bei begrenzten Rechenressourcen eine hohe Leistung.
• Quantisierung: NCNN unterstützt Techniken wie die Quantisierung, die die Geschwindigkeit des Modells erhöhen und den Speicherverbrauch reduzieren.
• Breite Kompatibilität: Du kannst NCNN Modelle auf verschiedenen Plattformen einsetzen, darunter Android, iOS, Linux und macOS.

Weitere Informationen findest du im Abschnitt Export nach NCNN in der Dokumentation.

Warum sollte ich NCNN für meine mobilen KI-Anwendungen nutzen?

NCNNwurde von Tencent entwickelt und ist speziell für mobile Plattformen optimiert. Die wichtigsten Gründe für die Nutzung von NCNN sind:

• Hohe Leistung: Entwickelt für effiziente und schnelle Verarbeitung auf mobilen CPUs.
• Plattformübergreifend: Kompatibel mit gängigen Frameworks wie TensorFlow und ONNX, was die Konvertierung und Bereitstellung von Modellen auf verschiedenen Plattformen erleichtert.
• Community-Unterstützung: Die aktive Unterstützung der Community sorgt für kontinuierliche Verbesserungen und Updates.

Um mehr zu erfahren, besuche die ÜbersichtNCNN in der Dokumentation.

Welche Plattformen werden für den Einsatz des NCNN Modells unterstützt?

NCNN ist vielseitig und unterstützt verschiedene Plattformen:

• Mobil: Android, iOS.
• Eingebettete Systeme und IoT-Geräte: Geräte wie Raspberry Pi und NVIDIA Jetson.
• Desktop und Server: Linux, Windows und macOS.

Wenn das Ausführen von Modellen auf einem Raspberry Pi nicht schnell genug ist, kann die Konvertierung in das Format NCNN die Sache beschleunigen, wie in unserem Raspberry Pi Guide beschrieben.

Wie kann ich Ultralytics YOLOv8 NCNN Modelle auf Android einsetzen?

Um deine YOLOv8 Modelle auf Android einzusetzen:

1. Baue für Android: Folge der Anleitung NCNN Build for Android.
2. Integriere in deine App: Verwende das NCNN Android SDK, um das exportierte Modell in deine Anwendung zu integrieren und so effiziente Inferenzen auf dem Gerät zu ermöglichen.

Eine Schritt-für-Schritt-Anleitung findest du in unserem Leitfaden zum Einsatz von YOLOv8 NCNN Modellen.

Weitere Anleitungen und Anwendungsfälle für Fortgeschrittene findest du auf der DokumentationsseiteUltralytics .

Kommentare