Ultralytics-YOLO-NCNN-Export#

Die Bereitstellung von Computer-Vision-Modellen auf Geräten mit begrenzter Rechenleistung, etwa Mobilgeräten oder eingebetteten Systemen, erfordert eine sorgfältige Auswahl des Formats. Ein optimiertes Format stellt sicher, dass auch Geräte mit begrenzten Ressourcen komplexe Computer-Vision-Aufgaben effizient bewältigen können.

Durch den Export ins NCNN-Format kannst du deine Ultralytics-YOLO26-Modelle für Anwendungen auf Geräten mit begrenzten Ressourcen optimieren. Diese Anleitung erklärt, wie du deine Modelle ins NCNN-Format konvertierst, um die Leistung auf Mobilgeräten und eingebetteten Geräten zu verbessern.

Warum ins NCNN-Format exportieren?#

Das von Tencent entwickelte NCNN-Framework ist ein leistungsstarkes Framework zur Inferenz neuronaler Netze, das speziell für mobile Plattformen optimiert ist, darunter Mobiltelefone, eingebettete Geräte und IoT-Geräte. NCNN ist mit einer Vielzahl von Plattformen kompatibel, darunter Linux, Android, iOS und macOS.

NCNN ist für seine hohe Verarbeitungsgeschwindigkeit auf mobilen CPUs bekannt und ermöglicht die schnelle Bereitstellung von Deep-Learning-Modellen auf mobilen Plattformen. Dadurch eignet sich NCNN hervorragend für die Entwicklung KI-gestützter Anwendungen.

Wichtige Merkmale von NCNN-Modellen#

NCNN-Modelle bieten mehrere wichtige Funktionen, die maschinelles Lernen direkt auf dem Gerät ermöglichen und Entwickler dabei unterstützen, Modelle auf Mobilgeräten, eingebetteten Geräten und Edge-Geräten bereitzustellen:

• Effizient und leistungsstark: NCNN-Modelle sind leichtgewichtig und für Mobilgeräte und eingebettete Geräte wie Raspberry Pi mit begrenzten Ressourcen optimiert. Gleichzeitig bewahren sie eine hohe Genauigkeit bei Computer-Vision-Aufgaben.

• Quantisierung: NCNN unterstützt Quantisierung, eine Technik, die die Genauigkeit von Modellgewichten und Aktivierungen verringert, um die Leistung zu verbessern und den Speicherbedarf zu senken.

• Kompatibilität: NCNN-Modelle sind mit gängigen Deep-Learning-Frameworks wie TensorFlow, Caffe und ONNX kompatibel. So können Entwickler bestehende Modelle und Arbeitsabläufe nutzen.

• Einfache Nutzung: NCNN bietet benutzerfreundliche Werkzeuge zum Konvertieren von Modellen zwischen verschiedenen Formaten und gewährleistet so eine reibungslose Interoperabilität in unterschiedlichen Entwicklungsumgebungen.

• Vulkan-GPU-Beschleunigung: NCNN unterstützt Vulkan für GPU-beschleunigte Inferenz auf GPUs verschiedener Hersteller, darunter AMD, Intel und andere GPUs, die nicht von NVIDIA stammen. Dadurch wird eine leistungsstarke Bereitstellung auf einer größeren Auswahl an Hardware ermöglicht.

Bereitstellungsoptionen mit NCNN#

NCNN-Modelle sind mit verschiedenen Bereitstellungsplattformen kompatibel:

• Bereitstellung auf Mobilgeräten: Für Android und iOS optimiert, ermöglicht NCNN die nahtlose Integration in mobile Anwendungen und effiziente Inferenz direkt auf dem Gerät.

• Eingebettete Systeme und IoT-Geräte: Ideal für Geräte mit begrenzten Ressourcen wie Raspberry Pi und NVIDIA Jetson. Wenn die standardmäßige Inferenz auf einem Raspberry Pi mit dem Ultralytics-Leitfaden nicht ausreicht, kann NCNN die Leistung deutlich verbessern.

• Bereitstellung auf Desktop und Server: Unterstützt die Bereitstellung unter Linux, Windows und macOS für Entwicklungs-, Trainings- und Evaluierungsabläufe.

Vulkan-GPU-Beschleunigung#

NCNN unterstützt die GPU-Beschleunigung über Vulkan und ermöglicht so leistungsstarke Inferenz auf einer großen Auswahl an GPUs, darunter AMD, Intel und andere Grafikkarten, die nicht von NVIDIA stammen. Das ist besonders nützlich für:

• GPU-Unterstützung verschiedener Hersteller: Anders als CUDA, das auf NVIDIA-GPUs beschränkt ist, funktioniert Vulkan mit GPUs verschiedener Hersteller.
• Systeme mit mehreren GPUs: Wähle in Systemen mit mehreren GPUs ein bestimmtes Vulkan-Gerät mit device="vulkan:0", device="vulkan:1" usw. aus.
• Bereitstellung am Edge und auf Desktop-Systemen: Nutze die GPU-Beschleunigung auf Geräten, auf denen CUDA nicht verfügbar ist.

Gib zur Verwendung der Vulkan-Beschleunigung das Vulkan-Gerät an, wenn du die Inferenz ausführst:

from ultralytics import YOLO

# Das exportierte NCNN-Modell laden
ncnn_model = YOLO("./yolo26n_ncnn_model")

# Inferenz mit Vulkan-GPU-Beschleunigung ausführen (erstes Vulkan-Gerät)
results = ncnn_model("https://ultralytics.com/images/bus.jpg", device="vulkan:0")

# Zweites Vulkan-Gerät in Systemen mit mehreren GPUs verwenden
results = ncnn_model("https://ultralytics.com/images/bus.jpg", device="vulkan:1")

Unterstützte Aufgaben#

Der NCNN-Export unterstützt alle sieben Ultralytics-Aufgaben. Semantische Segmentierung und Tiefenschätzung sind nur mit YOLO26 verfügbar, der einzigen Modellfamilie, die diese Köpfe enthält.

Export nach NCNN: Dein YOLO26-Modell konvertieren#

Du kannst die Modellkompatibilität und Flexibilität bei der Bereitstellung erweitern, indem du YOLO26-Modelle in das NCNN-Format konvertierst.

Installation#

Führe zum Installieren der erforderlichen Pakete Folgendes aus:

# Install the required package for YOLO26
pip install ultralytics

Ausführliche Anleitungen und bewährte Vorgehensweisen findest du im Ultralytics-Installationsleitfaden. Wenn du auf Schwierigkeiten stößt, findest du Lösungen in unserem Leitfaden zu häufigen Problemen.

Verwendung#

Alle Ultralytics YOLO26-Modelle sind so ausgelegt, dass sie sofort exportiert werden können. Dadurch lassen sie sich problemlos in deinen bevorzugten Bereitstellungsablauf integrieren. In der vollständigen Liste der unterstützten Exportformate und Konfigurationsoptionen findest du die passende Konfiguration für deine Anwendung.

Das NCNN-Format unterstützt die Modi Export, Vorhersage und Validierung. Exportiere dein Modell und lade anschließend das exportierte Modell, um Inferenz auszuführen oder seine Genauigkeit zu validieren.

from ultralytics import YOLO

# Ein YOLO26-Modell laden
model = YOLO("yolo26n.pt")

# Das Modell ins NCNN-Format exportieren
model.export(format="ncnn")  # creates 'yolo26n_ncnn_model'

from ultralytics import YOLO

# Das exportierte NCNN-Modell laden
model = YOLO("./yolo26n_ncnn_model")

# Inferenz ausführen
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Das exportierte NCNN-Modell laden
model = YOLO("./yolo26n_ncnn_model")

# Die Genauigkeit anhand des COCO8-Datensatzes validieren
metrics = model.val(data="coco8.yaml")

Exportargumente#

Weitere Informationen zum Exportvorgang findest du auf der Ultralytics-Dokumentationsseite zum Export.

Exportierte YOLO26-NCNN-Modelle bereitstellen#

Nachdem du deine Ultralytics-YOLO26-Modelle in das NCNN-Format exportiert hast, kannst du sie wie im obigen Anwendungsbeispiel gezeigt mit der Methode YOLO("yolo26n_ncnn_model/") bereitstellen. Plattformbezogene Anleitungen zur Bereitstellung findest du in den folgenden Ressourcen:

• Android: Erstelle NCNN-Modelle und integriere sie für die Objekterkennung in Android-Anwendungen.

• macOS: Stelle NCNN-Modelle auf macOS-Systemen bereit.

• Linux: Stelle NCNN-Modelle auf Linux-Geräten bereit, darunter Raspberry Pi und ähnliche eingebettete Systeme.

• Windows x64: Stelle NCNN-Modelle unter Windows x64 mit Visual Studio bereit.

Zusammenfassung#

Dieser Leitfaden behandelte den Export von Ultralytics-YOLO26-Modellen in das NCNN-Format, um Effizienz und Geschwindigkeit auf Geräten mit begrenzten Ressourcen zu verbessern.

Weitere Einzelheiten findest du in der offiziellen NCNN-Dokumentation. Weitere Exportoptionen findest du auf unserer Seite zu Integrationen.

Häufig gestellte Fragen#