Ultralytics YOLO NCNN-Export#

Das Bereitstellen von Computer-Vision-Modellen auf Geräten mit begrenzter Rechenleistung, etwa auf Mobilgeräten oder eingebetteten Systemen, erfordert eine sorgfältige Auswahl des Formats. Ein optimiertes Format stellt sicher, dass selbst ressourcenbeschränkte Geräte fortgeschrittene Computer-Vision-Aufgaben effizient bewältigen können.

Der Export in das NCNN-Format ermöglicht es dir, deine Ultralytics YOLO26-Modelle für Anwendungen auf leichten Geräten zu optimieren. Diese Anleitung beschreibt, wie du deine Modelle für eine bessere Leistung auf Mobilgeräten und eingebetteten Geräten in das NCNN-Format konvertierst.

Warum in das NCNN-Format exportieren?#

Das von Tencent entwickelte NCNN-Framework ist ein leistungsstarkes Framework für die Inferenzberechnung mit neuronalen Netzen, das speziell für mobile Plattformen wie Mobiltelefone, eingebettete Geräte und IoT-Geräte optimiert wurde. NCNN ist mit zahlreichen Plattformen kompatibel, darunter Linux, Android, iOS und macOS.

NCNN ist für seine hohe Verarbeitungsgeschwindigkeit auf mobilen CPUs bekannt und ermöglicht die schnelle Bereitstellung von Deep-Learning-Modellen auf mobilen Plattformen. Dadurch eignet es sich hervorragend für die Entwicklung KI-gestützter Anwendungen.

Wichtige Merkmale von NCNN-Modellen#

NCNN-Modelle bieten mehrere wichtige Merkmale für maschinelles Lernen auf dem Gerät und unterstützen Entwickler dabei, Modelle auf mobilen, eingebetteten und Edge-Geräten bereitzustellen:

• Effizient und leistungsstark: NCNN-Modelle sind leichtgewichtig und für mobile sowie eingebettete Geräte wie Raspberry Pi mit begrenzten Ressourcen optimiert. Dabei behalten sie eine hohe Genauigkeit bei Computer-Vision-Aufgaben bei.

• Quantisierung: NCNN unterstützt die Quantisierung, eine Technik, die die Präzision von Modellgewichten und Aktivierungen reduziert, um die Leistung zu verbessern und den Speicherbedarf zu verringern.

• Kompatibilität: NCNN-Modelle sind mit beliebten Deep-Learning-Frameworks wie TensorFlow, Caffe und ONNX kompatibel. Dadurch können Entwickler vorhandene Modelle und Workflows nutzen.

• Einfache Nutzung: NCNN bietet benutzerfreundliche Werkzeuge zur Konvertierung von Modellen zwischen verschiedenen Formaten und gewährleistet so eine reibungslose Interoperabilität in unterschiedlichen Entwicklungsumgebungen.

• Vulkan-GPU-Beschleunigung: NCNN unterstützt Vulkan für GPU-beschleunigte Inferenz mit GPUs verschiedener Hersteller, darunter AMD, Intel und andere GPUs ohne NVIDIA. Dadurch ist eine leistungsstarke Bereitstellung auf einer größeren Auswahl an Hardware möglich.

Bereitstellungsoptionen mit NCNN#

NCNN-Modelle sind mit verschiedenen Plattformen für die Bereitstellung kompatibel:

• Bereitstellung auf Mobilgeräten: Für Android und iOS optimiert, sodass eine nahtlose Integration in mobile Anwendungen für effiziente Inferenz auf dem Gerät möglich ist.

• Eingebettete Systeme und IoT-Geräte: Ideal für ressourcenbeschränkte Geräte wie Raspberry Pi und NVIDIA Jetson. Wenn die standardmäßige Inferenz auf einem Raspberry Pi mit dem Ultralytics-Leitfaden nicht ausreicht, kann NCNN deutliche Leistungsverbesserungen bieten.

• Bereitstellung auf Desktop- und Serversystemen: Unterstützt die Bereitstellung unter Linux, Windows und macOS für Entwicklungs-, Trainings- und Evaluierungs-Workflows.

Vulkan-GPU-Beschleunigung#

NCNN unterstützt die GPU-Beschleunigung über Vulkan und ermöglicht dadurch eine leistungsstarke Inferenz auf einer großen Auswahl an GPUs, darunter AMD, Intel und andere Grafikkarten ohne NVIDIA. Das ist besonders nützlich für:

• GPU-Unterstützung verschiedener Hersteller: Im Gegensatz zu CUDA, das auf NVIDIA-GPUs beschränkt ist, funktioniert Vulkan mit GPUs verschiedener Hersteller.
• Systeme mit mehreren GPUs: Wähle in Systemen mit mehreren GPUs ein bestimmtes Vulkan-Gerät mit device="vulkan:0", device="vulkan:1" usw. aus.
• Bereitstellung auf Edge- und Desktop-Geräten: Nutze die GPU-Beschleunigung auf Geräten, auf denen CUDA nicht verfügbar ist.

Um die Vulkan-Beschleunigung zu verwenden, gib bei der Inferenz das Vulkan-Gerät an:

from ultralytics import YOLO

# Load the exported NCNN model
ncnn_model = YOLO("./yolo26n_ncnn_model")

# Run inference with Vulkan GPU acceleration (first Vulkan device)
results = ncnn_model("https://ultralytics.com/images/bus.jpg", device="vulkan:0")

# Use second Vulkan device in multi-GPU systems
results = ncnn_model("https://ultralytics.com/images/bus.jpg", device="vulkan:1")

Unterstützte Aufgaben#

Der NCNN-Export unterstützt alle sieben Ultralytics-Aufgaben. Semantische Segmentierung und Tiefenschätzung sind nur mit YOLO26 verfügbar, der einzigen Familie, die diese Köpfe enthält.

In das NCNN-Format exportieren: Dein YOLO26-Modell konvertieren#

Du kannst die Modellkompatibilität und Flexibilität bei der Bereitstellung erweitern, indem du YOLO26-Modelle in das NCNN-Format konvertierst.

Installation#

Führe zur Installation der erforderlichen Pakete Folgendes aus:

# Install the required package for YOLO26
pip install ultralytics

Ausführliche Anweisungen und bewährte Vorgehensweisen findest du im Ultralytics-Installationsleitfaden. Wenn du auf Schwierigkeiten stößt, findest du im Leitfaden zu häufigen Problemen Lösungen.

Verwendung#

Alle Ultralytics YOLO26-Modelle sind so konzipiert, dass sie standardmäßig den Export unterstützen, sodass du sie problemlos in deinen bevorzugten Bereitstellungsablauf integrieren kannst. Du kannst die vollständige Liste der unterstützten Exportformate und Konfigurationsoptionen anzeigen, um die beste Konfiguration für deine Anwendung auszuwählen.

Das NCNN-Format unterstützt die Modi Export, Predict und Validate. Exportiere dein Modell und lade das exportierte Modell anschließend, um Inferenz auszuführen oder seine Genauigkeit zu validieren.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to NCNN format
model.export(format="ncnn")  # creates 'yolo26n_ncnn_model'

from ultralytics import YOLO

# Load the exported NCNN model
model = YOLO("./yolo26n_ncnn_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported NCNN model
model = YOLO("./yolo26n_ncnn_model")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Exportargumente#

Weitere Informationen zum Exportvorgang findest du auf der Ultralytics-Dokumentationsseite zum Export.

Exportierte YOLO26-NCNN-Modelle bereitstellen#

Nach dem Export deiner Ultralytics YOLO26-Modelle in das NCNN-Format kannst du sie wie im obigen Nutzungsbeispiel mit der Methode YOLO("yolo26n_ncnn_model/") bereitstellen. Plattformbezogene Anweisungen zur Bereitstellung findest du in den folgenden Ressourcen:

• Android: Erstelle NCNN-Modelle und integriere sie für die Objekterkennung in Android-Anwendungen.

• macOS: Stelle NCNN-Modelle auf macOS-Systemen bereit.

• Linux: Stelle NCNN-Modelle auf Linux-Geräten wie Raspberry Pi und ähnlichen eingebetteten Systemen bereit.

• Windows x64: Stelle NCNN-Modelle unter Windows x64 mit Visual Studio bereit.

Zusammenfassung#

Diese Anleitung hat den Export von Ultralytics YOLO26-Modellen in das NCNN-Format behandelt, um die Effizienz und Geschwindigkeit auf ressourcenbeschränkten Geräten zu verbessern.

Weitere Informationen findest du in der offiziellen NCNN-Dokumentation. Weitere Exportoptionen findest du auf unserer Integrationsleitfadenseite.

FAQ#