Sony IMX500-Export für Ultralytics YOLO11#

Dieser Leitfaden beschreibt den Export und die Bereitstellung von Ultralytics YOLO11-Modellen auf Raspberry Pi AI Cameras mit dem Sony IMX500-Sensor.

Die Bereitstellung von Computer-Vision-Modellen auf Geräten mit begrenzter Rechenleistung, etwa der Raspberry Pi AI Camera, kann schwierig sein. Ein für höhere Geschwindigkeit optimiertes Modellformat macht einen großen Unterschied.

Das IMX500-Modellformat wurde entwickelt, um möglichst wenig Energie zu verbrauchen und gleichzeitig eine hohe Geschwindigkeit für neuronale Netze zu bieten. Damit kannst du deine Ultralytics YOLO11-Modelle für schnelle Inferenz bei geringem Energieverbrauch optimieren. In diesem Leitfaden zeigen wir dir, wie du deine Modelle in das IMX500-Format exportierst und dafür bereitstellst, damit sie auf der Raspberry Pi AI Camera zuverlässig funktionieren.

Warum solltest du nach IMX500 exportieren?#

Der intelligente Bildsensor IMX500 von Sony ist eine wegweisende Hardware für Edge-KI-Verarbeitung. Er ist der weltweit erste intelligente Bildsensor mit integrierten KI-Funktionen. Dieser Sensor hilft, viele Herausforderungen der Edge-KI zu bewältigen, darunter Engpässe bei der Datenverarbeitung, Datenschutzbedenken und Leistungseinschränkungen. Während andere Sensoren lediglich Bilder und Einzelbilder weiterleiten, liefert der IMX500 ein umfassendes Ergebnis. Er verarbeitet Daten direkt auf dem Sensor, sodass Geräte in Echtzeit Erkenntnisse gewinnen können.

Sony IMX500-Export für YOLO11-Modelle#

Der IMX500 wurde entwickelt, um die direkte Datenverarbeitung auf dem Sensor zu ermöglichen, ohne Daten zur Verarbeitung in die Cloud senden zu müssen.

Der IMX500 funktioniert mit quantisierten Modellen. Quantisierung macht Modelle kleiner und schneller, ohne die Genauigkeit wesentlich zu beeinträchtigen. Das ist ideal für die begrenzten Ressourcen des Edge Computing: Anwendungen reagieren schneller, da die Latenz sinkt und Daten lokal zügig verarbeitet werden können, ohne von der Cloud abhängig zu sein. Die lokale Verarbeitung schützt außerdem die Privatsphäre und Sicherheit der Nutzerdaten, da diese nicht an einen entfernten Server gesendet werden.

Wichtige Funktionen des IMX500:

• Metadatenausgabe: Anstatt nur Bilder zu übertragen, kann der IMX500 sowohl Bilder als auch Metadaten (Inference-Ergebnis) ausgeben oder ausschließlich Metadaten übertragen, um die Datenmenge, Bandbreite und Kosten zu reduzieren.
• Berücksichtigt Datenschutzbedenken: Durch die Verarbeitung der Daten auf dem Gerät trägt der IMX500 Datenschutzbedenken Rechnung und eignet sich ideal für menschenbezogene Anwendungen wie das Zählen von Personen und die Belegungsverfolgung.
• Echtzeitverarbeitung: Die schnelle Verarbeitung auf dem Sensor unterstützt Entscheidungen in Echtzeit und eignet sich ideal für Edge-KI-Anwendungen wie autonome Systeme.

Vorbereitung: Um optimale Ergebnisse zu erzielen, bereite dein YOLO11-Modell mithilfe unseres Leitfadens zum Modelltraining, Leitfadens zur Datenvorbereitung und Leitfadens zur Hyperparameteroptimierung auf den Export vor.

Unterstützte Aufgaben#

Der IMX500-Export unterstützt vier der sieben Ultralytics-Aufgaben und dies ausschließlich für YOLOv8n und YOLO11n: Andere Modellfamilien, Größen und Architekturen werden nicht unterstützt. Der Export eines Modells für semantische Segmentierung, OBB oder Tiefenschätzung führt zu einem Fehler.

Verwendungsbeispiele#

Exportiere ein Ultralytics YOLO11-Modell in das IMX500-Format und führe mit dem exportierten Modell eine Inferenz aus.

Das IMX500-Format unterstützt die Modi Export, Vorhersage und Validierung. Inferenz und Validierung werden auf der Raspberry Pi AI Camera (IMX500) ausgeführt.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model
model.export(format="imx", data="coco8.yaml")  # exports with PTQ quantization by default

# Load the exported model
imx_model = YOLO("yolo11n_imx_model")

# Run inference
results = imx_model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load a YOLO11n-pose PyTorch model
model = YOLO("yolo11n-pose.pt")

# Export the model
model.export(format="imx", data="coco8-pose.yaml")  # exports with PTQ quantization by default

# Load the exported model
imx_model = YOLO("yolo11n-pose_imx_model")

# Run inference
results = imx_model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load a YOLO11n-cls PyTorch model
model = YOLO("yolo11n-cls.pt")

# Export the model
model.export(format="imx", data="imagenet10")  # exports with PTQ quantization by default

# Load the exported model
imx_model = YOLO("yolo11n-cls_imx_model")

# Run inference
results = imx_model("https://ultralytics.com/images/bus.jpg", imgsz=224)

from ultralytics import YOLO

# Load a YOLO11n-seg PyTorch model
model = YOLO("yolo11n-seg.pt")

# Export the model
model.export(format="imx", data="coco8-seg.yaml")  # exports with PTQ quantization by default

# Load the exported model
imx_model = YOLO("yolo11n-seg_imx_model")

# Run inference
results = imx_model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported IMX500 model
model = YOLO("yolo11n_imx_model")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Exportargumente#

Weitere Informationen zum Exportvorgang findest du auf der Ultralytics-Dokumentationsseite zum Export.

Der Exportprozess erstellt ein ONNX-Modell zur Validierung der Quantisierung sowie ein Verzeichnis namens <model-name>_imx_model. Dieses Verzeichnis enthält die Datei packerOut.zip, die für die Paketierung des Modells zur Bereitstellung auf der IMX500-Hardware erforderlich ist. Außerdem enthält der Ordner <model-name>_imx_model eine Textdatei (labels.txt) mit allen Bezeichnungen, die dem Modell zugeordnet sind.

yolo11n_imx_model
├── dnnParams.xml
├── labels.txt
├── packerOut.zip
├── model_imx.onnx
├── model_imx_MemoryReport.json
└── model_imx.pbtxt

IMX500-Export bei der Bereitstellung verwenden#

Nach dem Export des Ultralytics YOLO11n-Modells in das IMX500-Format kann es für die Inferenz auf der Raspberry Pi AI Camera bereitgestellt werden.

Hardwarevoraussetzungen#

Stelle sicher, dass die folgende Hardware vorhanden ist:

1. Raspberry Pi 5 oder Raspberry Pi 4 Model B
2. Raspberry Pi AI Camera

Verbinde die Raspberry Pi AI Camera mit dem 15-poligen MIPI-CSI-Anschluss des Raspberry Pi und schalte den Raspberry Pi ein.

Softwarevoraussetzungen#

Schritt 1: Öffne ein Terminalfenster und führe die folgenden Befehle aus, um die Raspberry-Pi-Software auf die neueste Version zu aktualisieren.

sudo apt update && sudo apt full-upgrade

Schritt 2: Installiere die IMX500-Firmware, die für den Betrieb des IMX500-Sensors erforderlich ist.

sudo apt install imx500-all

Schritt 3: Starte den Raspberry Pi neu, damit die Änderungen wirksam werden.

sudo reboot

Schritt 4: Installiere die Aitrios Raspberry Pi application module library.

pip install git+https://github.com/SonySemiconductorSolutions/aitrios-rpi-application-module-library.git

Schritt 5: Führe die Objekterkennung, Posenschätzung, Klassifizierung und Segmentierung mit YOLO11 mithilfe der folgenden Skripte aus, die in den Beispielen der aitrios-rpi-application-module-library verfügbar sind.

import numpy as np
from modlib.apps import Annotator
from modlib.devices import AiCamera
from modlib.models import COLOR_FORMAT, MODEL_TYPE, Model
from modlib.models.post_processors import pp_od_yolo_ultralytics

class YOLO(Model):
    """YOLO model for IMX500 deployment."""

    def __init__(self):
        """Initialize the YOLO model for IMX500 deployment."""
        super().__init__(
            model_file="yolo11n_imx_model/packerOut.zip",  # replace with proper directory
            model_type=MODEL_TYPE.CONVERTED,
            color_format=COLOR_FORMAT.RGB,
            preserve_aspect_ratio=False,
        )

        self.labels = np.genfromtxt(
            "yolo11n_imx_model/labels.txt",  # replace with proper directory
            dtype=str,
            delimiter="\n",
        )

    def post_process(self, output_tensors):
        """Post-process the output tensors for object detection."""
        return pp_od_yolo_ultralytics(output_tensors)

device = AiCamera(frame_rate=16)  # Optimal frame rate for maximum FPS of the YOLO model running on the AI Camera
model = YOLO()
device.deploy(model)

annotator = Annotator()

with device as stream:
    for frame in stream:
        detections = frame.detections[frame.detections.confidence > 0.55]
        labels = [f"{model.labels[class_id]}: {score:0.2f}" for _, score, class_id, _ in detections]

        annotator.annotate_boxes(frame, detections, labels=labels, alpha=0.3, corner_radius=10)
        frame.display()

Benchmarks#

Die folgenden Benchmarks für YOLOv8n, YOLO11n, YOLOv8n-pose, YOLO11n-pose, YOLOv8n-cls und YOLO11n-cls wurden vom Ultralytics-Team auf einer Raspberry Pi AI Camera mit dem Modellformat imx durchgeführt, wobei Geschwindigkeit und Genauigkeit gemessen wurden.

Was steckt dahinter?#

Sony Model Compression Toolkit (MCT)#

Das Model Compression Toolkit (MCT) von Sony ist ein leistungsstarkes Werkzeug zur Optimierung von Deep-Learning-Modellen durch Quantisierung und Pruning. Es unterstützt verschiedene Quantisierungsmethoden und bietet fortschrittliche Algorithmen, um Modellgröße und Rechenkomplexität zu reduzieren, ohne die Genauigkeit wesentlich zu beeinträchtigen. MCT eignet sich besonders für die Bereitstellung von Modellen auf Geräten mit begrenzten Ressourcen und sorgt für eine effiziente Inferenz und geringere Latenz.

Unterstützte MCT-Funktionen#

Das MCT von Sony bietet zahlreiche Funktionen zur Optimierung neuronaler Netzmodelle:

1. Diagrammoptimierungen: Wandelt Modelle in effizientere Varianten um, indem es Schichten wie die Batch-Normalisierung in die jeweils vorhergehenden Schichten integriert.
2. Suche nach Quantisierungsparametern: Minimiert Quantisierungsrauschen mithilfe von Metriken wie Mean-Square-Error, No-Clipping und Mean-Average-Error.
3. Fortschrittliche Quantisierungsalgorithmen:
   • Korrektur negativer Verschiebungen: Behebt Leistungsprobleme, die durch symmetrische Aktivierungsquantisierung entstehen.
   • Filterung von Ausreißern: Verwendet den z-Score, um Ausreißer zu erkennen und zu entfernen.
   • Clustering: Verwendet nicht uniforme Quantisierungsgitter für eine bessere Anpassung an die Verteilung.
   • Suche nach gemischter Präzision: Weist jeder Schicht abhängig von ihrer Empfindlichkeit unterschiedliche Quantisierungsbitbreiten zu.
4. Visualisierung: Verwende TensorBoard, um Einblicke in die Modellleistung, Quantisierungsphasen und Bitbreitenkonfigurationen zu erhalten.

Quantisierung#

MCT unterstützt mehrere Quantisierungsmethoden, um die Modellgröße zu reduzieren und die Inferenzgeschwindigkeit zu erhöhen:

1. Quantisierung nach dem Training (PTQ):
   • Verfügbar über Keras- und PyTorch-APIs.
   • Komplexität: Niedrig
   • Rechenaufwand: Niedrig (CPU-Minuten)
2. Gradientenbasierte Quantisierung nach dem Training (GPTQ):
   • Verfügbar über Keras- und PyTorch-APIs.
   • Komplexität: Mittel
   • Rechenaufwand: Moderat (2–3 GPU-Stunden)
3. Quantisierungsbewusstes Training (QAT):
   • Komplexität: Hoch
   • Rechenaufwand: Hoch (12–36 GPU-Stunden)

MCT unterstützt außerdem verschiedene Quantisierungsschemata für Gewichte und Aktivierungen:

1. Zweierpotenz (hardwarefreundlich)
2. Symmetrisch
3. Uniform

Strukturiertes Pruning#

MCT führt strukturiertes, hardwarebewusstes Pruning ein, das für bestimmte Hardwarearchitekturen entwickelt wurde. Diese Technik nutzt die Fähigkeiten der Zielplattform für Single Instruction, Multiple Data (SIMD), indem sie SIMD-Gruppen entfernt. Dadurch werden Modellgröße und Komplexität reduziert und gleichzeitig die Kanalnutzung optimiert. Die Methode ist auf die SIMD-Architektur abgestimmt, um die Nutzung der für die Gewichtsspeichergröße vorgesehenen Ressourcen zu optimieren. Verfügbar über Keras- und PyTorch-APIs.

IMX500 Converter Tool (Compiler)#

Das IMX500 Converter Tool ist ein wesentlicher Bestandteil des IMX500-Werkzeugsatzes und ermöglicht die Kompilierung von Modellen für die Bereitstellung auf dem IMX500-Sensor von Sony, beispielsweise in Raspberry Pi AI Cameras. Das Tool erleichtert die Umwandlung von Ultralytics YOLO11-Modellen, die mit der Ultralytics-Software verarbeitet wurden, und stellt ihre Kompatibilität und effiziente Ausführung auf der jeweiligen Hardware sicher. Beim Export nach der Modellquantisierung werden Binärdateien erzeugt, die wichtige Daten und gerätespezifische Konfigurationen enthalten. Dadurch wird die Bereitstellung auf der Raspberry Pi AI Camera vereinfacht.

Praxisnahe Anwendungsfälle#

Der Export in das IMX500-Format ist in vielen Branchen einsetzbar. Hier sind einige Beispiele:

• Edge-KI und IoT: Ermöglicht die Objekterkennung auf Drohnen oder Überwachungskameras, bei denen Echtzeitverarbeitung auf Geräten mit geringem Energieverbrauch entscheidend ist.
• Tragbare Geräte: Stelle für die Verarbeitung von KI im kleinen Maßstab optimierte Modelle auf tragbaren Geräten zur Gesundheitsüberwachung bereit.
• Intelligente Städte: Verwende in das IMX500 exportierte YOLO11-Modelle für Verkehrsüberwachung und Sicherheitsanalysen mit schnellerer Verarbeitung und minimaler Latenz.
• Einzelhandelsanalysen: Verbessere die Überwachung in Geschäften, indem du optimierte Modelle in Kassensystemen oder intelligenten Regalen bereitstellst.

Fazit#

Durch den Export von Ultralytics YOLO11-Modellen in das IMX500-Format kannst du deine Modelle für eine effiziente Inferenz auf IMX500-basierten Kameras bereitstellen. Mithilfe fortschrittlicher Quantisierungstechniken kannst du die Modellgröße reduzieren und die Inferenzgeschwindigkeit erhöhen, ohne die Genauigkeit wesentlich zu beeinträchtigen.

Weitere Informationen und ausführliche Richtlinien findest du auf der IMX500-Website von Sony.

FAQ#