Erste Schritte

Schnellstartanleitung: Seeed Studio reCamera mit Ultralytics YOLO26

reCamera wurde der KI-Community bei YOLO Vision 2024 (YV24), der jährlichen Hybridveranstaltung von Ultralytics, vorgestellt. reCamera wurde hauptsächlich für Edge-KI-Anwendungen entwickelt und bietet KI-Verarbeitung direkt auf dem Gerät sowie eine unkomplizierte Bereitstellung.

Dank der Unterstützung verschiedener Hardwarekonfigurationen und quelloffener Ressourcen eignet sich die Plattform gut für die Entwicklung von Prototypen und die Bereitstellung von Computer-Vision-Lösungen am Netzwerkrand.

Seeed Studio reCamera

Warum reCamera?#

Die reCamera-Serie wurde speziell für Edge-KI-Anwendungen entwickelt und auf die Anforderungen von Entwicklern zugeschnitten. Zu den wichtigsten Merkmalen gehören:

  • Leistung auf Basis von RISC-V: Im Kern arbeitet der Prozessor SG200X mit RISC-V-Architektur, der effiziente Leistung für Edge-KI-Aufgaben bietet. Mit einer Rechenleistung von einer Billion Operationen pro Sekunde (1 TOPS) bewältigt er Aufgaben wie Objekterkennung in Echtzeit.

  • Optimierte Videotechnologien: Unterstützt moderne Videokompressionsstandards wie H.264 und H.265, um Speicher- und Bandbreitenbedarf ohne Qualitätseinbußen zu verringern. Funktionen wie HDR-Bildgebung, 3D-Rauschunterdrückung und Objektivkorrektur erhalten die Bildqualität selbst in anspruchsvollen Umgebungen.

  • Energieeffiziente Dualverarbeitung: Während der SG200X komplexe KI-Aufgaben übernimmt, kümmert sich ein kleinerer 8-Bit-Mikrocontroller um einfachere Vorgänge und spart dadurch Energie. Das macht reCamera ideal für batteriebetriebene Geräte und Setups mit geringem Stromverbrauch.

  • Modulares und erweiterbares Design: Die reCamera ist modular aufgebaut und besteht aus drei Hauptkomponenten: der Kernplatine, der Sensorplatine und der Basisplatine. Dieses Design ermöglicht es Entwicklern, Komponenten auszutauschen oder aufzurüsten, wenn sich Projekte weiterentwickeln.

Schnelle Hardwareeinrichtung von reCamera#

Folge der Seite Erste Schritte mit reCamera und wähle dein Gerät (z. B. reCamera 2002 Series, Gimbal oder HQ POE) aus, um die zugehörige Kurzanleitung zu öffnen und das Gerät erstmals einzurichten, etwa indem du es mit einem Netzwerk verbindest und die Node-RED-Weboberfläche aufrufst, um Erkennungsergebnisse schnell in der Vorschau anzuzeigen.

Inferenz mit vorinstallierten YOLO-Modellen#

reCamera wird mit vier vorinstallierten Ultralytics-YOLO-Modellen ausgeliefert. Das gewünschte Modell kannst du im Node-RED-Dashboard auswählen.

Schritt 1: Wenn du reCamera mit einem Netzwerk verbunden hast, gib die IP-Adresse von reCamera in einem Webbrowser ein, um das Node-RED-Dashboard zu öffnen. Wenn du die reCamera über USB mit einem PC verbunden hast, kannst du 192.168.42.1 eingeben. Das Erkennungsmodell wird standardmäßig geladen.

reCamera-Demo zur Objekterkennung

Schritt 2: Klicke unten rechts auf den grünen Kreis, um den Node-RED-Flow-Editor aufzurufen.

Schritt 3: Klicke auf den Knoten model und anschließend auf On Device.

Node-RED-Modellauswahl

Schritt 4: Wähle eines der vier vorinstallierten Modelle aus und klicke auf Done. In diesem Beispiel wird das Pose-Modell ausgewählt.

Selecting the pose model in the Node-RED model node

Schritt 5: Klicke auf Deploy. Sobald die Bereitstellung abgeschlossen ist, klicke auf Dashboard.

reCamera-Bereitstellung über Node-RED

Das Dashboard zeigt nun das Pose-Schätzmodell an, das mit dem Kamerabild arbeitet.

reCamera-Demo zur Pose-Schätzung

Export nach cvimodel: YOLO26-Modell konvertieren#

Wenn du ein benutzerdefiniert trainiertes YOLO26-Modell mit reCamera verwenden möchtest, führe die folgenden Schritte aus.

Bei der Konvertierung wird zunächst ein PyTorch-Modell nach ONNX exportiert. Anschließend wird es in das Modellformat MLIR konvertiert und schließlich MLIR in cvimodel umgewandelt, um Inferenz auf dem Gerät auszuführen.

Seeed Studio reCamera AI development toolchain

Nach ONNX exportieren#

Exportiere ein Ultralytics-YOLO26-Modell ins ONNX-Modellformat.

Installation#

Führe zum Installieren der erforderlichen Pakete Folgendes aus:

Installation
pip install ultralytics

Ausführliche Anweisungen und bewährte Vorgehensweisen zur Installation findest du in unserer Installationsanleitung von Ultralytics. Falls bei der Installation der für YOLO26 erforderlichen Pakete Probleme auftreten, findest du Lösungen und Tipps in unserer Anleitung zu häufigen Problemen.

Verwendung#

Verwendung
from ultralytics import YOLO

# Ein YOLO26-Modell laden
model = YOLO("yolo26n.pt")

# Exportiere das Modell in das ONNX-Format
model.export(format="onnx", opset=14)  # erstellt 'yolo26n.onnx'

Weitere Informationen zum Exportvorgang findest du auf der Ultralytics-Dokumentationsseite zum Export.

ONNX nach MLIR und cvimodel exportieren#

Nachdem du ein ONNX-Modell erhalten hast, findest du auf der Seite KI-Modelle konvertieren und quantisieren Informationen dazu, wie du das ONNX-Modell in MLIR und anschließend in cvimodel konvertierst.

Praxisanwendungen der reCamera#

Die On-Device-Computer-Vision und das modulare Design der reCamera machen sie für zahlreiche reale Anwendungsszenarien geeignet.

  • Sturzerkennung: Die reCamera wurde für Anwendungen in den Bereichen Sicherheit und Gesundheitswesen entwickelt und kann Stürze in Echtzeit erkennen. Damit eignet sie sich besonders für die Pflege älterer Menschen, Krankenhäuser und industrielle Umgebungen, in denen eine schnelle Reaktion entscheidend ist.

  • Erkennung persönlicher Schutzausrüstung: Die reCamera kann die Sicherheit am Arbeitsplatz unterstützen, indem sie die Einhaltung der Vorschriften für persönliche Schutzausrüstung in Echtzeit erkennt. Sie hilft festzustellen, ob Beschäftigte Helme, Handschuhe oder andere Schutzausrüstung tragen, und verringert so Risiken in industriellen Umgebungen.

Erkennung persönlicher Schutzausrüstung

  • Branderkennung: Dank ihrer Echtzeitverarbeitung eignet sich die reCamera besonders für die Branderkennung in Industrie- und Wohngebieten. Sie kann frühzeitig warnen und so mögliche Katastrophen verhindern.

  • Abfallerkennung: Die Kamera kann auch zur Erkennung von Abfällen in der Umweltüberwachung und im Abfallmanagement mit YOLO11 eingesetzt werden.

  • Erkennung von Fahrzeugteilen: In der Fertigungs- und Automobilindustrie unterstützt die reCamera die Erkennung und Analyse von Fahrzeugteilen für die Qualitätskontrolle, die Überwachung von Fertigungslinien und die Bestandsverwaltung.

YOLO-Erkennung von Fahrzeugteilen für die Fahrzeugprüfung

Häufig gestellte Fragen#

  • Richte deine reCamera zum ersten Mal mit den folgenden Schritten ein:

    1. Schließe die reCamera an eine Stromquelle an
    2. Verbinde sie über die Seite Erste Schritte mit reCamera mit deinem Netzwerk (wähle dein Gerät aus, um die zugehörige Schnellstartanleitung zu öffnen)
    3. Rufe die Node-RED-Weboberfläche auf, indem du die IP-Adresse des Geräts in einen Webbrowser eingibst (oder verwende 192.168.42.1, wenn du über USB verbunden bist)
    4. Verwende die vorinstallierten YOLO-Modelle sofort über die Dashboard-Oberfläche.
  • Ja, du kannst eigene trainierte YOLO26-Modelle mit der reCamera verwenden. Dazu gehst du folgendermaßen vor:

    1. Exportiere dein PyTorch-Modell mit model.export(format="onnx", opset=14) ins ONNX-Format
    2. Wandle das ONNX-Modell ins MLIR-Format um
    3. Wandle MLIR für die Inferenz auf dem Gerät ins cvimodel-Format um
    4. Lade das konvertierte Modell auf deine reCamera

    Eine ausführliche Anleitung findest du unter KI-Modelle konvertieren und quantisieren.

  • Im Gegensatz zu herkömmlichen IP-Kameras, die für die Verarbeitung externe Hardware benötigen, bietet die reCamera:

    • KI-Verarbeitung direkt auf dem Gerät mit ihrem RISC-V SG200X-Prozessor
    • Eine Rechenleistung von 1 TOPS für Edge-KI-Anwendungen in Echtzeit
    • Ein modulares Design, das Komponenten-Upgrades und individuelle Anpassungen ermöglicht
    • Unterstützung fortschrittlicher Videotechnologien wie H.264/H.265-Komprimierung, HDR-Bildgebung und 3D-Rauschunterdrückung
    • Wird mit vorinstallierten Ultralytics-YOLO-Modellen zur sofortigen Verwendung geliefert.

    Dank dieser Funktionen ist die reCamera eine eigenständige Lösung für Edge-KI-Anwendungen, für die keine zusätzliche externe Hardware zur Verarbeitung erforderlich ist.

Kommentare50

Stell eine Frage, teile deine Ergebnisse oder hilf jemand anderem.

    1. Glenn JocherUltralytics

      Yes, a custom-trained YOLO26 model can run on reCamera using the ONNX -> MLIR -> cvimodel workflow in the reCamera guide; if you hit a blocker, please share the exact step and full error here so the Ultralytics team can help.

  1. HanJammerGitHub

    This site mentions recamera comes with YOLO26 (which is why I bought two of them) yet YOLO11 is installed (which is visible on screenshots as well) and I can't load YOLO26 - how to do that? I can't find reliable guide :(

    1. HanJammerGitHub

      Ah nevermind, I think I got it, still it would be better not to advertise the camera "reCamera comes pre-installed with four Ultralytics YOLO26 models" which is basically not true.

    2. HanJammerGitHub

      I whipped out some 'single click' tool to convert YOLO26 onnx-es which makes it a bit easier... I need to test it a bit, for now it supports the base model. Perhaps I will push it to my github later this week.

      image

    1. Glenn JocherUltralytics

      I don’t personally keep a reCamera on my desk, but the workflow in the Seeed Studio reCamera guide is the supported path; if you have a specific setup or export question, please drop it here and the Ultralytics team can take a look.

  2. tcpipchipGitHub

    I tested on recamera with my trainned pose keypoint model... Same problem...no keypoint

    Need to test on yolo8 on tdl sdk

    1. Glenn JocherUltralytics

      Thanks for checking this; for custom pose models on reCamera, please drop the exact export and conversion steps here in the discussion so the Ultralytics team can take a look, since keypoints should work only after a correct ONNX -> MLIR -> cvimodel pipeline as outlined in the reCamera guide and Seeed’s conversion guide, and it’s worth first confirming your exported ONNX model still produces keypoints before converting.

    1. Glenn JocherUltralytics

      Calibration isn’t done in the Ultralytics export step; for reCamera, you export to ONNX first with the reCamera guide, then calibration happens during Seeed’s ONNX→MLIR→cvimodel flow using a small representative set of your own images, as described in Seeed’s Convert and Quantize AI Models guide. If you hit an error in that step, please drop the full log here and we’ll take a look.

    1. tiruvijayakumarGitHub

      NOO, i didnt train on animals, i trained on these classes for pose detection for persons using yolov11n-pose.pt weights. I fine‑tuned the YOLOv11n‑pose.pt model on my custom classes:

      Running Walking Golf Skate Horse riding Kicking Diving I just uploaded animal detection model to justify that custom model deployment with quantization for object detection(yolo11n.pt) on recamera has no issues, it was another cvi model which i had no issues, it worked PERFECTLY. i only issue what i am facing is the pose detection quantized model where i am not able to see the keypoints on the inference output but bounding box is drawn along with predicted class label refer below: image image

      now just trying to train the model for pose detection using yolov8 and then i would try quantizing the model and check if the keypoints are shown in the inference output

    2. Glenn JocherUltralytics

      Thanks, that helps narrow it down — since detection cvimodels work and only the quantized pose model loses keypoints, this looks more like a pose conversion or postprocessing issue in the ONNX → MLIR → cvimodel step than a training problem. Please keep the details here so the Ultralytics team can see them, and share the exact conversion commands and full text logs from the reCamera guide and Seeed model conversion guide, plus whether the same pre-quantized ONNX shows keypoints before conversion.

    3. tiruvijayakumarGitHub(bearbeitet)

      i ran predictions on ultralytics hub on the .pt model format, i attached the whole problem scenario and image content :https://github.com/orgs/ultralytics/discussions/22090?sort=new#discussioncomment-16346206 Any ways uploading the prediction on ultralytics hub in this thread also : image so on the model.pt file inference shows this data, this confirms that pose estimation model works. { "images": [ { "shape": [ 426, 640 ], "speed": { "preprocess": 1.41517, "inference": 130.14456, "postprocess": 0.99221 }, "results": [ { "name": "Kicking", "class": 5, "confidence": 0.80929, "box": { "x1": 0.26068, "y1": 0.10738, "x2": 0.55882, "y2": 0.85426 }, "keypoints": { "x": [ 0.41923001408576965, 0.42656999826431274, 0.4166699945926666, 0.45181000232696533, 0.42857998609542847, 0.488209992647171, 0.43380001187324524, 0.543470025062561, 0.41604000329971313, 0.5516700148582458, 0.4164600074291229, 0.46198999881744385, 0.4427199959754944, 0.357340008020401, 0.427839994430542, 0.29197001457214355, 0.43891000747680664 ], "y": [ 0.2315099984407425, 0.21907000243663788, 0.21740999817848206, 0.21602000296115875, 0.21322999894618988, 0.2783600091934204, 0.2824600040912628, 0.3255299925804138, 0.35097000002861023, 0.32879000902175903, 0.3619599938392639, 0.5179499983787537, 0.5104399919509888, 0.6517800092697144, 0.6389099955558777, 0.7586100101470947, 0.7324900031089783 ], "visible": [ 0.9994300007820129, 0.9990299940109253, 0.9990000128746033, 0.999019980430603, 0.9988300204277039, 0.9995700120925903, 0.9996600151062012, 0.998960018157959, 0.9992700219154358, 0.9985499978065491, 0.997439980506897, 0.9995700120925903, 0.9995700120925903, 0.9988800287246704, 0.9989299774169922, 0.982990026473999, 0.9852499961853027 ] } } ] } ], "metadata": { "imageCount": 1, "functionTimeAlive": 78321.917, "functionTimeCall": 0.138, "model": "best.pt", "version": { "ultralytics": "8.4.30", "torch": "2.11.0+cpu", "torchvision": "0.26.0+cpu", "python": "3.14.3" } }, "networkTime": 1.214 }

      I didnt capture the conversion commands and text logs during the onnx->mlir->cvimodel, would repeat the same steps and paste the images in this thread itself.

    4. tiruvijayakumarGitHub

      Exported the yolov11n-pose.pt(finetuned) on google colab to onnx format image Uploaded the model on netron to view the structure, onnx is in the format IRv9 ,opset v20(would downgrade it). Classes are running, walking, golf-swing, skateboarding, riding-horse and kicking image image image image Seeed studio guide for downgrading image Initial structure of workspace folder image Step1: pull sopho/tpuc_dev:v3.1 image Step2: starting the container image Step3: installing onnx image Step4: Clone Downgrade Script image Step5: Downgrade Script settings IR v8 and Opset v17 image image image Step6: Install TPU-MLIR tools inside container: image

      Step7: clone tpu-mlir image Step8: setup environment tpu-mlir(long step) image image

      Step9: according to seeed studio guide, i have to include outputs before the model's head as the parameter for this particular step model_transform
      --model_name yolo11n
      --model_def yolo11n.onnx
      --input_shapes "[[1,3,640,640]]"
      --mean "0.0,0.0,0.0"
      --scale "0.0039216,0.0039216,0.0039216"
      --keep_aspect_ratio
      --pixel_format rgb
      --output_names "/model.23/cv2.0/cv2.0.2/Conv_output_0,/model.23/cv3.0/cv3.0.2/Conv_output_0,/model.23/cv2.1/cv2.1.2/Conv_output_0,/model.23/cv3.1/cv3.1.2/Conv_output_0,/model.23/cv2.2/cv2.2.2/Conv_output_0,/model.23/cv3.2/cv3.2.2/Conv_output_0"
      --test_input ../image/dog.jpg
      --test_result yolo11n_top_outputs.npz
      --mlir yolo11n.mlir i have the onnx file, could someone of the team help me identify the outputs before the model's head? @glenn-jocher here is the onnx file https://drive.google.com/file/d/1UF25DK2zXx0GCWdcx55SPYHL71SylDeg/view?usp=sharing