Commencer

Guide de démarrage rapide : Seeed Studio reCamera avec Ultralytics YOLO26

reCamera a été présentée à la communauté de l’IA lors de YOLO Vision 2024 (YV24), l’événement hybride annuel d’Ultralytics. Elle est principalement conçue pour les applications d’IA en périphérie, en offrant un traitement de l’IA directement sur l’appareil et un déploiement simple.

Grâce à sa prise en charge de diverses configurations matérielles et à ses ressources open source, elle convient parfaitement au prototypage et au déploiement de solutions de vision par ordinateur en périphérie.

Seeed Studio reCamera

Pourquoi choisir reCamera ?#

La série reCamera est spécialement conçue pour les applications d’IA en périphérie et répond aux besoins des développeurs. Ses principales caractéristiques sont les suivantes :

  • Performances propulsées par RISC-V : Au cœur du système se trouve le processeur SG200X, basé sur l’architecture RISC-V, qui offre des performances efficaces pour les tâches d’IA en périphérie. Capable d’exécuter 1 billion d’opérations par seconde (1 TOPS), il prend en charge des tâches comme la détection d’objets en temps réel.

  • Technologies vidéo optimisées : Prend en charge des normes avancées de compression vidéo, notamment H.264 et H.265, afin de réduire les besoins en stockage et en bande passante sans sacrifier la qualité. Des fonctionnalités comme l’imagerie HDR, la réduction du bruit 3D et la correction de l’objectif préservent la qualité de l’image, même dans les environnements difficiles.

  • Double traitement écoénergétique : tandis que le SG200X prend en charge les tâches d'IA complexes, un microcontrôleur 8 bits plus petit gère les opérations simples afin d'économiser l'énergie. reCamera est ainsi idéale pour les configurations alimentées par batterie ou à faible consommation.

  • Conception modulaire et évolutive : reCamera repose sur une structure modulaire composée de trois éléments principaux : la carte principale, la carte du capteur et la carte de base. Cette conception permet aux développeurs de remplacer ou de mettre à niveau des composants à mesure que les projets évoluent.

Installation rapide du matériel reCamera#

Suis la page Premiers pas avec reCamera et sélectionne ton appareil (par exemple, reCamera série 2002, Gimbal ou HQ POE) pour ouvrir son guide de démarrage rapide et commencer à le configurer, notamment en le connectant à un réseau et en accédant à l’interface Web Node-RED pour prévisualiser rapidement les résultats de détection.

Inférence avec les modèles YOLO préinstallés#

reCamera est livrée avec quatre modèles Ultralytics YOLO préinstallés. Tu peux choisir le modèle souhaité dans le tableau de bord Node-RED.

Étape 1 : Si tu as connecté reCamera à un réseau, saisis son adresse IP dans un navigateur Web pour ouvrir le tableau de bord Node-RED. Si tu as connecté reCamera à un PC via USB, tu peux saisir 192.168.42.1. Le modèle de détection est chargé par défaut.

Démo de détection avec reCamera

Étape 2 : Clique sur le cercle vert en bas à droite pour accéder à l’éditeur de flux Node-RED.

Étape 3 : clique sur le nœud model, puis sur On Device.

Sélection du modèle dans Node-RED

Étape 4 : Choisis l’un des quatre modèles préinstallés et clique sur Done. Cet exemple sélectionne le modèle de pose.

Selecting the pose model in the Node-RED model node

Étape 5 : clique sur Deploy et, une fois le déploiement terminé, clique sur Dashboard.

Déploiement de reCamera dans Node-RED

Le tableau de bord affiche maintenant le modèle d’estimation de pose exécuté sur le flux de la caméra.

Démo d’estimation de pose avec reCamera

Exporter vers cvimodel : convertir ton modèle YOLO26#

Si tu veux utiliser un modèle YOLO26 entraîné sur mesure avec reCamera, suis les étapes ci-dessous.

La conversion commence par exporter un modèle PyTorch vers ONNX, puis le convertit au format de modèle MLIR et convertit enfin MLIR en cvimodel pour exécuter l’inférence sur l’appareil.

Seeed Studio reCamera AI development toolchain

Exporter vers ONNX#

Exporte un modèle Ultralytics YOLO26 au format de modèle ONNX.

Installation#

Pour installer les paquets requis, exécute :

Installation
pip install ultralytics

Pour obtenir des instructions détaillées et connaître les bonnes pratiques liées à l’installation, consulte notre guide d’installation Ultralytics. Si tu rencontres des difficultés lors de l’installation des packages requis pour YOLO26, consulte notre guide des problèmes courants, qui propose des solutions et des conseils.

Utilisation#

Utilisation
from ultralytics import YOLO

# Charger un modèle YOLO26
model = YOLO("yolo26n.pt")

# Exporter le modèle au format ONNX
model.export(format="onnx", opset=14)  # crée « yolo26n.onnx »

Pour en savoir plus sur le processus d’export, consulte la page de la documentation Ultralytics consacrée à l’export.

Exporter ONNX vers MLIR et cvimodel#

Après avoir obtenu un modèle ONNX, consulte la page Convertir et quantifier des modèles d’IA pour convertir le modèle ONNX en MLIR, puis en cvimodel.

Applications concrètes de reCamera#

La vision par ordinateur embarquée et la conception modulaire de reCamera la rendent adaptée à un large éventail de situations réelles.

  • Détection des chutes : conçue pour les applications de sécurité et de santé, reCamera peut détecter les chutes en temps réel. Elle convient donc parfaitement aux soins aux personnes âgées, aux hôpitaux et aux environnements industriels où une intervention rapide est essentielle.

  • Détection des équipements de protection individuelle : reCamera peut contribuer à la sécurité au travail en détectant en temps réel le respect des consignes relatives aux EPI. Elle aide à déterminer si les travailleurs portent un casque, des gants ou d’autres équipements de sécurité, réduisant ainsi les risques en milieu industriel.

Détection des équipements de protection individuelle

  • Détection des incendies : les capacités de traitement en temps réel de reCamera la rendent particulièrement adaptée à la détection des incendies dans les zones industrielles et résidentielles, où elle fournit des alertes précoces pour prévenir les catastrophes potentielles.

  • Détection des déchets : elle peut également servir à détecter les déchets dans le cadre de la surveillance environnementale et de la gestion des déchets avec YOLO11.

  • Détection de pièces automobiles : dans les secteurs de la fabrication et de l’automobile, elle aide à détecter et à analyser les pièces automobiles pour le contrôle qualité, la surveillance des chaînes de montage et la gestion des stocks.

Détection de pièces automobiles avec YOLO pour l’inspection automobile

FAQ#

  • Pour configurer reCamera pour la première fois, suis les étapes suivantes :

    1. Branche reCamera à une source d’alimentation
    2. Connecte-la à ton réseau en suivant la page Prise en main de reCamera (sélectionne ton appareil pour ouvrir son guide de démarrage rapide)
    3. Accède à l’interface web Node-RED en saisissant l’adresse IP de l’appareil dans un navigateur Web (ou utilise 192.168.42.1 si la connexion se fait par USB)
    4. Commence immédiatement à utiliser les modèles YOLO préinstallés depuis l’interface du tableau de bord
  • Oui, tu peux utiliser tes modèles YOLO26 entraînés sur mesure avec reCamera. Voici les étapes à suivre :

    1. Exporte ton modèle PyTorch au format ONNX à l’aide de model.export(format="onnx", opset=14)
    2. Convertis le modèle ONNX au format MLIR
    3. Convertis le modèle MLIR au format cvimodel pour l’inférence sur l’appareil
    4. Charge le modèle converti sur ton reCamera

    Pour obtenir des instructions détaillées, consulte le guide Convertir et quantifier des modèles d’IA.

  • Contrairement aux caméras IP traditionnelles qui nécessitent du matériel externe pour le traitement, reCamera :

    • Intègre le traitement de l’IA directement sur l’appareil grâce à son processeur RISC-V SG200X
    • Offre une puissance de calcul de 1 TOPS pour les applications d’IA en périphérie en temps réel
    • Dispose d’une conception modulaire qui permet la mise à niveau et la personnalisation des composants
    • Prend en charge des technologies vidéo avancées comme la compression H.264/H.265, l’imagerie HDR et la réduction du bruit 3D
    • Fourni avec des modèles Ultralytics YOLO préinstallés et prêts à l’emploi

    Grâce à ces fonctionnalités, reCamera constitue une solution autonome pour les applications d’IA en périphérie, sans nécessiter de matériel de traitement externe supplémentaire.

Commentaires50

Pose une question, partage tes résultats ou aide quelqu’un d’autre.

    1. Glenn JocherUltralytics

      Yes, a custom-trained YOLO26 model can run on reCamera using the ONNX -> MLIR -> cvimodel workflow in the reCamera guide; if you hit a blocker, please share the exact step and full error here so the Ultralytics team can help.

  1. HanJammerGitHub

    This site mentions recamera comes with YOLO26 (which is why I bought two of them) yet YOLO11 is installed (which is visible on screenshots as well) and I can't load YOLO26 - how to do that? I can't find reliable guide :(

    1. HanJammerGitHub

      Ah nevermind, I think I got it, still it would be better not to advertise the camera "reCamera comes pre-installed with four Ultralytics YOLO26 models" which is basically not true.

    2. HanJammerGitHub

      I whipped out some 'single click' tool to convert YOLO26 onnx-es which makes it a bit easier... I need to test it a bit, for now it supports the base model. Perhaps I will push it to my github later this week.

      image

    1. Glenn JocherUltralytics

      I don’t personally keep a reCamera on my desk, but the workflow in the Seeed Studio reCamera guide is the supported path; if you have a specific setup or export question, please drop it here and the Ultralytics team can take a look.

  2. tcpipchipGitHub

    I tested on recamera with my trainned pose keypoint model... Same problem...no keypoint

    Need to test on yolo8 on tdl sdk

    1. Glenn JocherUltralytics

      Thanks for checking this; for custom pose models on reCamera, please drop the exact export and conversion steps here in the discussion so the Ultralytics team can take a look, since keypoints should work only after a correct ONNX -> MLIR -> cvimodel pipeline as outlined in the reCamera guide and Seeed’s conversion guide, and it’s worth first confirming your exported ONNX model still produces keypoints before converting.

  3. tcpipchipGitHub(modifié)

    did you do calibration ? where the images to me to the calibration :(

    1. Glenn JocherUltralytics

      Calibration isn’t done in the Ultralytics export step; for reCamera, you export to ONNX first with the reCamera guide, then calibration happens during Seeed’s ONNX→MLIR→cvimodel flow using a small representative set of your own images, as described in Seeed’s Convert and Quantize AI Models guide. If you hit an error in that step, please drop the full log here and we’ll take a look.

    1. tiruvijayakumarGitHub

      NOO, i didnt train on animals, i trained on these classes for pose detection for persons using yolov11n-pose.pt weights. I fine‑tuned the YOLOv11n‑pose.pt model on my custom classes:

      Running Walking Golf Skate Horse riding Kicking Diving I just uploaded animal detection model to justify that custom model deployment with quantization for object detection(yolo11n.pt) on recamera has no issues, it was another cvi model which i had no issues, it worked PERFECTLY. i only issue what i am facing is the pose detection quantized model where i am not able to see the keypoints on the inference output but bounding box is drawn along with predicted class label refer below: image image

      now just trying to train the model for pose detection using yolov8 and then i would try quantizing the model and check if the keypoints are shown in the inference output

    2. Glenn JocherUltralytics

      Thanks, that helps narrow it down — since detection cvimodels work and only the quantized pose model loses keypoints, this looks more like a pose conversion or postprocessing issue in the ONNX → MLIR → cvimodel step than a training problem. Please keep the details here so the Ultralytics team can see them, and share the exact conversion commands and full text logs from the reCamera guide and Seeed model conversion guide, plus whether the same pre-quantized ONNX shows keypoints before conversion.

    3. tiruvijayakumarGitHub(modifié)

      i ran predictions on ultralytics hub on the .pt model format, i attached the whole problem scenario and image content :https://github.com/orgs/ultralytics/discussions/22090?sort=new#discussioncomment-16346206 Any ways uploading the prediction on ultralytics hub in this thread also : image so on the model.pt file inference shows this data, this confirms that pose estimation model works. { "images": [ { "shape": [ 426, 640 ], "speed": { "preprocess": 1.41517, "inference": 130.14456, "postprocess": 0.99221 }, "results": [ { "name": "Kicking", "class": 5, "confidence": 0.80929, "box": { "x1": 0.26068, "y1": 0.10738, "x2": 0.55882, "y2": 0.85426 }, "keypoints": { "x": [ 0.41923001408576965, 0.42656999826431274, 0.4166699945926666, 0.45181000232696533, 0.42857998609542847, 0.488209992647171, 0.43380001187324524, 0.543470025062561, 0.41604000329971313, 0.5516700148582458, 0.4164600074291229, 0.46198999881744385, 0.4427199959754944, 0.357340008020401, 0.427839994430542, 0.29197001457214355, 0.43891000747680664 ], "y": [ 0.2315099984407425, 0.21907000243663788, 0.21740999817848206, 0.21602000296115875, 0.21322999894618988, 0.2783600091934204, 0.2824600040912628, 0.3255299925804138, 0.35097000002861023, 0.32879000902175903, 0.3619599938392639, 0.5179499983787537, 0.5104399919509888, 0.6517800092697144, 0.6389099955558777, 0.7586100101470947, 0.7324900031089783 ], "visible": [ 0.9994300007820129, 0.9990299940109253, 0.9990000128746033, 0.999019980430603, 0.9988300204277039, 0.9995700120925903, 0.9996600151062012, 0.998960018157959, 0.9992700219154358, 0.9985499978065491, 0.997439980506897, 0.9995700120925903, 0.9995700120925903, 0.9988800287246704, 0.9989299774169922, 0.982990026473999, 0.9852499961853027 ] } } ] } ], "metadata": { "imageCount": 1, "functionTimeAlive": 78321.917, "functionTimeCall": 0.138, "model": "best.pt", "version": { "ultralytics": "8.4.30", "torch": "2.11.0+cpu", "torchvision": "0.26.0+cpu", "python": "3.14.3" } }, "networkTime": 1.214 }

      I didnt capture the conversion commands and text logs during the onnx->mlir->cvimodel, would repeat the same steps and paste the images in this thread itself.

    4. tiruvijayakumarGitHub

      Exported the yolov11n-pose.pt(finetuned) on google colab to onnx format image Uploaded the model on netron to view the structure, onnx is in the format IRv9 ,opset v20(would downgrade it). Classes are running, walking, golf-swing, skateboarding, riding-horse and kicking image image image image Seeed studio guide for downgrading image Initial structure of workspace folder image Step1: pull sopho/tpuc_dev:v3.1 image Step2: starting the container image Step3: installing onnx image Step4: Clone Downgrade Script image Step5: Downgrade Script settings IR v8 and Opset v17 image image image Step6: Install TPU-MLIR tools inside container: image

      Step7: clone tpu-mlir image Step8: setup environment tpu-mlir(long step) image image

      Step9: according to seeed studio guide, i have to include outputs before the model's head as the parameter for this particular step model_transform
      --model_name yolo11n
      --model_def yolo11n.onnx
      --input_shapes "[[1,3,640,640]]"
      --mean "0.0,0.0,0.0"
      --scale "0.0039216,0.0039216,0.0039216"
      --keep_aspect_ratio
      --pixel_format rgb
      --output_names "/model.23/cv2.0/cv2.0.2/Conv_output_0,/model.23/cv3.0/cv3.0.2/Conv_output_0,/model.23/cv2.1/cv2.1.2/Conv_output_0,/model.23/cv3.1/cv3.1.2/Conv_output_0,/model.23/cv2.2/cv2.2.2/Conv_output_0,/model.23/cv3.2/cv3.2.2/Conv_output_0"
      --test_input ../image/dog.jpg
      --test_result yolo11n_top_outputs.npz
      --mlir yolo11n.mlir i have the onnx file, could someone of the team help me identify the outputs before the model's head? @glenn-jocher here is the onnx file https://drive.google.com/file/d/1UF25DK2zXx0GCWdcx55SPYHL71SylDeg/view?usp=sharing