Commencer

Segmentation d’instances et suivi avec Ultralytics YOLO26

Qu’est-ce que la segmentation d’instances ?#

La segmentation d’instances est une tâche de vision par ordinateur qui consiste à identifier et à délimiter des objets individuels dans une image au niveau du pixel. Contrairement à la segmentation sémantique, qui classe uniquement les pixels par catégorie, la segmentation d’instances attribue une étiquette unique à chaque instance d’objet et la délimite avec précision. Elle est donc essentielle pour les applications nécessitant une compréhension spatiale détaillée, comme l’imagerie médicale, la conduite autonome et l’automatisation industrielle.

Ultralytics YOLO26 délimite précisément les objets tout en conservant la vitesse et l’efficacité qui font la réputation des modèles YOLO.

Le package Ultralytics propose deux types de suivi par segmentation d’instances :

  • Segmentation d’instances avec objets de classe : chaque objet de classe reçoit une couleur unique afin d’être clairement distingué.

  • Segmentation d’instances avec suivi d’objets : chaque trajectoire est représentée par une couleur distincte, ce qui facilite l’identification et le suivi d’une image vidéo à l’autre.



Regarder : Segmentation d’instances avec suivi d’objets à l’aide d’Ultralytics YOLO26

Échantillons#

Segmentation d’instancesSegmentation d’instances + suivi d’objets
Segmentation d’instances UltralyticsSegmentation d’instances Ultralytics avec suivi d’objets
Segmentation d’instances UltralyticsSegmentation d’instances avec suivi d’objets par Ultralytics

Segmenter et suivre avec YOLO26#

La solution InstanceSegmentation exécute un modèle de segmentation YOLO26 sur chaque image, dessine les masques de chaque objet et attribue une couleur distincte à chaque instance pour que tu puisses suivre les objets individuellement dans une vidéo. Charge un modèle -seg tel que YOLO26n-seg, puis exécute-le sur ta source avec l’API Python ou la CLI.

Segmentation d’instances avec Ultralytics YOLO
# Instance segmentation using Ultralytics YOLO26
yolo solutions isegment show=True

# Pass a source video
yolo solutions isegment source="path/to/video.mp4"

# Monitor the specific classes
yolo solutions isegment classes="[0, 5]"

Arguments de InstanceSegmentation#

Voici un tableau des arguments de InstanceSegmentation :

ArgumentTypeValeur par défautDescription
modelstrNoneChemin vers un fichier de modèle Ultralytics YOLO.
line_widthint2Épaisseur des lignes des boîtes, des points clés et des compteurs dessinés par la solution.
verboseboolTrueActive le journal de la solution pour chaque image, qui indique la forme de l'entrée, le nombre d'éléments par classe et la vitesse de traitement. L'appel de suivi reste toujours silencieux.

Tu peux aussi utiliser les arguments track dans la solution InstanceSegmentation :

ArgumentTypeValeur par défautDescription
trackerstr'tracktrack.yaml'Indique l'algorithme de suivi à utiliser. Options intégrées : botsort.yaml, bytetrack.yaml, ocsort.yaml, deepocsort.yaml, fasttrack.yaml, tracktrack.yaml.
conffloat0.25Définit le seuil de confiance des détections ; des valeurs plus faibles permettent de suivre davantage d'objets, mais peuvent inclure des faux positifs.
ioufloat0.5Définit le seuil d'intersection sur l'union (IoU) utilisé pour filtrer les détections qui se chevauchent.
classeslistNoneFiltre les résultats selon l'indice de classe. Par exemple, classes=[0, 2, 3] ne suit que les classes spécifiées.
devicestrNoneIndique le périphérique utilisé pour l'inférence (par exemple, cpu, cuda:0 ou 0). Permet de choisir entre le CPU, un GPU spécifique ou d'autres périphériques de calcul pour l'exécution du modèle.
imgszint or tuple640Taille cible de l'image pour l'inférence : un entier pour une image carrée ou une paire (height, width). Les dimensions sont ajustées au stride du modèle.
max_detint300Nombre maximal de détections conservées par image avant le suivi, ce qui limite le nombre d'objets qu'une solution traite dans les scènes denses.
quantizeint or strNonePrécision d’inférence : 16 (FP16) ou 32/unset (FP32) pour les modèles PyTorch et TorchScript hors CPU ; les autres formats utilisent la précision définie par leur artefact et leur environnement d’exécution. Remplace l’argument half obsolète.

De plus, les arguments de visualisation suivants sont disponibles :

ArgumentTypeValeur par défautDescription
showboolFalseSi True, affiche les images ou vidéos annotées dans une fenêtre. Utile pour obtenir un retour visuel immédiat pendant le développement ou les tests.
show_confboolTrueAffiche le score de confiance de chaque détection à côté de son étiquette. Donne une indication du degré de certitude du modèle pour chaque détection.
show_labelsboolTrueAffiche les étiquettes de chaque détection dans le résultat visuel. Permet d'identifier immédiatement les objets détectés.
show_boxesboolTrueDessine des boîtes englobantes autour des objets détectés. Indispensable pour visualiser et localiser les objets dans les images ou les images vidéo.

Applications de la segmentation d’instances#

La segmentation d’instances avec YOLO26 a de nombreuses applications concrètes dans divers secteurs :

Gestion et recyclage des déchets#

YOLO26 peut être utilisé dans des installations de gestion des déchets pour identifier et trier différents types de matériaux. Le modèle peut segmenter les déchets plastiques, le carton, le métal et d’autres matières recyclables avec une grande précision, ce qui permet aux systèmes de tri automatisés de traiter les déchets plus efficacement. C’est particulièrement utile étant donné qu’à peine 10 % environ des 7 milliards de tonnes de déchets plastiques générés dans le monde sont recyclés.

Véhicules autonomes#

Dans les voitures autonomes, la segmentation d’instances aide à identifier et à suivre les piétons, les véhicules, les panneaux de signalisation et les autres éléments de la route au niveau du pixel. Cette compréhension précise de l’environnement est essentielle à la navigation et aux décisions de sécurité. Les performances en temps réel de YOLO26 en font un modèle particulièrement adapté à ces applications où le temps est un facteur critique.

Imagerie médicale#

La segmentation d’instances peut identifier et délimiter des tumeurs, des organes ou des structures cellulaires dans des examens médicaux. La capacité de YOLO26 à délimiter précisément les contours des objets est utile pour le diagnostic médical et la planification des traitements.

Surveillance des chantiers de construction#

Sur les chantiers de construction, la segmentation d’instances permet de suivre les engins lourds, les ouvriers et les matériaux. Elle contribue à la sécurité en surveillant la position des équipements et en détectant l’entrée des ouvriers dans les zones dangereuses, tout en optimisant le flux de travail et l’affectation des ressources.

FAQ#

  • Pour effectuer une segmentation d’instances avec Ultralytics YOLO26, initialise la solution InstanceSegmentation avec un modèle de segmentation YOLO26 et traite les images vidéo avec ce modèle. Voici un exemple de code simplifié :

    import cv2
    
    from ultralytics import solutions
    
    cap = cv2.VideoCapture("path/to/video.mp4")
    assert cap.isOpened(), "Error reading video file"
    
    # Écriture de la vidéo
    w, h, fps = (int(cap.get(x)) for x in (cv2.CAP_PROP_FRAME_WIDTH, cv2.CAP_PROP_FRAME_HEIGHT, cv2.CAP_PROP_FPS))
    video_writer = cv2.VideoWriter("instance-segmentation.avi", cv2.VideoWriter_fourcc(*"mp4v"), fps, (w, h))
    
    # Initialiser la segmentation d’instances
    isegment = solutions.InstanceSegmentation(
        show=True,  # afficher le résultat
        model="yolo26n-seg.pt",  # model="yolo26n-seg.pt" pour la segmentation d’objets avec YOLO26.
    )
    
    # Traiter la vidéo
    while cap.isOpened():
        success, im0 = cap.read()
        if not success:
            print("Video frame is empty or processing is complete.")
            break
        results = isegment(im0)
        video_writer.write(results.plot_im)
    
    cap.release()
    video_writer.release()
    cv2.destroyAllWindows()
  • La segmentation d’instances identifie et délimite les objets individuels dans une image, en attribuant à chacun une étiquette et un masque uniques. Le suivi d’objets va plus loin en attribuant des ID cohérents aux objets d’une image vidéo à l’autre, ce qui permet de suivre continuellement les mêmes objets au fil du temps. Combinées, comme dans l’implémentation de YOLO26, ces techniques te permettent d’analyser le mouvement et le comportement des objets dans les vidéos tout en conservant des informations précises sur leurs contours.

  • Ultralytics YOLO26 offre des performances en temps réel, une précision compétitive et une grande facilité d’utilisation par rapport aux modèles à deux étapes comme Mask R-CNN ou Faster R-CNN. YOLO26 traite les images en une seule passe (détection en une étape), ce qui le rend beaucoup plus rapide tout en maintenant une grande précision. Il s’intègre également à Ultralytics Platform pour gérer les modèles, les jeux de données et les pipelines d’entraînement. Pour les applications qui exigent à la fois vitesse et précision, YOLO26 offre un excellent équilibre.

  • Oui, Ultralytics propose plusieurs jeux de données adaptés à l’entraînement de modèles YOLO26 pour la segmentation d’instances, notamment COCO-Seg, COCO8-Seg (un sous-ensemble plus petit pour les tests rapides), Package-Seg et Crack-Seg. Ces jeux de données comprennent les annotations au niveau du pixel nécessaires aux tâches de segmentation d’instances. Pour des applications plus spécialisées, tu peux également créer des jeux de données personnalisés au format Ultralytics. Tu trouveras toutes les informations sur les jeux de données et les instructions d’utilisation dans la documentation des jeux de données Ultralytics.

Commentaires99

Pose une question, partage tes résultats ou aide quelqu’un d’autre.

  1. CatFatOwGitHub

    Hello, I am trying to analyze a video and see if features grow/shrink over time. I am currently trying to use instance segmentation with object tracking; however, specifying save_txt=True parameter in model.track saves every single prediction into a single huge txt file. Trying to count the frames by going through this large txt apparently doesn't work as the class ID are not in order and sorting it would lose all information.

    Is there any way for Ultralytics to save the txt files by frame number? For example, frame1.txt only contains the predictions of the first frame.

    Any help would be greatly appreciated!

    1
    1. Glenn JocherUltralytics

      For per-frame TXT saving with tracking, you'll need to process results in your video loop and write custom frame-specific files. Here's a minimal adaptation of the Instance Segmentation and Tracking example:

      frame_count = 0
      while cap.isOpened():
          ret, im0 = cap.read()
          if not ret: break
          
          results = model.track(im0, persist=True)
          
          # Save current frame's tracked objects
          with open(f'frame{frame_count}.txt', 'w') as f:
              for box, mask, track_id in zip(results[0].boxes, results[0].masks, results[0].boxes.id.int().cpu().tolist()):
                  f.write(f"{track_id} {box.cls.item()} {box.xywhn.tolist()} {mask.xy[0].tolist()}\n")
          
          frame_count += 1

      This creates individual frameX.txt files with tracking IDs, class IDs, normalized boxes, and mask coordinates. The official documentation shows similar frame processing in the Instance Segmentation with Object Tracking examples.

    2. Glenn JocherUltralytics

      For per-frame TXT saving during tracking, you'll need to process each frame individually in your video loop as shown in the Instance Segmentation with Object Tracking example. Here's a minimal adaptation that creates frame-specific files:

      frame_count = 0
      while cap.isOpened():
          ret, im0 = cap.read()
          if not ret: break
          
          results = model.track(im0, persist=True)
          
          with open(f'frame{frame_count}.txt', 'w') as f:
              for box, mask, track_id in zip(results[0].boxes, results[0].masks, results[0].boxes.id.int().cpu().tolist()):
                  f.write(f"{track_id} {box.cls.item()} {box.xywhn.tolist()} {mask.xy[0].tolist()}\n")
          
          frame_count += 1

      This creates individual frameX.txt files with tracking IDs, class IDs, normalized boxes, and mask coordinates per frame. The approach mirrors the frame processing shown in our official tracking documentation.

  2. pedmindsetGitHub

    Been trying to figure this out for a while now. I want to ask, can I use object counting in regions with instance sementation and tracking? You want to count vehicles that cross two specific regions, like so Object 001 crossed region A and region B. Is this possible to do

    1
    1. Glenn JocherUltralytics

      @pedmindset yes, it is possible to combine object counting in regions with instance segmentation and tracking using Ultralytics YOLO11. You can use the track method to assign consistent IDs to objects across frames and define regions to monitor their crossings. For guidance, refer to the segmentation and tracking examples in the Instance Segmentation and Tracking Guide. Let us know if you need further clarification!

  3. DP1701GitHub

    Cool, but I can't define an imgsz via solutions.InstanceSegmentation(…). Is there another option for this?

    1. Glenn JocherUltralytics

      solutions.InstanceSegmentation is a higher-level wrapper and doesn’t currently expose imgsz directly; if you need to control input size, run segmentation+tracking via the core YOLO(...).track() API (supports imgsz) as shown in the Tracking mode docs and keep using the Instance Segmentation and Tracking guide for solution-level usage.

      from ultralytics import YOLO
      
      model = YOLO("yolo26n-seg.pt")
      results = model.track(source="path/to/video.mp4", imgsz=640, show=True, tracker="botsort.yaml")
  4. CatFatOwGitHub

    Hello, I noticed that when using tracking mode compared to normal segmentation prediction, the number of features predicted decreased by quite a lot for feature dense videos even if I use the same parameters of confidence and maximum detection?

    1. Glenn JocherUltralytics

      @CatFatOw great observation! This is actually expected behavior when using tracking mode compared to plain segmentation. Tracking algorithms apply additional filtering beyond confidence thresholds to maintain stable tracks, which can reduce the total number of detections.

      Here are a few things that might help increase detections while maintaining tracking:

      # Try adjusting these tracking-specific parameters
      results = model.track(
          frame, 
          persist=True,
          conf=0.3,  # Lower confidence threshold
          iou=0.5,   # Adjust IoU threshold for NMS
          max_det=1000,  # Increase max detections
          tracker="bytetrack.yaml"  # Try different trackers
      )

      You can also experiment with different tracking algorithms - ByteTrack tends to be more permissive with new track creation compared to BoTSORT. The trade-off is between detection sensitivity and tracking stability, where tracking prioritizes consistent object IDs over detecting every possible instance.

      If you need maximum detection sensitivity, consider running both modes and using tracking results only when you need the temporal consistency.

  5. Mauricio566GitHub

    Hello. Please, I need your help. I know exactly what segmenting an object is and how to do it. But I don't know what to do with an already segmented object or pixel mask. You can find a lot of information online about "how to segment a model or fit it to your dataset," but they don't tell you what to do with those masks in real projects. Can you give me some ideas or help, please? for r in results:
    if r.masks is not None: mask = r.masks.data[0].cpu().numpy() there is the mask but honestly I don't know what to do. thanks

  6. e-roeGitHub

    Hello Glenn, thanks for the example! Actually, I had already figured it out—it was more of a suggestion for the documentation examples. []´s

    1. Glenn JocherUltralytics

      Thank you for the suggestion! We always welcome community contributions to improve our documentation through GitHub Pull Requests. Feel free to submit any specific improvements you'd like to see in the Instance Segmentation with Object Tracking guide.

      1
  7. e-roeGitHub

    Hello, Wouldn't it be good to have a complete example showing how to extract the track ID, contour points, class, and confidence? These methods that handle everything automatically end up being of little practical use, and finding this information in the documentation is quite challenging—it's often easier to find from third-party sources. []´s

    1. Glenn JocherUltralytics(modifié)

      @e-roe thanks for your feedback! You can access track IDs, classes, masks, and confidence scores directly from the results object. Here's a concise example showing how to extract these details:

      results = isegment(im0)
      for i in range(len(isegment.clss)):
          track_id = isegment.track_ids[i]
          class_name = isegment.names[isegment.clss[i]]
          confidence = isegment.confs[i]
          mask = isegment.masks[i].data[0].numpy()  # Binary mask array
          contours, _ = cv2.findContours(mask.astype(np.uint8), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

      For full implementation details, see the InstanceSegmentation reference in our documentation. Let us know if you need further clarification!

  8. expen6veGitHub

    Hi! I tried training a pretrained yolov8m-seg model on our custom 1 class dataset consisting of 1,307 images with 5 augmentations like:

    Flip: Horizontal, Vertical Rotation: Between -15° and +15° Saturation: Between -25% and +25% Blur: Up to 1.4px Noise: Up to 1.49% of pixels

    with these training configurations:

    # Train the model
    results = model.train(
        data="data6.yaml",
        epochs=250,
        imgsz=320,
        batch=8,
        workers=4,
        device=device,
        patience=18,
        copy_paste=0.1  # Add this line to enable copy-paste augmentation
    )

    this is my 16th model training as i tried testing out from 200+ images that and so on. In my val plots, i always get bad results. What can i further do to make a good model? it stopped training at 128 with the results below:

    epoch,time,train/box_loss,train/seg_loss,train/cls_loss,train/dfl_loss,metrics/precision(B),metrics/recall(B),metrics/mAP50(B),metrics/mAP50-95(B),metrics/precision(M),metrics/recall(M),metrics/mAP50(M),metrics/mAP50-95(M),val/box_loss,val/seg_loss,val/cls_loss,val/dfl_loss,lr/pg0,lr/pg1,lr/pg2

    126,4123.96,0.47628,0.76702,0.30532,0.85667,0.9862,0.96565,0.98972,0.94445,0.9775,0.97566,0.98923,0.83189,0.35178,0.67432,0.26286,0.89191,0.00101,0.00101,0.00101 127,4156.45,0.47613,0.76458,0.30439,0.85872,0.96877,0.98339,0.98913,0.94227,0.98701,0.96962,0.99053,0.83626,0.34228,0.67744,0.25083,0.88958,0.00100208,0.00100208,0.00100208

    1. Glenn JocherUltralytics(modifié)

      @expen6ve thank you for sharing your training details. For improved segmentation results with YOLO26, consider these adjustments:

      1. Dataset Size: 1.3k images may be insufficient for robust segmentation. Aim for ≥5k high-quality annotated images.
      2. Augmentation Tuning: Reduce rotation range (try ±5°) and remove noise augmentation, which can degrade mask precision.
      3. Hyperparameters: Increase imgsz to 640 (standard for segmentation tasks) and lower learning rate to 0.0001 with cosine scheduler.
      4. Model Selection: Try YOLO26s-seg instead of medium-sized models for better generalization on limited data.

      For detailed guidance, see the Segmentation Training Tips in our documentation.

  9. ShreyasChhetriGitHub

    Hi can we implement a Reinforcement Learning function up above the Yolo training function for more accuracy can it happen ?

    1. Glenn JocherUltralytics

      @ShreyasChhetri integrating reinforcement learning (RL) with YOLO training is an interesting idea, but YOLO models are not inherently designed for RL workflows. While it is theoretically possible, it would require substantial custom development outside the scope of the provided Ultralytics framework. You might consider exploring hybrid approaches combining RL and computer vision if your use case demands it. For standard training, refer to the existing YOLO training documentation: https://docs.ultralytics.com/modes/train.

  10. ZhangAiyiGitHub

    I have a question when run the code for Instance Segmentation with Object Tracking. The pycharm said UnicodeEncodeError: 'gbk' codec can't encode character '\u274c' in position 401: illegal multibyte sequence. Does anyone have the similar question? Thank you.

    1. Glenn JocherUltralytics

      @ZhangAiyi it seems like you're encountering a Unicode encoding issue. You can try setting your environment's encoding to UTF-8 in PyCharm to resolve this. If the problem persists, please check the PyCharm settings or your system's locale configuration.