Erste Schritte

Instanzsegmentierung und Tracking mit Ultralytics YOLO26

Was ist Instanzsegmentierung?#

Instanzsegmentierung ist eine Computer-Vision-Aufgabe, bei der einzelne Objekte in einem Bild auf Pixelebene erkannt und abgegrenzt werden. Im Gegensatz zur semantischen Segmentierung, die Pixel lediglich einer Kategorie zuordnet, kennzeichnet und grenzt die Instanzsegmentierung jede einzelne Objektinstanz eindeutig ab. Das ist entscheidend für Anwendungen, die ein detailliertes räumliches Verständnis erfordern, etwa medizinische Bildgebung, autonomes Fahren und industrielle Automatisierung.

Ultralytics YOLO26 grenzt Objekte präzise ab und behält dabei die Geschwindigkeit und Effizienz bei, für die YOLO-Modelle bekannt sind.

Im Ultralytics-Paket stehen zwei Arten des Trackings bei der Instanzsegmentierung zur Verfügung:

  • Instanzsegmentierung mit Klassenobjekten: Jedes Klassenobjekt erhält eine eindeutige Farbe, damit es visuell klar von den anderen unterscheidbar ist.

  • Instanzsegmentierung mit Objekttracks: Jeder Track wird durch eine eigene Farbe dargestellt, sodass Objekte über Videoframes hinweg leicht identifiziert und verfolgt werden können.



Ansehen: Instanzsegmentierung mit Objektverfolgung mit Ultralytics YOLO26

Beispiele#

InstanzsegmentierungInstanzsegmentierung + Objektverfolgung
Ultralytics-InstanzsegmentierungUltralytics-Instanzsegmentierung mit Objektverfolgung
Instanzsegmentierung mit UltralyticsInstanzsegmentierung mit Ultralytics und Objekt-Tracking

Segmentieren und verfolgen mit YOLO26#

Die Lösung InstanceSegmentation führt in jedem Frame ein YOLO26-Segmentierungsmodell aus, zeichnet Masken für die einzelnen Objekte und färbt jede Instanz separat ein, damit du einzelne Objekte im Video verfolgen kannst. Lade ein -seg-Modell wie YOLO26n-seg und führe es dann mit der Python-API oder der CLI auf deiner Quelle aus.

Instanzsegmentierung mit Ultralytics YOLO
# Instance segmentation using Ultralytics YOLO26
yolo solutions isegment show=True

# Pass a source video
yolo solutions isegment source="path/to/video.mp4"

# Monitor the specific classes
yolo solutions isegment classes="[0, 5]"

Argumente für InstanceSegmentation#

Hier ist eine Tabelle mit den Argumenten für InstanceSegmentation:

ArgumentTypStandardBeschreibung
modelstrNonePfad zu einer Ultralytics-YOLO-Modelldatei.
line_widthint2Linienstärke für die Boxen, Keypoints und Zählwerte, die von der Lösung eingezeichnet werden.
verboseboolTrueAktiviert das Protokoll der Lösung für jedes Bild, das Eingabeform, Klassenanzahlen und Verarbeitungsgeschwindigkeit enthält. Der Tracking-Aufruf selbst gibt grundsätzlich keine Meldungen aus.

Du kannst auch die Argumente track innerhalb der Lösung InstanceSegmentation verwenden:

ArgumentTypStandardBeschreibung
trackerstr'tracktrack.yaml'Legt den zu verwendenden Verfolgungsalgorithmus fest. Integrierte Optionen: botsort.yaml, bytetrack.yaml, ocsort.yaml, deepocsort.yaml, fasttrack.yaml, tracktrack.yaml.
conffloat0.25Legt den Konfidenzschwellenwert für Erkennungen fest. Niedrigere Werte ermöglichen die Verfolgung weiterer Objekte, können aber auch falsch positive Ergebnisse einschließen.
ioufloat0.5Legt den Schwellenwert für die Schnittmenge über Vereinigung (IoU) fest, um überlappende Erkennungen herauszufiltern.
classeslistNoneFiltert die Ergebnisse nach Klassenindex. Beispielsweise verfolgt classes=[0, 2, 3] nur die angegebenen Klassen.
devicestrNoneLegt das Gerät für die Inferenz fest (z. B. cpu, cuda:0 oder 0). So kannst du für die Modellausführung zwischen CPU, einer bestimmten GPU oder anderen Rechengeräten wählen.
imgszint or tuple640Zielbildgröße für die Inferenz: eine Ganzzahl für ein quadratisches Bild oder ein (height, width)-Paar. Die Formen werden an den Modellschritt angepasst.
max_detint300Maximale Anzahl der Erkennungen, die pro Bild vor der Verfolgung beibehalten werden. Dadurch wird die Anzahl der Objekte begrenzt, die eine Lösung in dichten Szenen verarbeitet.
quantizeint or strNoneInferenzpräzision: 16 (FP16) oder 32/unset (FP32) für PyTorch- und TorchScript-Modelle außerhalb der CPU; andere Formate verwenden die Präzision, die ihr Artefakt und ihre Laufzeitumgebung vorgeben. Ersetzt das veraltete Argument half.

Außerdem stehen die folgenden Visualisierungsargumente zur Verfügung:

ArgumentTypStandardBeschreibung
showboolFalseWenn True aktiviert ist, werden die annotierten Bilder oder Videos in einem Fenster angezeigt. Nützlich für unmittelbares visuelles Feedback während der Entwicklung oder beim Testen.
show_confboolTrueZeigt neben der Bezeichnung den Konfidenzwert jeder Erkennung an. Gibt Aufschluss darüber, wie sicher sich das Modell bei der jeweiligen Erkennung ist.
show_labelsboolTrueZeigt für jede Erkennung eine Bezeichnung in der visuellen Ausgabe an. So lassen sich erkannte Objekte sofort erkennen.
show_boxesboolTrueZeichnet Begrenzungsrahmen um erkannte Objekte. Unverzichtbar, um Objekte in Bildern oder Videobildern visuell zu identifizieren und zu lokalisieren.

Anwendungsbereiche der Instanzsegmentierung#

Die Instanzsegmentierung mit YOLO26 hat zahlreiche praktische Anwendungen in verschiedenen Branchen:

Abfallwirtschaft und Recycling#

YOLO26 kann in Abfallentsorgungsanlagen eingesetzt werden, um verschiedene Materialarten zu erkennen und zu sortieren. Das Modell kann Kunststoffabfälle, Karton, Metall und andere Wertstoffe mit hoher Präzision segmentieren. So können automatisierte Sortiersysteme Abfälle effizienter verarbeiten. Das ist besonders wichtig, da weltweit nur etwa 10 % der 7 Milliarden Tonnen Kunststoffabfälle recycelt werden.

Autonome Fahrzeuge#

Beim autonomen Fahren hilft die Instanzsegmentierung dabei, Fußgänger, Fahrzeuge, Verkehrsschilder und andere Straßenelemente auf Pixelebene zu erkennen und zu verfolgen. Dieses präzise Verständnis der Umgebung ist entscheidend für Navigations- und Sicherheitsentscheidungen. Dank der Echtzeitleistung eignet sich YOLO26 gut für diese zeitkritischen Anwendungen.

Medizinische Bildgebung#

Die Instanzsegmentierung kann Tumore, Organe oder Zellstrukturen in medizinischen Aufnahmen erkennen und abgrenzen. Dank der präzisen Abgrenzung von Objektgrenzen ist YOLO26 für die medizinische Diagnostik und Behandlungsplanung besonders nützlich.

Überwachung von Baustellen#

Auf Baustellen kann die Instanzsegmentierung schwere Maschinen, Arbeiter und Materialien verfolgen. Das trägt zur Sicherheit bei, indem die Position von Geräten überwacht und erkannt wird, wenn Arbeiter Gefahrenbereiche betreten. Gleichzeitig lassen sich Arbeitsabläufe und die Ressourcenzuweisung optimieren.

Häufig gestellte Fragen#

  • Um mit Ultralytics YOLO26 eine Instanzsegmentierung durchzuführen, initialisiere die Lösung InstanceSegmentation mit einem YOLO26-Segmentierungsmodell und verarbeite damit Videoframes. Hier ist ein vereinfachtes Codebeispiel:

    import cv2
    
    from ultralytics import solutions
    
    cap = cv2.VideoCapture("path/to/video.mp4")
    assert cap.isOpened(), "Error reading video file"
    
    # Video-Writer
    w, h, fps = (int(cap.get(x)) for x in (cv2.CAP_PROP_FRAME_WIDTH, cv2.CAP_PROP_FRAME_HEIGHT, cv2.CAP_PROP_FPS))
    video_writer = cv2.VideoWriter("instance-segmentation.avi", cv2.VideoWriter_fourcc(*"mp4v"), fps, (w, h))
    
    # Instanzsegmentierung initialisieren
    isegment = solutions.InstanceSegmentation(
        show=True,  # # Ausgabe anzeigen
        model="yolo26n-seg.pt",  # model="yolo26n-seg.pt" zur Objektsegmentierung mit YOLO26.
    )
    
    # Video verarbeiten
    while cap.isOpened():
        success, im0 = cap.read()
        if not success:
            print("Video frame is empty or processing is complete.")
            break
        results = isegment(im0)
        video_writer.write(results.plot_im)
    
    cap.release()
    video_writer.release()
    cv2.destroyAllWindows()
  • Die Instanzsegmentierung erkennt und umrandet einzelne Objekte in einem Bild und weist jedem Objekt eine eindeutige Kennzeichnung und Maske zu. Das Objekt-Tracking erweitert dies, indem Objekten in Videoframes durchgehend dieselben IDs zugewiesen werden, sodass dieselben Objekte kontinuierlich über die Zeit verfolgt werden können. In der Kombination, wie bei der Implementierung von YOLO26, kannst du Objektbewegungen und -verhalten in Videos analysieren und dabei präzise Informationen zu den Begrenzungen beibehalten.

  • Ultralytics YOLO26 bietet im Vergleich zu zweistufigen Modellen wie Mask R-CNN oder Faster R-CNN Echtzeitleistung, konkurrenzfähige Genauigkeit und einfache Bedienung. YOLO26 verarbeitet Bilder in einem einzigen Durchlauf (einstufige Erkennung) und ist dadurch deutlich schneller, ohne bei der Präzision Abstriche zu machen. Außerdem ist das Modell in die Ultralytics Platform zur Verwaltung von Modellen, Datensätzen und Trainingspipelines integriert. Für Anwendungen, die sowohl Geschwindigkeit als auch Genauigkeit erfordern, bietet YOLO26 eine ausgewogene Lösung.

  • Ja, Ultralytics bietet mehrere Datensätze an, die sich zum Trainieren von YOLO26-Modellen für die Instanzsegmentierung eignen. Dazu gehören COCO-Seg, COCO8-Seg (eine kleinere Teilmenge für schnelle Tests), Package-Seg und Crack-Seg. Diese Datensätze enthalten die für Instanzsegmentierungsaufgaben erforderlichen Annotationen auf Pixelebene. Für speziellere Anwendungen kannst du auch eigene Datensätze im Ultralytics-Format erstellen. Vollständige Informationen zu den Datensätzen und Anweisungen zur Verwendung findest du in der Ultralytics-Datensatzdokumentation.

Kommentare99

Stell eine Frage, teile deine Ergebnisse oder hilf jemand anderem.

  1. CatFatOwGitHub

    Hello, I am trying to analyze a video and see if features grow/shrink over time. I am currently trying to use instance segmentation with object tracking; however, specifying save_txt=True parameter in model.track saves every single prediction into a single huge txt file. Trying to count the frames by going through this large txt apparently doesn't work as the class ID are not in order and sorting it would lose all information.

    Is there any way for Ultralytics to save the txt files by frame number? For example, frame1.txt only contains the predictions of the first frame.

    Any help would be greatly appreciated!

    1
    1. Glenn JocherUltralytics

      For per-frame TXT saving with tracking, you'll need to process results in your video loop and write custom frame-specific files. Here's a minimal adaptation of the Instance Segmentation and Tracking example:

      frame_count = 0
      while cap.isOpened():
          ret, im0 = cap.read()
          if not ret: break
          
          results = model.track(im0, persist=True)
          
          # Save current frame's tracked objects
          with open(f'frame{frame_count}.txt', 'w') as f:
              for box, mask, track_id in zip(results[0].boxes, results[0].masks, results[0].boxes.id.int().cpu().tolist()):
                  f.write(f"{track_id} {box.cls.item()} {box.xywhn.tolist()} {mask.xy[0].tolist()}\n")
          
          frame_count += 1

      This creates individual frameX.txt files with tracking IDs, class IDs, normalized boxes, and mask coordinates. The official documentation shows similar frame processing in the Instance Segmentation with Object Tracking examples.

    2. Glenn JocherUltralytics

      For per-frame TXT saving during tracking, you'll need to process each frame individually in your video loop as shown in the Instance Segmentation with Object Tracking example. Here's a minimal adaptation that creates frame-specific files:

      frame_count = 0
      while cap.isOpened():
          ret, im0 = cap.read()
          if not ret: break
          
          results = model.track(im0, persist=True)
          
          with open(f'frame{frame_count}.txt', 'w') as f:
              for box, mask, track_id in zip(results[0].boxes, results[0].masks, results[0].boxes.id.int().cpu().tolist()):
                  f.write(f"{track_id} {box.cls.item()} {box.xywhn.tolist()} {mask.xy[0].tolist()}\n")
          
          frame_count += 1

      This creates individual frameX.txt files with tracking IDs, class IDs, normalized boxes, and mask coordinates per frame. The approach mirrors the frame processing shown in our official tracking documentation.

  2. pedmindsetGitHub

    Been trying to figure this out for a while now. I want to ask, can I use object counting in regions with instance sementation and tracking? You want to count vehicles that cross two specific regions, like so Object 001 crossed region A and region B. Is this possible to do

    1
    1. Glenn JocherUltralytics

      @pedmindset yes, it is possible to combine object counting in regions with instance segmentation and tracking using Ultralytics YOLO11. You can use the track method to assign consistent IDs to objects across frames and define regions to monitor their crossings. For guidance, refer to the segmentation and tracking examples in the Instance Segmentation and Tracking Guide. Let us know if you need further clarification!

  3. DP1701GitHub

    Cool, but I can't define an imgsz via solutions.InstanceSegmentation(…). Is there another option for this?

    1. Glenn JocherUltralytics

      solutions.InstanceSegmentation is a higher-level wrapper and doesn’t currently expose imgsz directly; if you need to control input size, run segmentation+tracking via the core YOLO(...).track() API (supports imgsz) as shown in the Tracking mode docs and keep using the Instance Segmentation and Tracking guide for solution-level usage.

      from ultralytics import YOLO
      
      model = YOLO("yolo26n-seg.pt")
      results = model.track(source="path/to/video.mp4", imgsz=640, show=True, tracker="botsort.yaml")
  4. CatFatOwGitHub

    Hello, I noticed that when using tracking mode compared to normal segmentation prediction, the number of features predicted decreased by quite a lot for feature dense videos even if I use the same parameters of confidence and maximum detection?

    1. Glenn JocherUltralytics

      @CatFatOw great observation! This is actually expected behavior when using tracking mode compared to plain segmentation. Tracking algorithms apply additional filtering beyond confidence thresholds to maintain stable tracks, which can reduce the total number of detections.

      Here are a few things that might help increase detections while maintaining tracking:

      # Try adjusting these tracking-specific parameters
      results = model.track(
          frame, 
          persist=True,
          conf=0.3,  # Lower confidence threshold
          iou=0.5,   # Adjust IoU threshold for NMS
          max_det=1000,  # Increase max detections
          tracker="bytetrack.yaml"  # Try different trackers
      )

      You can also experiment with different tracking algorithms - ByteTrack tends to be more permissive with new track creation compared to BoTSORT. The trade-off is between detection sensitivity and tracking stability, where tracking prioritizes consistent object IDs over detecting every possible instance.

      If you need maximum detection sensitivity, consider running both modes and using tracking results only when you need the temporal consistency.

  5. Mauricio566GitHub

    Hello. Please, I need your help. I know exactly what segmenting an object is and how to do it. But I don't know what to do with an already segmented object or pixel mask. You can find a lot of information online about "how to segment a model or fit it to your dataset," but they don't tell you what to do with those masks in real projects. Can you give me some ideas or help, please? for r in results:
    if r.masks is not None: mask = r.masks.data[0].cpu().numpy() there is the mask but honestly I don't know what to do. thanks

  6. e-roeGitHub

    Hello Glenn, thanks for the example! Actually, I had already figured it out—it was more of a suggestion for the documentation examples. []´s

    1. Glenn JocherUltralytics

      Thank you for the suggestion! We always welcome community contributions to improve our documentation through GitHub Pull Requests. Feel free to submit any specific improvements you'd like to see in the Instance Segmentation with Object Tracking guide.

      1
  7. e-roeGitHub

    Hello, Wouldn't it be good to have a complete example showing how to extract the track ID, contour points, class, and confidence? These methods that handle everything automatically end up being of little practical use, and finding this information in the documentation is quite challenging—it's often easier to find from third-party sources. []´s

    1. Glenn JocherUltralytics(bearbeitet)

      @e-roe thanks for your feedback! You can access track IDs, classes, masks, and confidence scores directly from the results object. Here's a concise example showing how to extract these details:

      results = isegment(im0)
      for i in range(len(isegment.clss)):
          track_id = isegment.track_ids[i]
          class_name = isegment.names[isegment.clss[i]]
          confidence = isegment.confs[i]
          mask = isegment.masks[i].data[0].numpy()  # Binary mask array
          contours, _ = cv2.findContours(mask.astype(np.uint8), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

      For full implementation details, see the InstanceSegmentation reference in our documentation. Let us know if you need further clarification!

  8. expen6veGitHub

    Hi! I tried training a pretrained yolov8m-seg model on our custom 1 class dataset consisting of 1,307 images with 5 augmentations like:

    Flip: Horizontal, Vertical Rotation: Between -15° and +15° Saturation: Between -25% and +25% Blur: Up to 1.4px Noise: Up to 1.49% of pixels

    with these training configurations:

    # Train the model
    results = model.train(
        data="data6.yaml",
        epochs=250,
        imgsz=320,
        batch=8,
        workers=4,
        device=device,
        patience=18,
        copy_paste=0.1  # Add this line to enable copy-paste augmentation
    )

    this is my 16th model training as i tried testing out from 200+ images that and so on. In my val plots, i always get bad results. What can i further do to make a good model? it stopped training at 128 with the results below:

    epoch,time,train/box_loss,train/seg_loss,train/cls_loss,train/dfl_loss,metrics/precision(B),metrics/recall(B),metrics/mAP50(B),metrics/mAP50-95(B),metrics/precision(M),metrics/recall(M),metrics/mAP50(M),metrics/mAP50-95(M),val/box_loss,val/seg_loss,val/cls_loss,val/dfl_loss,lr/pg0,lr/pg1,lr/pg2

    126,4123.96,0.47628,0.76702,0.30532,0.85667,0.9862,0.96565,0.98972,0.94445,0.9775,0.97566,0.98923,0.83189,0.35178,0.67432,0.26286,0.89191,0.00101,0.00101,0.00101 127,4156.45,0.47613,0.76458,0.30439,0.85872,0.96877,0.98339,0.98913,0.94227,0.98701,0.96962,0.99053,0.83626,0.34228,0.67744,0.25083,0.88958,0.00100208,0.00100208,0.00100208

    1. Glenn JocherUltralytics(bearbeitet)

      @expen6ve thank you for sharing your training details. For improved segmentation results with YOLO26, consider these adjustments:

      1. Dataset Size: 1.3k images may be insufficient for robust segmentation. Aim for ≥5k high-quality annotated images.
      2. Augmentation Tuning: Reduce rotation range (try ±5°) and remove noise augmentation, which can degrade mask precision.
      3. Hyperparameters: Increase imgsz to 640 (standard for segmentation tasks) and lower learning rate to 0.0001 with cosine scheduler.
      4. Model Selection: Try YOLO26s-seg instead of medium-sized models for better generalization on limited data.

      For detailed guidance, see the Segmentation Training Tips in our documentation.

  9. ShreyasChhetriGitHub

    Hi can we implement a Reinforcement Learning function up above the Yolo training function for more accuracy can it happen ?

    1. Glenn JocherUltralytics

      @ShreyasChhetri integrating reinforcement learning (RL) with YOLO training is an interesting idea, but YOLO models are not inherently designed for RL workflows. While it is theoretically possible, it would require substantial custom development outside the scope of the provided Ultralytics framework. You might consider exploring hybrid approaches combining RL and computer vision if your use case demands it. For standard training, refer to the existing YOLO training documentation: https://docs.ultralytics.com/modes/train.

  10. ZhangAiyiGitHub

    I have a question when run the code for Instance Segmentation with Object Tracking. The pycharm said UnicodeEncodeError: 'gbk' codec can't encode character '\u274c' in position 401: illegal multibyte sequence. Does anyone have the similar question? Thank you.

    1. Glenn JocherUltralytics

      @ZhangAiyi it seems like you're encountering a Unicode encoding issue. You can try setting your environment's encoding to UTF-8 in PyCharm to resolve this. If the problem persists, please check the PyCharm settings or your system's locale configuration.