Bắt đầu

Cách tách riêng đối tượng phân đoạn bằng Ultralytics YOLO

Phân đoạn đối tượng tạo ra mask chính xác đến từng pixel cho mỗi đối tượng được phát hiện, nhờ đó bạn có thể tách riêng từng đối tượng khỏi ảnh. Hướng dẫn này trình bày cách chuyển kết quả phân đoạn Ultralytics YOLO thành các đối tượng tách biệt bằng Predict Mode và OpenCV, với nền đen đặc hoặc nền trong suốt để lưu dưới dạng PNG.



Xem: Cách tách riêng các đối tượng đã phân đoạn bằng Ultralytics YOLO26 | Hướng dẫn Python | VisionAI 🚀

Tại sao cần tách riêng đối tượng phân đoạn?#

Tách từng đối tượng khỏi ảnh mở ra nhiều quy trình xử lý tiếp theo:

  • Xóa nền cho ảnh sản phẩm, catalog hoặc chỉnh sửa sáng tạo.
  • Cắt riêng từng đối tượng để tạo dataset phân loại từ các kết quả phát hiện.
  • Xử lý tập trung để các bước tiếp theo như OCR, phân tích màu hoặc đo lường chỉ xử lý đối tượng, không phải cảnh xung quanh.
  • Xuất PNG trong suốt để ghép đối tượng lên nền mới.

Quy trình này áp dụng cho mọi model phân đoạn Ultralytics YOLO và gồm bốn giai đoạn: chạy inference → trích xuất từng đường bao → tách riêng đối tượng → lưu kết quả.

Chạy inference phân đoạn#

Cài đặt các thư viện cần thiết, sau đó tải một model phân đoạn như YOLO26n-seg (cần có hậu tố -seg để tạo mask) và chạy dự đoán trên ảnh nguồn:

from ultralytics import YOLO

# Tải model phân đoạn
model = YOLO("yolo26n-seg.pt")

# Chạy inference trên ảnh nguồn
results = model.predict(source="path/to/image.jpg")
Không có ảnh nguồn? YOLO sử dụng các ảnh mẫu đi kèm

Nếu gọi model.predict() mà không có source, Ultralytics sẽ dùng các ảnh ví dụ được đóng gói cùng thư viện (bus.jpg và zidane.jpg), rất tiện để kiểm thử nhanh quy trình.

Trích xuất đường bao đối tượng#

Mỗi mục trong results tương ứng với một ảnh; duyệt qua một kết quả sẽ lần lượt trả về từng phát hiện. Với mỗi phát hiện, hãy sao chép ảnh gốc, đọc nhãn lớp và vẽ đường bao mask của đối tượng lên một mask nhị phân trống. Vùng trắng của mask này đánh dấu chính xác các pixel thuộc về đối tượng.

Các đoạn mã trong phần này và phần tiếp theo chạy bên trong vòng lặp phát hiện bên dưới; script hoàn chỉnh có thể sao chép và chạy được nằm trong Ví dụ đầy đủ.

Binary mask with the segmented object in white on a black background
from pathlib import Path

import cv2
import numpy as np

for r in results:
    img = np.copy(r.orig_img)
    img_name = Path(r.path).stem  # tên cơ sở của ảnh nguồn

    # Duyệt qua từng đối tượng được phát hiện trong ảnh
    for ci, c in enumerate(r):
        label = c.names[c.boxes.cls.tolist().pop()]  # tên lớp

        # Tạo mask nhị phân và vẽ đường bao đối tượng lên mask
        b_mask = np.zeros(img.shape[:2], np.uint8)
        contour = c.masks.xy[0].astype(np.int32).reshape(-1, 1, 2)
        cv2.drawContours(b_mask, [contour], -1, (255, 255, 255), cv2.FILLED)
`c.masks.xy[0].astype(np.int32).reshape(-1, 1, 2)` thực hiện chức năng gì?
  • c.masks.xy[0] trả về đường bao mask dưới dạng tọa độ điểm (x, y) của đối tượng trong kết quả chỉ có một phát hiện này.
  • .astype(np.int32) chuyển đổi các điểm từ float32, định dạng mà drawContours() của OpenCV không chấp nhận.
  • .reshape(-1, 1, 2) định hình lại các điểm thành bố cục drawContours() mà [N, 1, 2] mong đợi, trong đó N là số điểm trên đường bao.

Truyền [contour] cùng chỉ số -1 sẽ vẽ tất cả các điểm của đường bao được cung cấp, còn cv2.FILLED sẽ tô trắng mọi pixel nằm bên trong.

Tách riêng đối tượng#

Khi đã có mask nhị phân, hãy kết hợp mask với ảnh gốc. Có hai kiểu phổ biến, tùy theo nền bạn muốn:

Chọn kiểu tách riêng

Chuyển mask thành ba kênh và chỉ giữ lại các pixel chồng lấp với đối tượng. Mọi vùng bên ngoài đường bao sẽ chuyển thành màu đen:

# Tách đối tượng với nền đen
mask3ch = cv2.cvtColor(b_mask, cv2.COLOR_GRAY2BGR)
isolated = cv2.bitwise_and(mask3ch, img)
Full-size isolated object on a black background
Vật thể kích thước đầy đủ trên nền đen
Cắt theo bounding box

Để chỉ giữ lại vùng của đối tượng thay vì toàn bộ ảnh, hãy cắt ảnh theo bounding box của phát hiện:

# Tọa độ bounding box
x1, y1, x2, y2 = c.boxes.xyxy.cpu().numpy().squeeze().astype(np.int32)
# Cắt ảnh đã tách riêng theo vùng đối tượng
iso_crop = isolated[y1:y2, x1:x2]
Isolated object cropped to its bounding box on a black background
Vật thể được cắt theo bounding box
Bạn cần ảnh crop vẫn giữ nguyên nền gốc?

Tính năng này đã được tích hợp sẵn. Truyền save_crop=True vào predict(), Ultralytics sẽ tự động lưu các ảnh crop theo bounding box mà không cần tạo mask.

Lưu kết quả (không bắt buộc)#

Bạn có thể tùy ý xử lý từng đối tượng đã tách riêng. Một bước tiếp theo phổ biến là ghi đối tượng ra đĩa để sử dụng sau:

# Save the isolated object to file
cv2.imwrite(f"{img_name}_{label}-{ci}.png", isolated)

Ở đây, img_name là tên gốc của ảnh nguồn, label là tên lớp và ci là chỉ số phát hiện, nhờ đó nhiều instance cùng lớp sẽ có tên file duy nhất. Thay isolated bằng iso_crop nếu bạn đã thực hiện bước crop tùy chọn ở trên.

Ví dụ đầy đủ#

Script dưới đây gộp tất cả các bước thành một khối mã có thể chạy ngay. Theo mặc định, script dùng nền đen; hãy đổi dòng được đánh dấu duy nhất thành np.dstack([img, b_mask]) để thay bằng PNG trong suốt:

from pathlib import Path

import cv2
import numpy as np

from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")
results = model.predict(source="path/to/image.jpg")

for r in results:
    img = np.copy(r.orig_img)
    img_name = Path(r.path).stem

    for ci, c in enumerate(r):
        label = c.names[c.boxes.cls.tolist().pop()]

        # Build a binary mask from the object contour
        b_mask = np.zeros(img.shape[:2], np.uint8)
        contour = c.masks.xy[0].astype(np.int32).reshape(-1, 1, 2)
        cv2.drawContours(b_mask, [contour], -1, (255, 255, 255), cv2.FILLED)

        # Isolate the object (black background)
        mask3ch = cv2.cvtColor(b_mask, cv2.COLOR_GRAY2BGR)
        isolated = cv2.bitwise_and(mask3ch, img)  # transparent PNG: isolated = np.dstack([img, b_mask])

        # Save or add your custom post-processing here
        cv2.imwrite(f"{img_name}_{label}-{ci}.png", isolated)

        # Optional: crop to the bounding box before saving
        # x1, y1, x2, y2 = c.boxes.xyxy.cpu().numpy().squeeze().astype(np.int32)
        # cv2.imwrite(f"{img_name}_{label}-{ci}.png", isolated[y1:y2, x1:x2])

Nếu cần sử dụng nhiều lần, hãy đóng gói phần thân vòng lặp vào một hàm để có thể gọi hàm đó cho nhiều ảnh.

Kết luận#

Giờ đây bạn đã có quy trình hoàn chỉnh để tách riêng các đối tượng đã phân đoạn bằng Ultralytics YOLO: chạy inference, tạo mask nhị phân từ từng đường bao, sau đó trích xuất đối tượng trên nền đen hoặc trong suốt và tùy chọn cắt theo bounding box. Hãy tham khảo tài liệu đầy đủ về tác vụ Segment và Predict Mode để điều chỉnh quy trình cho các lớp của riêng bạn.

Câu hỏi thường gặp#

  • Tải model phân đoạn, chạy inference, tạo mask nhị phân từ đường bao của từng phát hiện và kết hợp mask với ảnh gốc:

    import cv2
    import numpy as np
    
    from ultralytics import YOLO
    
    model = YOLO("yolo26n-seg.pt")
    results = model.predict(source="path/to/your/image.jpg")
    
    img = np.copy(results[0].orig_img)
    b_mask = np.zeros(img.shape[:2], np.uint8)
    contour = results[0].masks.xy[0].astype(np.int32).reshape(-1, 1, 2)
    cv2.drawContours(b_mask, [contour], -1, (255, 255, 255), cv2.FILLED)
    
    mask3ch = cv2.cvtColor(b_mask, cv2.COLOR_GRAY2BGR)
    isolated = cv2.bitwise_and(mask3ch, img)

    Xem Ví dụ đầy đủ để biết vòng lặp hoàn chỉnh xử lý từng phát hiện.

  • Có hai kiểu chính. Với nền đen, hãy chuyển mask thành ba kênh và dùng cv2.bitwise_and(). Với nền trong suốt (khi lưu dưới dạng PNG), hãy ghép mask thành kênh alpha thứ tư bằng np.dstack([img, b_mask]). Cả hai cách đều được trình bày trong phần Tách riêng đối tượng.

  • Đọc tọa độ bounding box từ phát hiện rồi cắt ảnh đã tách riêng:

    x1, y1, x2, y2 = results[0].boxes.xyxy[0].cpu().numpy().astype(np.int32)
    iso_crop = isolated[y1:y2, x1:x2]

    Tìm hiểu thêm về kết quả bounding box trong tài liệu Predict Mode.

  • Ultralytics YOLO cung cấp khả năng instance segmentation nhanh theo thời gian thực, tạo mask và bounding box chính xác, cùng Python API đơn giản giúp chuyển kết quả inference thành các đối tượng được tách riêng chỉ với vài dòng mã OpenCV.

  • Có. Dùng đối số save_crop trong predict() để lưu các crop theo bounding box cùng với nền gốc:

    results = model.predict(source="path/to/your/image.jpg", save_crop=True)

    Đọc thêm trong phần Các đối số inference của Predict Mode.

Bình luận16

Đặt câu hỏi, chia sẻ kết quả hoặc giúp đỡ người khác.

  1. AbdulGhofur23GitHub

    How can I extract a mask from a TIFF (Tag Image File Format) so that the mask's coordinates align with the projection of the TIFF image?

    1. Glenn JocherUltralytics

      To extract masks from a TIFF image while aligning the mask's coordinates with the image's projection, you can use the segmentation results from Ultralytics YOLO. Generate the mask using results.masks.xy for contour points and overlay it on the TIFF image. Ensure alignment by maintaining the original image dimensions during processing. For more, refer to the Isolating Segmentation Objects Guide. Let us know if you need further assistance!

      1
  2. vedhanayagan9626GitHub

    I used yolo v11n seg model , i got a segmented image as output with bounding boxes in those some of predictions are overlapped like a bounding box on two items as single so i try to remove a rectangle and associated segmentation from an image and add new rectangle by hold and drag functionality its looks likw working but i cant get optimized result. Is there any way to remove and add new bounding boxes after a segmentation result?

    1. Glenn JocherUltralytics

      @vedhanayagan9626 to address overlapping predictions, you can manually refine results by manipulating masks and bounding boxes post-inference. Use the mask and bounding box coordinates from results[0].masks and results[0].boxes to remove or modify specific predictions. For new bounding boxes, you might need to create and integrate them into your results structure manually. Refer to the Isolating Segmentation Objects guide for detailed steps. For optimized results, ensure adequate data quality and model tuning.

  3. SerhiiPostupaievGitHub

    Hello, can you please explain how the YOLOv8 performs upscaling? For example, my input images are 854x480, YOLOv8 scales them up to 864x512. How does it exactly performs upscaling? Does it use padding or some other approaches?

    1. Paula DerrengerUltralytics

      @SerhiiPostupaiev hello! In YOLOv8, images are scaled up or down to a specific model input size, optimally a square format (like 640x640) or a dimension supported by the model (such as 864x512 in your case). The upscaling for images that do not exactly match the input dimensions typically involves:

      1. Resizing the image to the closest dimension that maintains the aspect ratio.
      2. Padding the resized image to reach the required input size, ensuring that the aspect ratio is preserved.

      For instance, for an image of 854x480, YOLOv8 may:

      • Resize the image to fit the model's width of 864 while maintaining the aspect ratio, which adjusts the height accordingly.
      • Pad the height to the nearest model-supported dimension (like 512), adding pixel values (usually zeros) to the top and bottom or sides of the image to reach the required size.

      Here’s a rough example in Python using OpenCV for how padding might be handled:

      import cv2
      import numpy as np
      
      # Example image load
      image = cv2.imread('input.jpg')
      # Resizing the image
      resized_image = cv2.resize(image, (864, keep_aspect_ratio_height))  # Example variable for illustration
      
      # Padding the resized image
      top_padding = (512 - resized_image.shape[0]) // 2
      bottom_padding = 512 - resized_image.shape[0] - top_padding
      padded_image = cv2.copyMakeBorder(resized_image, top_padding, bottom_padding, 0, 0, cv2.BORDER_CONSTANT, value=[0, 0, 0])

      This ensures the entire image is used during prediction without distorting its original aspect ratio. 😊

  4. EnricoMendezGitHub

    Hello, I run this code example but it only display one object's mask, is it posible to join all the objects' masks in a single frame?

    1. Glenn JocherUltralytics

      Hey there! 😊 Absolutely, you can combine all the objects' masks into a single frame. Just modify the section where you're drawing the contours onto the mask. Instead of creating a new binary mask b_mask for each object, you initialize one common mask before iterating through the objects and draw every object's contour on this common mask. Here's a quick example to illustrate:

      # Initialize one common binary mask for all objects
      b_mask_all = np.zeros(img.shape[:2], np.uint8)
      
      for ci, c in enumerate(r):
          # Your contour extraction remains the same
          contour = c.masks.xy.pop().astype(np.int32).reshape(-1, 1, 2)
          # Draw each contour onto the common mask
          cv2.drawContours(b_mask_all, [contour], -1, (255, 255, 255), cv2.FILLED)
      
      # After the loop, you can use `b_mask_all` which contains all objects' masks

      Just keep in mind, with b_mask_all, you'll have all the detected objects' masks on one mask. If the objects overlap in your image, their masks will also overlap in b_mask_all. Hope this helps! Let us know if you have more questions. 😊

  5. mariamg03GitHub

    hi is there a way I can apply the edits on the binary image then revert back to the original with the mask part edited?

    1. Paula DerrengerUltralytics

      Hey there! 👋 Yes, you can certainly make edits on a binary mask and then apply those changes back to the original image, essentially modifying only the parts that the mask covers. Here's a quick outline of how you could achieve this with an example focusing on segmentation tasks:

      1. After segmenting your image and obtaining the binary mask (let's say b_mask), you can perform any edits you like on this mask. For example, inverting the mask, dilating, or eroding.

      2. To apply the edited mask back to the original image (orig_img), you would use the mask to isolate the area of interest in the original image and then apply your edits.

      Here's a code snippet demonstrating this with a simple inversion edit:

      import cv2
      import numpy as np
      
      # Assuming 'b_mask' is your binary mask and 'orig_img' is your original image
      # Let's say you inverted the binary mask
      edited_mask = 255 - b_mask  # Inverting mask
      
      # Convert the single channel binary mask to a 3 channel mask to match the original image
      edited_mask_3ch = cv2.cvtColor(edited_mask, cv2.COLOR_GRAY2BGR)
      
      # Apply the edited mask back to the original image
      # This line performs bitwise-and operation to only keep parts of the image where the mask is white
      edited_image = cv2.bitwise_and(orig_img, edited_mask_3ch)
      
      # At this point, 'edited_image' contains the original image with edits applied to the segmented part

      This is a simplified example to show the concept. Depending on the edits you've made to b_mask, you might need to adjust how you apply edited_mask back to orig_img.

      Remember, after editing the mask, you can always revert it back to its original form if you've kept a copy before editing, or you can apply the inverse of your edits.

      I hope this helps! Let me know if you have more questions. Happy coding! 😊

  6. SafiislamianGitHub

    Hi sir, thanku for your response does load dataset will work or not. As the dataset is in yolo form where we have different folders and subfolders like train having images and labels etc

    On Wed, Mar 27, 2024, 7:03 AM Glenn Jocher @.***> wrote:

    Hey there! 👋 Glad to see you're interested in applying YOLOv8 for instance segmentation with a dataset from Roboflow. Below is a quick guide to help you get started with applying YOLOv8 for detection and then using masks for the dataset based on class. Step 1: Install Ultralytics YOLO

    First, ensure you have Ultralytics installed:

    pip install ultralytics

    Step 2: Load Your Model

    from ultralytics import YOLOmodel = YOLO('yolov8n-seg.pt') # Use yolov8n-seg.pt for segmentation models

    Step 3: Predict and Isolate Objects

    Now, for predicting and isolating objects based on their classes, you'll dive into the prediction results to access and manipulate the segmentation masks:

    results = model.predict(source='path/to/your/dataset')for result in results: for detection in result: class_name = detection.names[detection.boxes.cls.tolist().pop()] # Create a binary mask from detection binary_mask = np.zeros(result.orig_img.shape[:2], np.uint8) contour = detection.masks.xy.pop().astype(np.int32).reshape(-1, 1, 2) cv2.drawContours(binary_mask, [contour], -1, (255, 255, 255), cv2.FILLED) # Example to save or further process the mask

    Note: Replace 'path/to/your/dataset' with the actual path to your images. Step 4: Saving or Processing the Masks

    You may wish to save each mask based on its class for processing later. You can modify the loop to save each binary mask to a file using cv2.imwrite() method.

    cv2.imwrite(f'{class_name}_mask.jpg', binary_mask)

    This will save each mask with its respective class name as part of the filename, allowing for easy organization by class.

    Hope this helps! 😊 Let us know if you need further assistance or have more questions. Happy coding!

    — Reply to this email directly, view it on GitHub https://github.com/orgs/ultralytics/discussions/9334#discussioncomment-8922405, or unsubscribe https://github.com/notifications/unsubscribe-auth/AUP75TG3RFWAL7YRMWDR66DY2ILE5AVCNFSM6AAAAABFJ334B2VHI2DSMVQWIX3LMV43SRDJONRXK43TNFXW4Q3PNVWWK3TUHM4DSMRSGQYDK . You are receiving this because you commented.Message ID: @.*** com>

    1. Paula DerrengerUltralytics(đã chỉnh sửa)

      Hi there! 😄

      Absolutely, loading a dataset structured in YOLO format (with separate folders for train/test images and labels) works well with YOLO26. You can specify the dataset structure in a YAML file and provide this file when initiating training or validation processes. Here's an example data.yaml file structure for your dataset:

      train: /path/to/dataset/train/images  #  path to images folder
      val: /path/to/dataset/val/images      #  path to validation images
      
      # Classes
      nc: 80  # number of classes
      names: ['class1', 'class2', ...]  # class names

      And here's how you might start training with your dataset:

      yolo detect train data=data.yaml model=yolo26n.pt

      Make sure to replace /path/to/dataset/train/images and /path/to/dataset/val/images with the actual paths to your dataset and similarly update the nc (number of classes) and names (class labels) accordingly.

      If you have any more questions or need further assistance, feel free to ask. Happy to help! 🚀

  7. SafiislamianGitHub

    There is a dataset on roboflow for instance segmentation, i want to apply first yolov8 and then masks for all the dataset arranged on the basis of their classes. please provide me details and code for that Thank you...

    1. Glenn JocherUltralytics(đã chỉnh sửa)

      Hey there! 👋 Glad to see you're interested in applying YOLO26 for instance segmentation with a dataset from Roboflow. Below is a quick guide to help you get started with applying YOLO26 for detection and then using masks for the dataset based on class.

      Step 1: Install Ultralytics YOLO

      First, ensure you have Ultralytics installed:

      pip install ultralytics
      Step 2: Load Your Model
      from ultralytics import YOLO
      model = YOLO('yolo26n-seg.pt')  # Use yolo26n-seg.pt for segmentation models
      Step 3: Predict and Isolate Objects

      Now, for predicting and isolating objects based on their classes, you'll dive into the prediction results to access and manipulate the segmentation masks:

      results = model.predict(source='path/to/your/dataset')
      for result in results:
          for detection in result:
              class_name = detection.names[detection.boxes.cls.tolist().pop()]
              # Create a binary mask from detection
              binary_mask = np.zeros(result.orig_img.shape[:2], np.uint8)
              contour = detection.masks.xy.pop().astype(np.int32).reshape(-1, 1, 2)
              cv2.drawContours(binary_mask, [contour], -1, (255, 255, 255), cv2.FILLED)
              # Example to save or further process the mask

      Note: Replace 'path/to/your/dataset' with the actual path to your images.

      Step 4: Saving or Processing the Masks

      You may wish to save each mask based on its class for processing later. You can modify the loop to save each binary mask to a file using cv2.imwrite() method.

      cv2.imwrite(f'{class_name}_mask.jpg', binary_mask)

      This will save each mask with its respective class name as part of the filename, allowing for easy organization by class.

      Hope this helps! 😊 Let us know if you need further assistance or have more questions. Happy coding!