Ultralytics YOLO27:

如何使用 Ultralytics YOLO 隔离分割对象#

实例分割 会为每个检测到的对象生成像素级精确的掩码,这意味着你可以单独从图像中提取每个对象。本指南将介绍如何使用 Predict Mode 和 OpenCV,将 Ultralytics YOLO 的分割结果转换为独立对象,并使用纯黑背景或透明背景保存为 PNG。



Watch: How to Remove Background and Isolate Objects with Ultralytics YOLO Segmentation & OpenCV in Python 🚀

为什么要隔离分割对象?#

从图像中提取单个对象,可以支持多种后续工作流:

  • 用于产品拍摄、目录或创意编辑的背景移除
  • 创建分类数据集所需的单对象裁剪图
  • 聚焦处理,让 OCR、颜色分析或测量等后续步骤只处理对象本身,而不是周围场景。
  • 将对象合成到新背景上的透明 PNG 导出

此方法适用于任何 Ultralytics YOLO 分割模型,并包含四个阶段:运行推理提取每个轮廓隔离对象保存结果

运行分割推理#

安装所需库,然后加载分割模型(需要使用 -seg 后缀才能生成掩码),并对源图像运行预测:

from ultralytics import YOLO

# Load a segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on a source
results = model.predict(source="path/to/image.jpg")
没有源图像?YOLO 会使用随附的示例图像

如果你在没有 source 的情况下调用 model.predict(),Ultralytics 会回退到随软件包提供的示例图像(bus.jpgzidane.jpg),方便你快速测试工作流。

提取对象轮廓#

results 中的每一项对应一张图像,遍历结果时每次会得到一个检测结果。对于每个检测结果,复制原始图像,读取类别标签,并将对象的掩码轮廓绘制到空白二值掩码上。该掩码中的白色区域精确标记了哪些像素属于对象。

本节和下一节中的代码片段都在下面的检测循环内部运行;完整的可复制粘贴脚本位于完整示例中。

Binary Mask Image
from pathlib import Path

import cv2
import numpy as np

for r in results:
    img = np.copy(r.orig_img)
    img_name = Path(r.path).stem  # source image base-name

    # Iterate each detected object in the image
    for ci, c in enumerate(r):
        label = c.names[c.boxes.cls.tolist().pop()]  # class name

        # Build a binary mask and draw the object contour onto it
        b_mask = np.zeros(img.shape[:2], np.uint8)
        contour = c.masks.xy[0].astype(np.int32).reshape(-1, 1, 2)
        cv2.drawContours(b_mask, [contour], -1, (255, 255, 255), cv2.FILLED)
`c.masks.xy[0].astype(np.int32).reshape(-1, 1, 2)` 的作用是什么?
  • c.masks.xy[0] 将此单个检测结果中对象的掩码轮廓以 (x, y) 点坐标的形式返回。
  • .astype(np.int32) 将点从 float32 转换为 OpenCV 的 drawContours() 所不接受的格式。
  • .reshape(-1, 1, 2) 将点重塑为 [N, 1, 2] 布局 drawContours() 所需的格式,其中 N 表示轮廓点的数量。

传入带有索引 -1[contour] 会绘制所提供轮廓的所有点,而 cv2.FILLED 会将每个封闭像素填充为白色。

隔离对象#

准备好二值掩码后,将其与原始图像结合。根据你希望使用的背景,有两种常见方式:

选择隔离方式

将掩码转换为三个通道,仅保留与对象重叠的像素。轮廓之外的所有内容都会变成黑色:

# Isolate object with a black background
mask3ch = cv2.cvtColor(b_mask, cv2.COLOR_GRAY2BGR)
isolated = cv2.bitwise_and(mask3ch, img)
Example Full size Isolated Object Image Black Background
Full-size object on a black background
裁剪到边界框

如果只想保留对象区域而不是整幅图像,可以根据检测结果的边界框对其进行切片:

# Bounding box coordinates
x1, y1, x2, y2 = c.boxes.xyxy.cpu().numpy().squeeze().astype(np.int32)
# Crop the isolated image to the object region
iso_crop = isolated[y1:y2, x1:x2]
Example Crop Isolated Object Image Black Background
Object cropped to its bounding box
需要保留原始背景的裁剪图?

该功能已内置。将 save_crop=True 传递给 predict(),Ultralytics 就会自动保存边界框裁剪图,无需使用掩码。

保存结果(可选)#

你可以自行决定如何处理每个隔离出的对象。常见的下一步是将其写入磁盘,以便后续使用:

# Save the isolated object to file
cv2.imwrite(f"{img_name}_{label}-{ci}.png", isolated)

这里,img_name 是源图像的文件名主干,label 是类别名称,ci 是检测索引,因此同一类别的多个实例会获得唯一文件名。如果应用了上面的可选裁剪,请将 isolated 替换为 iso_crop

完整示例#

下面的脚本将所有步骤组合成一个可运行代码块。它默认使用黑色背景;将唯一标记的那一行切换为 np.dstack([img, b_mask]),即可改为透明 PNG:

from pathlib import Path

import cv2
import numpy as np

from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")
results = model.predict(source="path/to/image.jpg")

for r in results:
    img = np.copy(r.orig_img)
    img_name = Path(r.path).stem

    for ci, c in enumerate(r):
        label = c.names[c.boxes.cls.tolist().pop()]

        # Build a binary mask from the object contour
        b_mask = np.zeros(img.shape[:2], np.uint8)
        contour = c.masks.xy[0].astype(np.int32).reshape(-1, 1, 2)
        cv2.drawContours(b_mask, [contour], -1, (255, 255, 255), cv2.FILLED)

        # Isolate the object (black background)
        mask3ch = cv2.cvtColor(b_mask, cv2.COLOR_GRAY2BGR)
        isolated = cv2.bitwise_and(mask3ch, img)  # transparent PNG: isolated = np.dstack([img, b_mask])

        # Save or add your custom post-processing here
        cv2.imwrite(f"{img_name}_{label}-{ci}.png", isolated)

        # Optional: crop to the bounding box before saving
        # x1, y1, x2, y2 = c.boxes.xyxy.cpu().numpy().squeeze().astype(np.int32)
        # cv2.imwrite(f"{img_name}_{label}-{ci}.png", isolated[y1:y2, x1:x2])

如果要重复使用,请将循环体封装到函数中,以便对多张图像调用。

结论#

现在,你已经掌握了使用 Ultralytics YOLO 隔离分割对象的完整方法:运行推理,从每个轮廓构建二值掩码,然后在黑色或透明背景上提取对象,并可选择将其裁剪到边界框。查看完整的 Segment TaskPredict Mode 文档,根据你自己的类别调整工作流。

常见问题#

  • 加载分割模型,运行推理,从每个检测结果的轮廓构建二值掩码,并将其与原始图像结合:

    import cv2
    import numpy as np
    
    from ultralytics import YOLO
    
    model = YOLO("yolo26n-seg.pt")
    results = model.predict(source="path/to/your/image.jpg")
    
    img = np.copy(results[0].orig_img)
    b_mask = np.zeros(img.shape[:2], np.uint8)
    contour = results[0].masks.xy[0].astype(np.int32).reshape(-1, 1, 2)
    cv2.drawContours(b_mask, [contour], -1, (255, 255, 255), cv2.FILLED)
    
    mask3ch = cv2.cvtColor(b_mask, cv2.COLOR_GRAY2BGR)
    isolated = cv2.bitwise_and(mask3ch, img)

    请参阅完整示例,了解完整的逐检测结果循环。

  • 主要有两种方式。对于黑色背景,将掩码转换为三个通道并使用 cv2.bitwise_and()。对于透明背景(保存为 PNG 时),使用 np.dstack([img, b_mask]) 将掩码作为第四个 alpha 通道堆叠。两种方式都在隔离对象中有介绍。

  • 从检测结果中读取边界框坐标,然后对隔离后的图像进行切片:

    x1, y1, x2, y2 = results[0].boxes.xyxy[0].cpu().numpy().astype(np.int32)
    iso_crop = isolated[y1:y2, x1:x2]

    请在 Predict Mode 文档中进一步了解边界框结果。

  • Ultralytics YOLO 提供快速的实时实例分割,能够准确生成掩码和边界框,并提供简单的 Python API,只需几行 OpenCV 代码即可将推理结果转换为独立对象。

  • 可以。在 predict() 中使用 save_crop 参数,即可保存带有原始背景的边界框裁剪图:

    results = model.predict(source="path/to/your/image.jpg", save_crop=True)

    请在Predict Mode 推理参数部分阅读更多信息。

评论