Como isolar objetos de segmentação com Ultralytics YOLO#

Instance segmentation produz uma máscara precisa ao nível do píxel para cada objeto detectado, o que significa que podes extrair cada objeto de uma imagem de forma individual. Este guia mostra-te como transformar os resultados de segmentação do Ultralytics YOLO em objetos isolados utilizando o Predict Mode e OpenCV, com um fundo preto sólido ou transparente para guardar como PNG.

Por que isolar objetos de segmentação?#

Extrair objetos individuais de uma imagem abre uma gama de fluxos de trabalho posteriores:

• Remoção de fundo para fotos de produtos, catálogos ou edição criativa.
• Recortes por objeto para criar conjuntos de dados de classificação a partir das tuas detecções.
• Processamento focado para que etapas posteriores, como OCR, análise de cores ou medição, vejam apenas o objeto, não a cena circundante.
• Exportação de PNG transparente para compor objetos em novos fundos.

A receita funciona com qualquer modelo de segmentação do Ultralytics YOLO e segue quatro etapas: run inference → extract each contour → isolate the object → save the result.

Executar inferência de segmentação#

Instala as bibliotecas necessárias, carrega um modelo de segmentação (o sufixo -seg, necessário para produzir máscaras) e executa a previsão na tua imagem de origem:

from ultralytics import YOLO

# Load a segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on a source
results = model.predict(source="path/to/image.jpg")

Extrair contornos de objetos#

Cada item em results corresponde a uma imagem, e iterar sobre um resultado produz uma deteção de cada vez. Para cada deteção, copia a imagem original, lê o rótulo da classe e desenha o contorno da máscara do objeto numa máscara binária em branco. A região branca desta máscara marca exatamente quais píxeis pertencem ao objeto.

Os fragmentos de código nesta secção e na seguinte executam dentro do ciclo de deteção abaixo; o script completo e pronto a copiar está em Full Example.

{ width="240", align="right" }

from pathlib import Path

import cv2
import numpy as np

for r in results:
    img = np.copy(r.orig_img)
    img_name = Path(r.path).stem  # source image base-name

    # Iterate each detected object in the image
    for ci, c in enumerate(r):
        label = c.names[c.boxes.cls.tolist().pop()]  # class name

        # Build a binary mask and draw the object contour onto it
        b_mask = np.zeros(img.shape[:2], np.uint8)
        contour = c.masks.xy[0].astype(np.int32).reshape(-1, 1, 2)
        cv2.drawContours(b_mask, [contour], -1, (255, 255, 255), cv2.FILLED)

Isolar o objeto#

Com a máscara binária pronta, combina-a com a imagem original. Existem dois estilos comuns, dependendo de como queres que o fundo seja:

# Isolate object with a black background
mask3ch = cv2.cvtColor(b_mask, cv2.COLOR_GRAY2BGR)
isolated = cv2.bitwise_and(mask3ch, img)

# Bounding box coordinates
x1, y1, x2, y2 = c.boxes.xyxy.cpu().numpy().squeeze().astype(np.int32)
# Crop the isolated image to the object region
iso_crop = isolated[y1:y2, x1:x2]

Guardar o resultado (opcional)#

O que fazes com cada objeto isolado depende de ti. Um próximo passo comum é escrevê-lo em disco para uso posterior:

# Save the isolated object to file
cv2.imwrite(f"{img_name}_{label}-{ci}.png", isolated)

Aqui, img_name é a raiz da imagem de origem, label é o nome da classe e ci é o índice de deteção, para que múltiplas instâncias da mesma classe obtenham nomes de ficheiro únicos. Substitui isolated por iso_crop se aplicaste o recorte opcional acima.

Exemplo Completo#

O script abaixo combina cada passo num único bloco executável. Utiliza um fundo preto por predefinição; altera a única linha marcada para np.dstack([img, b_mask]) para obter um PNG transparente em vez disso:

from pathlib import Path

import cv2
import numpy as np

from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")
results = model.predict(source="path/to/image.jpg")

for r in results:
    img = np.copy(r.orig_img)
    img_name = Path(r.path).stem

    for ci, c in enumerate(r):
        label = c.names[c.boxes.cls.tolist().pop()]

        # Build a binary mask from the object contour
        b_mask = np.zeros(img.shape[:2], np.uint8)
        contour = c.masks.xy[0].astype(np.int32).reshape(-1, 1, 2)
        cv2.drawContours(b_mask, [contour], -1, (255, 255, 255), cv2.FILLED)

        # Isolate the object (black background)
        mask3ch = cv2.cvtColor(b_mask, cv2.COLOR_GRAY2BGR)
        isolated = cv2.bitwise_and(mask3ch, img)  # transparent PNG: isolated = np.dstack([img, b_mask])

        # Save or add your custom post-processing here
        cv2.imwrite(f"{img_name}_{label}-{ci}.png", isolated)

        # Optional: crop to the bounding box before saving
        # x1, y1, x2, y2 = c.boxes.xyxy.cpu().numpy().squeeze().astype(np.int32)
        # cv2.imwrite(f"{img_name}_{label}-{ci}.png", isolated[y1:y2, x1:x2])

Para uso repetido, envolve o corpo do ciclo numa função para que possas chamá-la em muitas imagens.

Conclusão#

Tens agora uma receita completa para isolar objetos segmentados com o Ultralytics YOLO: executar a inferência, construir uma máscara binária a partir de cada contorno, extrair o objeto num fundo preto ou transparente e, opcionalmente, recortá-lo para a respetiva caixa delimitadora. Explora a documentação completa de Segment Task e Predict Mode para adaptar o fluxo de trabalho às tuas próprias classes.

FAQ#