Segmentação de instâncias com Ultralytics YOLO#

A segmentação de instâncias vai além da deteção de objetos e envolve identificar objetos individuais numa imagem e segmentá-los do restante da imagem.

A saída de um modelo de segmentação de instâncias é um conjunto de máscaras ou contornos que delineiam cada objeto na imagem, juntamente com os rótulos de classe e as pontuações de confiança de cada objeto. A segmentação de instâncias é útil quando precisa de saber não só onde os objetos estão numa imagem, mas também qual é a sua forma exata.

Modelos#

Os modelos Segment pré-treinados do YOLO26 são apresentados aqui. Os modelos Detect, Segment e Pose são pré-treinados no conjunto de dados COCO, os modelos Semânticos são pré-treinados em Cityscapes e os modelos Classify são pré-treinados no conjunto de dados ImageNet.

Os modelos são descarregados automaticamente da versão mais recente da Ultralytics na primeira utilização.

• Os valores de mAP^val são para um único modelo e uma única escala no conjunto de dados COCO val2017.
  Reproduza com yolo val segment data=coco.yaml device=0 nms=False
• A velocidade é calculada como a média das imagens COCO val utilizando uma instância Amazon EC2 P4d.
  Reproduza com yolo val segment data=coco.yaml batch=1 device=0|cpu nms=False
• Os valores de Params e FLOPs são para modelos fundidos após a dobragem de Conv/BatchNorm e a remoção da ramificação de deteção não utilizada. Os pontos de controlo pré-treinados retêm a arquitetura de treino completa e podem apresentar contagens mais elevadas.

Estes checkpoints segmentam as 80 classes do COCO. Para segmentar categorias fora dessa lista sem voltar a treinar, consulte o YOLOE, que recebe as classes como um prompt de texto, um exemplo visual ou um vocabulário integrado.

Consulta a pré-visualização não lançada de YOLO27 para ver resultados preliminares de caixas e máscaras no COCO.

Treinar#

Treine o YOLO26n-seg no conjunto de dados COCO8-seg durante 100 épocas, com um tamanho de imagem de 640. Para obter a lista completa de argumentos disponíveis, consulte a página de Configuração.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-seg.yaml")  # build a new model from YAML
model = YOLO("yolo26n-seg.pt")  # load a pretrained model (recommended for training)
model = YOLO("yolo26n-seg.yaml").load("yolo26n-seg.pt")  # build from YAML and transfer weights

# Train the model
results = model.train(data="coco8-seg.yaml", epochs=100, imgsz=640)

Consulte todos os detalhes do modo train na página Train. Os modelos de segmentação também podem ser treinados com o treino na cloud da Ultralytics Platform.

Formato do dataset#

O formato do conjunto de dados de segmentação do YOLO pode ser encontrado em detalhe no Guia de Conjuntos de Dados. Para converter um conjunto de dados JSON do COCO existente para o formato YOLO, usa a função integrada convert_coco com use_segments=True, conforme descrito no guia de COCO para YOLO. Também podes criar máscaras de segmentação com a anotação da Plataforma Ultralytics utilizando ferramentas de polígonos e anotação inteligente alimentada por SAM.

Validação#

Valide a precisão do modelo YOLO26n-seg treinado no conjunto de dados COCO8-seg. Não são necessários argumentos, pois model mantém os seus data e argumentos de treino como atributos do modelo.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-seg.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Validate the model
metrics = model.val()  # no arguments needed, dataset and settings remembered
metrics.box.map  # map50-95(B)
metrics.box.map50  # map50(B)
metrics.box.map75  # map75(B)
metrics.box.maps  # a list containing mAP50-95(B) for each category
metrics.box.image_metrics  # per-image metrics dictionary for det with precision, recall, F1, TP, FP, and FN
metrics.seg.map  # map50-95(M)
metrics.seg.map50  # map50(M)
metrics.seg.map75  # map75(M)
metrics.seg.maps  # a list containing mAP50-95(M) for each category
metrics.seg.image_metrics  # per-image metrics dictionary for seg with precision, recall, F1, TP, FP, and FN

Previsão#

Utilize um modelo YOLO26n-seg treinado para executar previsões em imagens.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-seg.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    xy = result.masks.xy  # mask polygons in pixel coordinates
    xyn = result.masks.xyn  # normalized mask polygons
    masks = result.masks.data  # binary masks, shape (N,H,W), dtype torch.uint8

Consulta todos os detalhes do modo predict na página Predict.

Saída dos resultados#

A segmentação de instâncias YOLO devolve um objeto Results por imagem. Cada resultado armazena previsões ao nível do objeto, em que cada instância detetada tem a sua própria máscara binária, classe, confiança e caixa.

Para consultar os campos Results específicos da tarefa em todas as tarefas, vê a secção Resultados de Previsão por Tarefa.

Como isto difere da segmentação semântica#

A segmentação de instâncias é uma segmentação ao nível do objeto: dois carros produzem duas máscaras, duas caixas e duas pontuações de confiança. A segmentação semântica é uma classificação ao nível do píxel: esses mesmos carros tornam-se píxeis com o mesmo ID de classe num único mapa de classes do tamanho da imagem, sem caixas, confianças ou lista de polígonos por objeto por predefinição.

Exportação#

Exporte um modelo YOLO26n-seg para um formato diferente, como ONNX, CoreML, etc.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-seg.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom-trained model

# Export the model
model.export(format="onnx")

Os formatos de exportação YOLO26-seg disponíveis encontram-se na tabela abaixo. Pode exportar para qualquer formato utilizando o argumento format, ou seja, format='onnx' ou format='engine'. Pode executar previsões ou validações diretamente nos modelos exportados, ou seja, yolo predict model=yolo26n-seg.onnx. Após a conclusão da exportação, são apresentados exemplos de utilização do seu modelo.

nms=None por padrão utiliza saídas brutas para NMS externo. Define nms=False para selecionar uma cabeça livre de NMS disponível; os formatos não suportados recorrem ao seu caminho de saída nativo. As entradas nms acima identificam formatos que podem incorporar NMS com nms=True.

Consulta todos os detalhes de export na página Export.

Perguntas frequentes#