Segmentação de instâncias com Ultralytics YOLO#

A segmentação de instâncias vai um passo além da deteção de objetos e envolve a identificação de objetos individuais numa imagem e a sua segmentação do resto da imagem.

A saída de um modelo de segmentação de instâncias é um conjunto de máscaras ou contornos que delineiam cada objeto na imagem, juntamente com rótulos de classe e pontuações de confiança para cada objeto. A segmentação de instâncias é útil quando você precisa saber não apenas onde os objetos estão em uma imagem, mas também qual é a sua forma exata.

Modelos#

Os modelos Segment pré-treinados do YOLO26 são mostrados aqui. Os modelos Detect, Segment e Pose são pré-treinados no conjunto de dados COCO, os modelos Semantic são pré-treinados no Cityscapes, e os modelos Classify são pré-treinados no conjunto de dados ImageNet.

Os Modelos são baixados automaticamente do lançamento mais recente do Ultralytics no primeiro uso.

• Os valores de mAP^val são para modelo único e escala única no conjunto de dados COCO val2017.
  Reproduza com yolo val segment data=coco.yaml device=0
• Speed calculada como média nas imagens de validação do COCO usando uma instância Amazon EC2 P4d.
  Reproduza com yolo val segment data=coco.yaml batch=1 device=0|cpu
• Os valores de Params e FLOPs são para o modelo fundido após model.fuse(), que mescla as camadas Conv e BatchNorm e, para modelos end2end, remove o cabeçote de detecção auxiliar de um para muitos. Os checkpoints pré-treinados retêm a arquitetura de treinamento completa e podem apresentar contagens maiores.

Estes checkpoints segmentam as 80 classes do COCO. Para segmentar categorias fora dessa lista sem retreinar, consulta o YOLOE, que recebe as classes como um prompt de texto, um exemplo visual ou um vocabulário integrado.

Treinar#

Treina o YOLO26n-seg no conjunto de dados COCO8-seg durante 100 épocas com o tamanho de imagem 640. Para uma lista completa de argumentos disponíveis, consulta a página Configuration.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-seg.yaml")  # build a new model from YAML
model = YOLO("yolo26n-seg.pt")  # load a pretrained model (recommended for training)
model = YOLO("yolo26n-seg.yaml").load("yolo26n-seg.pt")  # build from YAML and transfer weights

# Train the model
results = model.train(data="coco8-seg.yaml", epochs=100, imgsz=640)

Vê os detalhes completos do modo train na página Train. Os modelos de segmentação também podem ser treinados com o treino em nuvem da Ultralytics Platform.

Formato do conjunto de dados#

O formato do conjunto de dados de segmentação YOLO pode ser encontrado em detalhe no Guia de Conjuntos de Dados. Para converter o teu conjunto de dados existente de outros formatos (como COCO, etc.) para o formato YOLO, usa a ferramenta JSON2YOLO da Ultralytics. Também podes criar máscaras de segmentação com a anotação da Ultralytics Platform usando ferramentas de polígonos e anotação inteligente potenciada por SAM.

Validar#

Valida a precisão do modelo YOLO26n-seg treinado no conjunto de dados COCO8-seg. Não são necessários argumentos, pois o model retém o seu data e argumentos de treino como atributos do modelo.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-seg.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Validate the model
metrics = model.val()  # no arguments needed, dataset and settings remembered
metrics.box.map  # map50-95(B)
metrics.box.map50  # map50(B)
metrics.box.map75  # map75(B)
metrics.box.maps  # a list containing mAP50-95(B) for each category
metrics.box.image_metrics  # per-image metrics dictionary for det with precision, recall, F1, TP, FP, and FN
metrics.seg.map  # map50-95(M)
metrics.seg.map50  # map50(M)
metrics.seg.map75  # map75(M)
metrics.seg.maps  # a list containing mAP50-95(M) for each category
metrics.seg.image_metrics  # per-image metrics dictionary for seg with precision, recall, F1, TP, FP, and FN

Prever#

Use um modelo YOLO26n-seg treinado para executar previsões em imagens.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-seg.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    xy = result.masks.xy  # mask polygons in pixel coordinates
    xyn = result.masks.xyn  # normalized mask polygons
    masks = result.masks.data  # binary masks, shape (N,H,W), dtype torch.uint8

Consulta todos os detalhes do modo predict na página Prever.

Saída de Resultados#

A segmentação de instâncias YOLO devolve um objeto Results por imagem. Cada resultado armazena previsões ao nível do objeto, onde cada instância detetada tem a sua própria máscara binária, classe, confiança e caixa.

Para campos de Results específicos de tarefas em cada tarefa, consulta a seção Resultados de Previsão por Tarefa.

Como isso difere da segmentação semântica#

A segmentação de instâncias é uma segmentação ao nível do objeto: dois carros produzem duas máscaras, duas caixas e duas pontuações de confiança. A segmentação semântica é uma classificação ao nível do píxel: esses mesmos carros tornam-se píxeis com o mesmo ID de classe num mapa de classes com o tamanho da imagem, sem caixas por objeto, confianças ou lista de polígonos predefinida.

Exportar#

Exporte um modelo YOLO26n-seg para um formato diferente como ONNX, CoreML, etc.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-seg.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom-trained model

# Export the model
model.export(format="onnx")

Os formatos de exportação YOLO26-seg disponíveis encontram-se na tabela abaixo. Podes exportar para qualquer formato utilizando o argumento format, ou seja, format='onnx' ou format='engine'. Podes prever ou validar diretamente em modelos exportados, ou seja, yolo predict model=yolo26n-seg.onnx. Os exemplos de utilização são mostrados para o teu modelo após a conclusão da exportação.

Consulta todos os detalhes de export na página Exportar.

FAQ#