Segmentação de instâncias com Ultralytics YOLO#

A segmentação de instâncias vai além da deteção de objetos: consiste em identificar objetos individuais numa imagem e segmentá-los do restante da imagem.

O resultado de um modelo de segmentação de instâncias é um conjunto de máscaras ou contornos que delineiam cada objeto na imagem, juntamente com rótulos de classe e pontuações de confiança para cada objeto. A segmentação de instâncias é útil quando precisas de saber não só onde estão os objetos numa imagem, mas também qual é a sua forma exata.

Modelos#

Os modelos YOLO26 Segment pré-treinados no conjunto de dados COCO são apresentados abaixo.

Os modelos são transferidos automaticamente da versão mais recente do Ultralytics na primeira utilização.

• Os valores mAP^val correspondem a um único modelo e escala no conjunto de dados COCO val2017.
  Reproduz com yolo segment val data=coco.yaml device=0 nms=False
• Velocidade média nas imagens de COCO val com ONNX em CPU e TensorRT10 numa GPU NVIDIA T4.
  Reproduz os resultados com yolo segment val data=coco.yaml batch=1 device=0|cpu nms=False
• Os valores de Params e FLOPs referem-se a modelos fundidos após a fusão de Conv/BatchNorm e a remoção do ramo de deteção não utilizado. Os pontos de controlo pré-treinados mantêm a arquitetura de treino completa e podem apresentar contagens superiores.

Estes checkpoints segmentam as 80 classes do COCO. Para segmentar categorias fora dessa lista sem voltar a treinar, consulta o YOLOE, que recebe as classes como um prompt de texto, um exemplo visual ou um vocabulário integrado.

Consulta a prévia não lançada do YOLO27 para ver resultados preliminares de caixas e máscaras no COCO.

Treinar#

Treina YOLO26n-seg no conjunto de dados COCO8-seg durante 100 épocas, com um tamanho de imagem de 640. Para ver a lista completa de argumentos disponíveis, consulta a página de Configuração.

from ultralytics import YOLO

# Carregar um modelo
model = YOLO("yolo26n-seg.yaml")  # crie um novo modelo a partir de YAML
model = YOLO("yolo26n-seg.pt")  # carregue um modelo pré-treinado (recomendado para treinamento)
model = YOLO("yolo26n-seg.yaml").load("yolo26n-seg.pt")  # crie a partir de YAML e transfira os pesos

# Treinar o modelo
results = model.train(data="coco8-seg.yaml", epochs=100, imgsz=640)

Consulta a página Treino para ver todos os detalhes do modo train. Também podes treinar modelos de segmentação com o treino na nuvem da Ultralytics Platform.

Formato do conjunto de dados#

Encontras informações detalhadas sobre o formato de conjunto de dados de segmentação YOLO no Guia de conjuntos de dados. Para converter um conjunto de dados COCO JSON existente para o formato YOLO, usa a função integrada convert_coco com use_segments=True, conforme descrito no guia de conversão de COCO para YOLO. Também podes criar máscaras de segmentação com a anotação da Ultralytics Platform, usando ferramentas de polígonos e anotação inteligente com tecnologia SAM.

Validar#

Valida a precisão do modelo YOLO26n-seg treinado. Não precisas de argumentos, pois model mantém os dados de treino data e os argumentos como atributos do modelo: path/to/best.pt do exemplo de Treino valida o modelo no COCO8-seg. Os pesos oficiais registam um caminho para o conjunto de dados de treino que não existe na tua máquina, por isso recorrem ao valor predefinido da tarefa coco8-seg.yaml e apresentam um aviso. Passa data para validar noutro conjunto de dados.

from ultralytics import YOLO

# Carregar um modelo
model = YOLO("yolo26n-seg.pt")  # carrega um modelo oficial
model = YOLO("path/to/best.pt")  # carregar um modelo personalizado

# Valida o modelo
metrics = model.val()  # não são necessários argumentos; o conjunto de dados e as definições são guardados
metrics.box.map  # map50-95(B)
metrics.box.map50  # map50(B)
metrics.box.map75  # map75(B)
metrics.box.maps  # uma lista que contém mAP50-95(B) para cada categoria
metrics.box.image_metrics  # dicionário de métricas por imagem para det, com precisão, revocação, F1, TP, FP e FN
metrics.seg.map  # map50-95(M)
metrics.seg.map50  # map50(M)
metrics.seg.map75  # map75(M)
metrics.seg.maps  # uma lista que contém mAP50-95(M) para cada categoria
metrics.seg.image_metrics  # dicionário de métricas por imagem para seg, com precisão, revocação, F1, TP, FP e FN

Prever#

Usa um modelo YOLO26n-seg treinado para fazer predições em imagens.

from ultralytics import YOLO

# Carregar um modelo
model = YOLO("yolo26n-seg.pt")  # carrega um modelo oficial
model = YOLO("path/to/best.pt")  # carregar um modelo personalizado

# Faz previsões com o modelo
results = model("https://ultralytics.com/images/bus.jpg")  # faz uma previsão numa imagem

# Acede aos resultados
for result in results:
    xy = result.masks.xy  # polígonos de máscara em coordenadas de píxeis
    xyn = result.masks.xyn  # polígonos de máscara normalizados
    masks = result.masks.data  # máscaras binárias, forma (N,H,W), dtype torch.uint8

Consulta os detalhes completos do modo predict na página Previsão.

Saída dos resultados#

A segmentação de instâncias do YOLO devolve um objeto Results por imagem. Cada resultado armazena predições ao nível do objeto, em que cada instância detetada tem a sua própria máscara binária, classe, confiança e caixa.

Para ver os campos Results específicos de cada tarefa, consulta a secção Resultados da previsão por tarefa.

Segmentação de instâncias vs. segmentação semântica#

A segmentação de instâncias segmenta ao nível do objeto: dois carros produzem duas máscaras, duas caixas e duas pontuações de confiança. A segmentação semântica classifica ao nível do píxel: esses mesmos carros tornam-se píxeis com o mesmo ID de classe num único mapa de classes do tamanho da imagem, sem caixas, pontuações de confiança ou lista de polígonos predefinida por objeto. Consulta a comparação campo a campo na página de segmentação semântica.

Exportar#

Exporta um modelo YOLO26n-seg para outro formato, como ONNX, CoreML, etc.

from ultralytics import YOLO

# Carregar um modelo
model = YOLO("yolo26n-seg.pt")  # carrega um modelo oficial
model = YOLO("path/to/best.pt")  # carregar um modelo personalizado

# Exporta o modelo
model.export(format="onnx")

Os formatos de exportação disponíveis para YOLO26-seg estão na tabela abaixo. Podes exportar para qualquer formato usando o argumento format, por exemplo, format='onnx' ou format='engine'. Podes fazer predições ou validações diretamente nos modelos exportados, por exemplo, yolo predict model=yolo26n-seg.onnx. Os exemplos de utilização do teu modelo são apresentados após a conclusão da exportação.

nms=None usa por predefinição saídas brutas para NMS externo. Define nms=False para selecionar uma cabeça sem NMS disponível; os formatos não suportados recorrem ao respetivo caminho de saída nativo. As entradas nms acima identificam os formatos que podem incorporar NMS com nms=True.

Consulte os detalhes completos de export na página Exportação.

Perguntas frequentes#