Segmentação semântica com Ultralytics YOLO#

A segmentação semântica atribui um rótulo de classe a cada píxel de uma imagem, produzindo um mapa de classes denso que cobre toda a cena. Ao contrário da segmentação de instâncias, que separa objetos individuais, a segmentação semântica agrupa todos os píxeis da mesma classe, independentemente do número de objetos distintos presentes.

O resultado de um modelo de segmentação semântica é um único mapa de classes com altura e largura, em que cada valor de píxel corresponde a um ID de classe previsto. Isto torna a segmentação semântica ideal para tarefas de interpretação de cenas, como condução autónoma, imagiologia médica e mapeamento da cobertura do solo.

Modelos#

Os modelos YOLO26 Semantic pré-treinados no conjunto de dados Cityscapes são apresentados abaixo.

Os modelos são transferidos automaticamente da versão mais recente do Ultralytics na primeira utilização.

• Os valores mIoU^val correspondem a um único modelo e escala no conjunto de validação Cityscapes.
  Reproduz com yolo semantic val data=cityscapes.yaml device=0 imgsz=2048
• As métricas de Velocidade são calculadas como a média das imagens de validação do Cityscapes, usando uma instância RTX3090.
  Reproduz com yolo semantic val data=cityscapes.yaml batch=1 device=0|cpu imgsz=2048
• Os valores de Parâmetros e FLOPs correspondem ao modelo fundido após model.fuse(), que combina as camadas Conv e BatchNorm. Os checkpoints pré-treinados mantêm a arquitetura de treino completa e podem apresentar contagens superiores.

Os modelos YOLO26 Semantic pré-treinados no conjunto de dados ADE20K são apresentados abaixo.

• Os valores mIoU^val correspondem a um único modelo e escala no conjunto de validação ADE20K.
  Reproduz com yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml device=0 imgsz=640, substituindo yolo26n-sem-ade20k.pt pelo checkpoint yolo26*-sem-ade20k.pt pretendido.
• As métricas de Velocidade são calculadas como a média das imagens de validação do ADE20K, usando uma instância RTX3090.
  Reproduz com yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml batch=1 device=0|cpu imgsz=640, substituindo yolo26n-sem-ade20k.pt pelo checkpoint yolo26*-sem-ade20k.pt pretendido.
• Os valores de Parâmetros e FLOPs correspondem ao modelo fundido após model.fuse(), que combina as camadas Conv e BatchNorm. Os checkpoints pré-treinados mantêm a arquitetura de treino completa e podem apresentar contagens superiores.

Consulta a prévia não lançada do YOLO27 para ver resultados preliminares de mIoU no Cityscapes.

Treinar#

Treina YOLO26n-sem no conjunto de dados Cityscapes8 durante 100 épocas, com um tamanho de imagem de 1024. Para ver a lista completa de argumentos disponíveis, consulta a página de Configuração.

from ultralytics import YOLO

# Carregar um modelo
model = YOLO("yolo26n-sem.yaml")  # crie um novo modelo a partir de YAML
model = YOLO("yolo26n-sem.pt")  # carregue um modelo pré-treinado (recomendado para treinamento)
model = YOLO("yolo26n-sem.yaml").load("yolo26n-sem.pt")  # crie a partir de YAML e transfira os pesos

# Treinar o modelo
results = model.train(data="cityscapes8.yaml", epochs=100, imgsz=1024)

Consulta a página Treino para ver todos os detalhes do modo train. Também podes treinar modelos de segmentação semântica com o treino na nuvem da Ultralytics Platform.

Formato do conjunto de dados#

Os conjuntos de dados de segmentação semântica usam imagens de máscara de canal único, normalmente em PNG, nas quais cada valor de píxel representa um ID de classe. Os píxeis com o valor 255 são tratados como «ignorar» e excluídos do cálculo da perda. O YAML do conjunto de dados deve especificar os caminhos para as imagens e para os diretórios das máscaras correspondentes. Os conjuntos de dados com rótulos de polígonos YOLO são treinados diretamente, com conversão para máscaras em tempo real (consulta abaixo Posso usar dados de segmentação de instâncias). Consulta o Guia de conjuntos de dados de segmentação semântica para ver os detalhes do formato. Os conjuntos de dados suportados incluem Cityscapes e ADE20K. Podes gerir e rotular conjuntos de dados semânticos com a anotação da Ultralytics Platform.

Validar#

Valida a precisão do modelo YOLO26n-sem treinado num conjunto de dados de segmentação semântica. Passa data explicitamente para que a validação use o YAML do conjunto de dados pretendido.

from ultralytics import YOLO

# Carregar um modelo
model = YOLO("yolo26n-sem.pt")  # carrega um modelo oficial
model = YOLO("path/to/best.pt")  # carregar um modelo personalizado

# Valida o modelo
metrics = model.val(data="cityscapes.yaml")
metrics.miou  # interseção sobre união média
metrics.pixel_accuracy  # precisão geral por píxel

Prever#

Usa um modelo YOLO26n-sem treinado para fazer predições em imagens.

from ultralytics import YOLO

# Carregar um modelo
model = YOLO("yolo26n-sem.pt")  # carrega um modelo oficial
model = YOLO("path/to/best.pt")  # carregar um modelo personalizado

# Faz previsões com o modelo
results = model("https://ultralytics.com/images/bus.jpg")  # faz uma previsão numa imagem

# Acede aos resultados
for result in results:
    semantic_mask = result.semantic_mask.data  # mapa de classes, forma (H,W), tipo de dados inteiro selecionado conforme o número de classes

Consulta os detalhes completos do modo predict na página Previsão.

Saída dos resultados#

A segmentação semântica do YOLO devolve um objeto Results por imagem. Cada resultado armazena um único mapa de classes denso para a imagem completa, em vez de uma lista de máscaras de objetos. Os píxeis com a mesma classe prevista partilham o mesmo ID de classe, mesmo quando pertencem a objetos separados.

Para ver os campos Results específicos de cada tarefa, consulta a secção Resultados da previsão por tarefa.

Segmentação de instâncias vs. segmentação semântica#

Exportar#

Exporta um modelo YOLO26n-sem para outro formato, como ONNX, CoreML, etc.

from ultralytics import YOLO

# Carregar um modelo
model = YOLO("yolo26n-sem.pt")  # carrega um modelo oficial
model = YOLO("path/to/best.pt")  # carregar um modelo personalizado

# Exporta o modelo
model.export(format="onnx")

Os formatos de exportação disponíveis para segmentação semântica YOLO26 estão na tabela abaixo. Podes exportar para qualquer formato usando o argumento format, por exemplo, format='onnx' ou format='engine'. Podes fazer predições ou validações diretamente nos modelos exportados, por exemplo, yolo predict model=yolo26n-sem.onnx. Os exemplos de utilização do teu modelo são apresentados após a conclusão da exportação.

nms=None usa por predefinição saídas brutas para NMS externo. Define nms=False para selecionar uma cabeça sem NMS disponível; os formatos não suportados recorrem ao respetivo caminho de saída nativo. As entradas nms acima identificam os formatos que podem incorporar NMS com nms=True.

Consulte os detalhes completos de export na página Exportação.

Perguntas frequentes#