Segmentação Semântica com o YOLO da Ultralytics#

A segmentação semântica atribui um rótulo de classe a cada pixel de uma imagem, produzindo um mapa de classes denso que cobre toda a cena. Ao contrário da segmentação de instâncias, que separa objetos individuais, a segmentação semântica agrupa todos os pixels da mesma classe, independentemente de quantos objetos distintos estejam presentes.

A saída de um modelo de segmentação semântica é um único mapa de classes com altura por largura, no qual o valor de cada pixel corresponde a um ID de classe previsto. Isso torna a segmentação semântica ideal para tarefas de interpretação de cenas, como condução autónoma, imagiologia médica e mapeamento da cobertura do solo.

Modelos#

Os modelos de segmentação semântica YOLO26 pré-treinados no conjunto de dados Cityscapes são apresentados abaixo.

Os modelos são descarregados automaticamente da versão mais recente da Ultralytics na primeira utilização.

• Os valores de mIoU^val correspondem a um único modelo numa única escala no conjunto de validação Cityscapes.
  Reproduza com yolo semantic val data=cityscapes.yaml device=0 imgsz=2048
• As métricas de velocidade são calculadas como a média das imagens de validação Cityscapes usando uma instância RTX3090.
  Reproduza com yolo semantic val data=cityscapes.yaml batch=1 device=0|cpu imgsz=2048
• Os valores de Params e FLOPs correspondem ao modelo fundido após model.fuse(), que combina as camadas Conv e BatchNorm. Os checkpoints pré-treinados mantêm toda a arquitetura de treinamento e podem apresentar contagens maiores.

Os modelos de segmentação semântica YOLO26 pré-treinados no conjunto de dados ADE20K são apresentados abaixo.

Os modelos são descarregados automaticamente da versão mais recente da Ultralytics na primeira utilização.

• Os valores de mIoU^val correspondem a um único modelo numa única escala no conjunto de validação ADE20K.
  Reproduza com yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml device=0 imgsz=640, substituindo yolo26n-sem-ade20k.pt pelo checkpoint yolo26*-sem-ade20k.pt pretendido.
• As métricas de velocidade são calculadas como a média das imagens de validação ADE20K usando uma instância RTX3090.
  Reproduza com yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml batch=1 device=0|cpu imgsz=640, substituindo yolo26n-sem-ade20k.pt pelo checkpoint yolo26*-sem-ade20k.pt pretendido.
• Os valores de Params e FLOPs correspondem ao modelo fundido após model.fuse(), que combina as camadas Conv e BatchNorm. Os checkpoints pré-treinados mantêm toda a arquitetura de treinamento e podem apresentar contagens maiores.

Consulta a pré-visualização não lançada do YOLO27 para obter resultados preliminares do mIoU no Cityscapes.

Treinar#

Treine YOLO26n-sem no conjunto de dados Cityscapes8 durante 100 épocas, com um tamanho de imagem de 1024. Para obter a lista completa dos argumentos disponíveis, consulte a página de Configuração.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.yaml")  # build a new model from YAML
model = YOLO("yolo26n-sem.pt")  # load a pretrained model (recommended for training)
model = YOLO("yolo26n-sem.yaml").load("yolo26n-sem.pt")  # build from YAML and transfer weights

# Train the model
results = model.train(data="cityscapes8.yaml", epochs=100, imgsz=1024)

Consulte os detalhes completos do modo train na página Treino. Os modelos de segmentação semântica também podem ser treinados com o treino na cloud da Ultralytics Platform.

Formato do dataset#

Os conjuntos de dados de segmentação semântica usam imagens de máscaras de canal único, normalmente PNG, nas quais o valor de cada pixel representa um ID de classe. Os pixels com valor 255 são tratados como "ignore" e excluídos do cálculo da perda. O YAML do conjunto de dados deve especificar os caminhos para as imagens e para os diretórios de máscaras correspondentes. Consulte o Guia de Conjuntos de Dados de Segmentação Semântica para obter detalhes sobre o formato. Os conjuntos de dados suportados incluem Cityscapes e ADE20K. Pode gerir e anotar conjuntos de dados semânticos com a anotação da Ultralytics Platform.

Validação#

Valide a precisão do modelo YOLO26n-sem treinado num conjunto de dados de segmentação semântica. Passe data explicitamente para que a validação use o YAML do conjunto de dados pretendido.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Validate the model
metrics = model.val(data="cityscapes.yaml")
metrics.miou  # mean Intersection over Union
metrics.pixel_accuracy  # overall pixel accuracy

Previsão#

Use um modelo YOLO26n-sem treinado para executar previsões em imagens.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    semantic_mask = result.semantic_mask.data  # class map, shape (H,W), integer dtype selected by class count

Consulta todos os detalhes do modo predict na página Predict.

Saída dos resultados#

A segmentação semântica YOLO devolve um objeto Results por imagem. Cada resultado armazena um mapa de classes denso para a imagem completa, em vez de uma lista de máscaras de objetos. Os pixels com a mesma classe prevista partilham o mesmo ID de classe, mesmo quando pertencem a objetos separados.

Para consultar os campos Results específicos da tarefa em todas as tarefas, vê a secção Resultados de Previsão por Tarefa.

Segmentação de instâncias vs. segmentação semântica#

Exportação#

Exporte um modelo YOLO26n-sem para um formato diferente, como ONNX, CoreML, etc.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Export the model
model.export(format="onnx")

Os formatos de exportação disponíveis para a segmentação semântica YOLO26 encontram-se na tabela abaixo. Pode exportar para qualquer formato usando o argumento format, ou seja, format='onnx' ou format='engine'. Pode fazer previsões ou validações diretamente em modelos exportados, por exemplo, com yolo predict model=yolo26n-sem.onnx. Os exemplos de utilização do seu modelo são apresentados após a conclusão da exportação.

nms=None por padrão utiliza saídas brutas para NMS externo. Define nms=False para selecionar uma cabeça livre de NMS disponível; os formatos não suportados recorrem ao seu caminho de saída nativo. As entradas nms acima identificam formatos que podem incorporar NMS com nms=True.

Consulta todos os detalhes de export na página Export.

Perguntas frequentes#