Segmentação Semântica#

Semantic segmentation atribui um rótulo de classe a cada pixel em uma imagem, produzindo um mapa de classe denso que cobre toda a cena. Ao contrário da instance segmentation, que separa objetos individuais, a segmentação semântica agrupa todos os pixels da mesma classe independentemente de quantos objetos distintos estejam presentes.

A saída de um modelo de segmentação semântica é um mapa de classes de altura por largura, onde cada valor de pixel corresponde a um ID de classe previsto. Isso torna a segmentação semântica ideal para tarefas de análise de cena, como condução autônoma, imagens médicas e mapeamento de cobertura da terra.

Modelos#

Os modelos de segmentação semântica YOLO26 pré-treinados no conjunto de dados Cityscapes são mostrados abaixo.

Os Modelos são baixados automaticamente do lançamento mais recente do Ultralytics no primeiro uso.

• Os valores de mIoU^val são para modelo único e escala única no conjunto de validação Cityscapes.
  Reproduz com yolo semantic val data=cityscapes.yaml device=0 imgsz=2048
• As métricas de Speed são calculadas na média sobre imagens de validação do Cityscapes usando uma instância RTX3090.
  Reproduz com yolo semantic val data=cityscapes.yaml batch=1 device=0|cpu imgsz=2048
• Os valores de Params e FLOPs são para o modelo fundido após model.fuse(), que mescla as camadas Conv e BatchNorm. Os checkpoints pré-treinados retêm a arquitetura de treinamento completa e podem mostrar contagens mais altas.

Os modelos de segmentação semântica YOLO26 pré-treinados no conjunto de dados ADE20K são mostrados abaixo.

Os Modelos são baixados automaticamente do lançamento mais recente do Ultralytics no primeiro uso.

• Os valores de mIoU^val são para modelo único e escala única no conjunto de validação ADE20K.
  Reproduz com yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml device=0 imgsz=640, substituindo yolo26n-sem-ade20k.pt pelo checkpoint yolo26*-sem-ade20k.pt desejado.
• As métricas de Speed são calculadas na média sobre imagens de validação do ADE20K usando uma instância RTX3090.
  Reproduz com yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml batch=1 device=0|cpu imgsz=640, substituindo yolo26n-sem-ade20k.pt pelo checkpoint yolo26*-sem-ade20k.pt desejado.
• Os valores de Params e FLOPs são para o modelo fundido após model.fuse(), que mescla as camadas Conv e BatchNorm. Os checkpoints pré-treinados retêm a arquitetura de treinamento completa e podem mostrar contagens mais altas.

Treinar#

Treina o YOLO26n-sem no conjunto de dados Cityscapes8 por 100 epochs em um tamanho de imagem de 1024. Para ver uma lista completa de argumentos disponíveis, consulta a página Configuration.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.yaml")  # build a new model from YAML
model = YOLO("yolo26n-sem.pt")  # load a pretrained model (recommended for training)
model = YOLO("yolo26n-sem.yaml").load("yolo26n-sem.pt")  # build from YAML and transfer weights

# Train the model
results = model.train(data="cityscapes8.yaml", epochs=100, imgsz=1024)

Vê todos os detalhes do modo train na página Train. Os modelos de segmentação semântica também podem ser treinados com Ultralytics Platform cloud training.

Formato do conjunto de dados#

Os conjuntos de dados de segmentação semântica utilizam imagens de máscara de canal único, tipicamente PNG, onde cada valor de pixel representa um ID de classe. Pixels com valor 255 são tratados como "ignorar" e excluídos do cálculo da perda. O YAML do conjunto de dados deve especificar os caminhos para as imagens e seus diretórios de máscara correspondentes. Consulta o Semantic Segmentation Dataset Guide para obter detalhes sobre o formato. Os conjuntos de dados suportados incluem Cityscapes e ADE20K. Podes gerir e rotular conjuntos de dados semânticos com Ultralytics Platform annotation.

Validar#

Valida a accuracy do modelo YOLO26n-sem treinado em um conjunto de dados de segmentação semântica. Passa data explicitamente para que a validação utilize o YAML do conjunto de dados pretendido.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Validate the model
metrics = model.val(data="cityscapes.yaml")
metrics.miou  # mean Intersection over Union
metrics.pixel_accuracy  # overall pixel accuracy

Prever#

Use um modelo YOLO26n-sem treinado para realizar predições em imagens.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    semantic_mask = result.semantic_mask.data  # class map, shape (H,W), integer dtype selected by class count

Consulta todos os detalhes do modo predict na página Prever.

Saída de Resultados#

A segmentação semântica YOLO retorna um objeto Results por imagem. Cada resultado armazena um mapa de classe denso para a imagem completa em vez de uma lista de máscaras de objetos. Pixels com a mesma classe predita compartilham o mesmo ID de classe, mesmo quando pertencem a objetos separados.

Para campos de Results específicos de tarefas em cada tarefa, consulta a seção Resultados de Previsão por Tarefa.

Segmentação de Instância vs. Semântica#

Exportar#

Exporte um modelo YOLO26n-sem para um formato diferente como ONNX, CoreML, etc.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Export the model
model.export(format="onnx")

Os formatos de exportação de segmentação semântica YOLO26 disponíveis encontram-se na tabela abaixo. Podes exportar para qualquer formato usando o argumento format, ou seja, format='onnx' ou format='engine'. Podes prever ou validar diretamente em modelos exportados, ou seja, yolo predict model=yolo26n-sem.onnx. Os exemplos de uso são mostrados para o teu modelo após a conclusão da exportação.

Consulta todos os detalhes de export na página Exportar.

FAQ#