Segmentación semántica#

Semantic segmentation asigna una etiqueta de clase a cada píxel de una imagen, produciendo un mapa de clases denso que cubre toda la escena. A diferencia de la instance segmentation, que separa los objetos individuales, la segmentación semántica agrupa todos los píxeles de la misma clase sin importar cuántos objetos distintos estén presentes.

La salida de un modelo de segmentación semántica es un único mapa de clases de altura por anchura, donde cada valor de píxel corresponde a una ID de clase predicha. Esto hace que la segmentación semántica sea ideal para tareas de análisis de escenas, como la conducción autónoma, la imagenología médica y la cartografía de cobertura terrestre.

Modelos#

A continuación se muestran los modelos de segmentación semántica de YOLO26 preentrenados en el conjunto de datos Cityscapes.

Los Modelos se descargan automáticamente de la última versión de Ultralytics en su primer uso.

• Los valores de mIoU^val corresponden a un único modelo y una única escala en el conjunto de validación de Cityscapes.
  Reproduce con yolo semantic val data=cityscapes.yaml device=0 imgsz=2048
• Las métricas de Speed se promedian utilizando imágenes de validación de Cityscapes con una instancia RTX3090.
  Reproduce con yolo semantic val data=cityscapes.yaml batch=1 device=0|cpu imgsz=2048
• Los valores de Params y FLOPs son para el modelo fusionado después de model.fuse(), que combina las capas Conv y BatchNorm. Los puntos de control preentrenados conservan toda la arquitectura de entrenamiento y pueden mostrar recuentos más altos.

A continuación se muestran los modelos de segmentación semántica de YOLO26 preentrenados en el conjunto de datos ADE20K.

Los Modelos se descargan automáticamente de la última versión de Ultralytics en su primer uso.

• Los valores de mIoU^val corresponden a un único modelo y una única escala en el conjunto de validación de ADE20K.
  Reproduce con yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml device=0 imgsz=640, reemplazando yolo26n-sem-ade20k.pt con el punto de control yolo26*-sem-ade20k.pt deseado.
• Las métricas de Speed se promedian utilizando imágenes de validación de ADE20K con una instancia RTX3090.
  Reproduce con yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml batch=1 device=0|cpu imgsz=640, reemplazando yolo26n-sem-ade20k.pt con el punto de control yolo26*-sem-ade20k.pt deseado.
• Los valores de Params y FLOPs son para el modelo fusionado después de model.fuse(), que combina las capas Conv y BatchNorm. Los puntos de control preentrenados conservan toda la arquitectura de entrenamiento y pueden mostrar recuentos más altos.

Entrenar#

Entrena YOLO26n-sem en el conjunto de datos Cityscapes8 durante 100 epochs con un tamaño de imagen de 1024. Para ver una lista completa de los argumentos disponibles, consulta la página Configuration.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.yaml")  # build a new model from YAML
model = YOLO("yolo26n-sem.pt")  # load a pretrained model (recommended for training)
model = YOLO("yolo26n-sem.yaml").load("yolo26n-sem.pt")  # build from YAML and transfer weights

# Train the model
results = model.train(data="cityscapes8.yaml", epochs=100, imgsz=1024)

Consulta todos los detalles del modo train en la página Train. Los modelos de segmentación semántica también se pueden entrenar con Ultralytics Platform cloud training.

Formato del conjunto de datos#

Los conjuntos de datos de segmentación semántica utilizan imágenes de máscaras de un solo canal, normalmente PNG, donde cada valor de píxel representa un ID de clase. Los píxeles con el valor 255 se tratan como "ignorar" y se excluyen del cálculo de la pérdida. El YAML del conjunto de datos debe especificar las rutas a las imágenes y sus directorios de máscaras correspondientes. Consulta la Semantic Segmentation Dataset Guide para conocer los detalles del formato. Los conjuntos de datos compatibles incluyen Cityscapes y ADE20K. Puedes gestionar y etiquetar conjuntos de datos semánticos con Ultralytics Platform annotation.

Validar#

Valida la accuracy del modelo YOLO26n-sem entrenado en un conjunto de datos de segmentación semántica. Pasa data explícitamente para que la validación utilice el YAML del conjunto de datos previsto.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Validate the model
metrics = model.val(data="cityscapes.yaml")
metrics.miou  # mean Intersection over Union
metrics.pixel_accuracy  # overall pixel accuracy

Predecir#

Usa un modelo YOLO26n-sem entrenado para ejecutar predicciones en imágenes.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    semantic_mask = result.semantic_mask.data  # class map, shape (H,W), integer dtype selected by class count

Consulta todos los detalles del modo predict en la página Predict.

Resultado de la salida#

La segmentación semántica de YOLO devuelve un objeto Results por imagen. Cada resultado almacena un mapa de clases denso para toda la imagen en lugar de una lista de máscaras de objetos. Los píxeles con la misma clase predicha comparten el mismo ID de clase, incluso cuando pertenecen a objetos separados.

Para ver los campos de Results específicos de cada tarea en todas ellas, consulta la sección Predict Results by Task.

Segmentación de instancias frente a semántica#

Exportar#

Exporta un modelo YOLO26n-sem a un formato diferente como ONNX, CoreML, etc.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Export the model
model.export(format="onnx")

Los formatos de exportación de segmentación semántica de YOLO26 disponibles se encuentran en la tabla siguiente. Puedes exportar a cualquier formato usando el argumento format, es decir, format='onnx' o format='engine'. Puedes predecir o validar directamente en modelos exportados, es decir, yolo predict model=yolo26n-sem.onnx. Se muestran ejemplos de uso para tu modelo una vez que se complete la exportación.

Consulta todos los detalles de export en la página Export.

FAQ#