Segmentación semántica con Ultralytics YOLO#

La segmentación semántica asigna una etiqueta de clase a cada píxel de una imagen, lo que produce un mapa de clases denso que cubre toda la escena. A diferencia de la segmentación de instancias, que separa los objetos individuales, la segmentación semántica agrupa todos los píxeles de la misma clase, independientemente del número de objetos distintos presentes.

La salida de un modelo de segmentación semántica es un único mapa de clases de alto por ancho, donde el valor de cada píxel corresponde a un ID de clase predicho. Esto hace que la segmentación semántica sea ideal para tareas de interpretación de escenas, como la conducción autónoma, el análisis de imágenes médicas y la cartografía de la cobertura terrestre.

Modelos#

A continuación se muestran los modelos de segmentación semántica YOLO26 preentrenados en el conjunto de datos Cityscapes.

Los modelos se descargan automáticamente de la versión más reciente de Ultralytics durante el primer uso.

• Los valores de mIoU^val corresponden a un único modelo y una única escala en el conjunto de validación de Cityscapes.
  Reprodúcelos con yolo semantic val data=cityscapes.yaml device=0 imgsz=2048
• Las métricas de velocidad son promedios calculados sobre las imágenes de validación de Cityscapes mediante una instancia RTX3090.
  Reprodúcelas con yolo semantic val data=cityscapes.yaml batch=1 device=0|cpu imgsz=2048
• Los valores de Params y FLOPs corresponden al modelo fusionado después de model.fuse(), que combina las capas Conv y BatchNorm. Los checkpoints preentrenados conservan la arquitectura completa de entrenamiento y pueden mostrar recuentos superiores.

A continuación se muestran los modelos de segmentación semántica YOLO26 preentrenados en el conjunto de datos ADE20K.

Los modelos se descargan automáticamente de la versión más reciente de Ultralytics durante el primer uso.

• Los valores de mIoU^val corresponden a un único modelo y una única escala en el conjunto de validación de ADE20K.
  Reprodúcelos con yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml device=0 imgsz=640, sustituyendo yolo26n-sem-ade20k.pt por el checkpoint yolo26*-sem-ade20k.pt deseado.
• Las métricas de velocidad son promedios calculados sobre las imágenes de validación de ADE20K mediante una instancia RTX3090.
  Reprodúcelas con yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml batch=1 device=0|cpu imgsz=640, sustituyendo yolo26n-sem-ade20k.pt por el checkpoint yolo26*-sem-ade20k.pt deseado.
• Los valores de Params y FLOPs corresponden al modelo fusionado después de model.fuse(), que combina las capas Conv y BatchNorm. Los checkpoints preentrenados conservan la arquitectura completa de entrenamiento y pueden mostrar recuentos superiores.

Consulta la vista previa de YOLO27 no publicada para ver los resultados preliminares de mIoU en Cityscapes.

Entrenar#

Entrena YOLO26n-sem en el conjunto de datos Cityscapes8 durante 100 épocas con un tamaño de imagen de 1024. Consulta la página de Configuración para ver la lista completa de argumentos disponibles.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.yaml")  # build a new model from YAML
model = YOLO("yolo26n-sem.pt")  # load a pretrained model (recommended for training)
model = YOLO("yolo26n-sem.yaml").load("yolo26n-sem.pt")  # build from YAML and transfer weights

# Train the model
results = model.train(data="cityscapes8.yaml", epochs=100, imgsz=1024)

Consulta todos los detalles del modo train en la página de Entrenamiento. Los modelos de segmentación semántica también se pueden entrenar con el entrenamiento en la nube de Ultralytics Platform.

Formato del conjunto de datos#

Los conjuntos de datos de segmentación semántica usan imágenes de máscara de un solo canal, normalmente PNG, donde el valor de cada píxel representa un ID de clase. Los píxeles con valor 255 se tratan como "ignore" y se excluyen del cálculo de la pérdida. El YAML del conjunto de datos debe especificar las rutas a las imágenes y a sus directorios de máscaras correspondientes. Consulta la Guía de conjuntos de datos de segmentación semántica para conocer los detalles del formato. Entre los conjuntos de datos compatibles se incluyen Cityscapes y ADE20K. Puedes gestionar y etiquetar conjuntos de datos semánticos con la anotación de Ultralytics Platform.

Val#

Valida la precisión del modelo YOLO26n-sem entrenado en un conjunto de datos de segmentación semántica. Pasa data explícitamente para que la validación use el YAML del conjunto de datos previsto.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Validate the model
metrics = model.val(data="cityscapes.yaml")
metrics.miou  # mean Intersection over Union
metrics.pixel_accuracy  # overall pixel accuracy

Predecir#

Usa un modelo YOLO26n-sem entrenado para ejecutar predicciones sobre imágenes.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    semantic_mask = result.semantic_mask.data  # class map, shape (H,W), integer dtype selected by class count

Consulta todos los detalles del modo predict en la página Predecir.

Salida de resultados#

La segmentación semántica de YOLO devuelve un objeto Results por imagen. Cada resultado almacena un mapa de clases denso para toda la imagen, en lugar de una lista de máscaras de objetos. Los píxeles con la misma clase predicha comparten el mismo ID de clase, aunque pertenezcan a objetos distintos.

Para consultar los campos específicos de la tarea de Results en todas las tareas, visita la sección Resultados de predicción por tarea.

Segmentación de instancias frente a segmentación semántica#

Exportar#

Exporta un modelo YOLO26n-sem a otro formato, como ONNX, CoreML, etc.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Export the model
model.export(format="onnx")

Los formatos de exportación de segmentación semántica YOLO26 disponibles se muestran en la tabla siguiente. Puedes exportar a cualquier formato mediante el argumento format, es decir, format='onnx' o format='engine'. Puedes predecir o validar directamente con modelos exportados, es decir, yolo predict model=yolo26n-sem.onnx. Tras completar la exportación, se muestran ejemplos de uso para tu modelo.

nms=None se establece por defecto en salidas sin procesar para la NMS externa. Configura nms=False para seleccionar una cabeza libre de NMS disponible; los formatos no compatibles recurren a su ruta de salida nativa. Las entradas nms anteriores identifican los formatos que pueden incrustar la NMS con nms=True.

Consulta todos los detalles de export en la página Exportar.

Preguntas frecuentes#