Segmentación semántica con Ultralytics YOLO#

La segmentación semántica asigna una etiqueta de clase a cada píxel de una imagen y genera un mapa de clases denso que abarca toda la escena. A diferencia de la segmentación de instancias, que separa los objetos individuales, la segmentación semántica agrupa todos los píxeles de una misma clase, independientemente del número de objetos distintos que haya.

El resultado de un modelo de segmentación semántica es un único mapa de clases de alto por ancho, donde el valor de cada píxel corresponde a un ID de clase predicho. Esto hace que la segmentación semántica sea ideal para tareas de interpretación de escenas, como la conducción autónoma, el diagnóstico por imagen y la cartografía de la cubierta terrestre.

Modelos#

A continuación se muestran los modelos YOLO26 Semantic preentrenados con el conjunto de datos Cityscapes.

Los modelos se descargan automáticamente desde la versión más reciente de Ultralytics al usarlos por primera vez.

• Los valores de mIoU^val corresponden a un único modelo y una única escala en el conjunto de validación de Cityscapes.
  Reprodúcelos con yolo semantic val data=cityscapes.yaml device=0 imgsz=2048
• Las métricas de velocidad son promedios calculados con las imágenes de validación de Cityscapes en una instancia RTX3090.
  Reprodúcelas con yolo semantic val data=cityscapes.yaml batch=1 device=0|cpu imgsz=2048
• Los valores de parámetros y FLOPs corresponden al modelo fusionado tras model.fuse(), que combina las capas Conv y BatchNorm. Los puntos de control preentrenados conservan la arquitectura de entrenamiento completa y pueden mostrar valores más altos.

A continuación se muestran los modelos YOLO26 Semantic preentrenados con el conjunto de datos ADE20K.

• Los valores de mIoU^val corresponden a un único modelo y una única escala en el conjunto de validación de ADE20K.
  Reprodúcelos con yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml device=0 imgsz=640, sustituyendo yolo26n-sem-ade20k.pt por el punto de control yolo26*-sem-ade20k.pt que quieras.
• Las métricas de velocidad son promedios calculados con las imágenes de validación de ADE20K en una instancia RTX3090.
  Reprodúcelas con yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml batch=1 device=0|cpu imgsz=640, sustituyendo yolo26n-sem-ade20k.pt por el punto de control yolo26*-sem-ade20k.pt que quieras.
• Los valores de parámetros y FLOPs corresponden al modelo fusionado tras model.fuse(), que combina las capas Conv y BatchNorm. Los puntos de control preentrenados conservan la arquitectura de entrenamiento completa y pueden mostrar valores más altos.

Consulta la vista previa no publicada de YOLO27 para ver resultados preliminares de mIoU en Cityscapes.

Entrenar#

Entrena YOLO26n-sem con el conjunto de datos Cityscapes8 durante 100 épocas con un tamaño de imagen de 1024. Consulta la página de Configuración para ver la lista completa de argumentos disponibles.

from ultralytics import YOLO

# Cargar un modelo
model = YOLO("yolo26n-sem.yaml")  # Crea un modelo nuevo a partir de YAML
model = YOLO("yolo26n-sem.pt")  # Carga un modelo preentrenado (recomendado para el entrenamiento)
model = YOLO("yolo26n-sem.yaml").load("yolo26n-sem.pt")  # Crea el modelo a partir de YAML y transfiere los pesos

# Entrenar el modelo
results = model.train(data="cityscapes8.yaml", epochs=100, imgsz=1024)

Consulta la página Entrenamiento para ver todos los detalles del modo train. También puedes entrenar modelos de segmentación semántica con el entrenamiento en la nube de Ultralytics Platform.

Formato del conjunto de datos#

Los conjuntos de datos de segmentación semántica usan imágenes de máscaras de un solo canal, normalmente PNG, donde el valor de cada píxel representa un ID de clase. Los píxeles con valor 255 se tratan como «ignorar» y se excluyen del cálculo de la pérdida. El YAML del conjunto de datos debe especificar las rutas a las imágenes y a sus correspondientes directorios de máscaras. Los conjuntos de datos con etiquetas de polígonos YOLO se entrenan directamente; las etiquetas se convierten en máscaras sobre la marcha (consulta más abajo ¿Puedo usar datos de segmentación de instancias?). Consulta la Guía de conjuntos de datos de segmentación semántica para ver los detalles del formato. Entre los conjuntos de datos compatibles se incluyen Cityscapes y ADE20K. Puedes gestionar y etiquetar conjuntos de datos semánticos con la anotación de Ultralytics Platform.

Validar#

Valida la precisión del modelo YOLO26n-sem entrenado con un conjunto de datos de segmentación semántica. Pasa data explícitamente para que la validación use el YAML del conjunto de datos previsto.

from ultralytics import YOLO

# Cargar un modelo
model = YOLO("yolo26n-sem.pt")  # carga un modelo oficial
model = YOLO("path/to/best.pt")  # cargar un modelo personalizado

# Valida el modelo
metrics = model.val(data="cityscapes.yaml")
metrics.miou  # intersección media sobre unión
metrics.pixel_accuracy  # precisión global por píxel

Predecir#

Usa un modelo YOLO26n-sem entrenado para hacer predicciones sobre imágenes.

from ultralytics import YOLO

# Cargar un modelo
model = YOLO("yolo26n-sem.pt")  # carga un modelo oficial
model = YOLO("path/to/best.pt")  # cargar un modelo personalizado

# Haz predicciones con el modelo
results = model("https://ultralytics.com/images/bus.jpg")  # haz una predicción sobre una imagen

# Accede a los resultados
for result in results:
    semantic_mask = result.semantic_mask.data  # mapa de clases, forma (H,W), tipo de datos entero seleccionado según el número de clases

Consulta todos los detalles del modo predict en la página de predicción.

Resultados de salida#

La segmentación semántica de YOLO devuelve un objeto Results por imagen. Cada resultado almacena un único mapa de clases denso para toda la imagen, en lugar de una lista de máscaras de objetos. Los píxeles con la misma clase predicha comparten el mismo ID de clase, aunque pertenezcan a objetos distintos.

Para consultar los campos Results específicos de cada tarea, visita la sección resultados de predicción por tarea.

Segmentación de instancias frente a segmentación semántica#

Exportar#

Exporta un modelo YOLO26n-sem a otro formato, como ONNX, CoreML, etc.

from ultralytics import YOLO

# Cargar un modelo
model = YOLO("yolo26n-sem.pt")  # carga un modelo oficial
model = YOLO("path/to/best.pt")  # cargar un modelo personalizado

# Exporta el modelo
model.export(format="onnx")

Los formatos de exportación disponibles para la segmentación semántica YOLO26 aparecen en la tabla siguiente. Puedes exportar a cualquier formato con el argumento format, es decir, format='onnx' o format='engine'. También puedes hacer predicciones o validar directamente con modelos exportados, por ejemplo, yolo predict model=yolo26n-sem.onnx. Cuando termine la exportación, se mostrarán ejemplos de uso de tu modelo.

nms=None usa de forma predeterminada salidas sin procesar para NMS externa. Establece nms=False para seleccionar una cabeza sin NMS disponible; los formatos no compatibles recurren a su ruta de salida nativa. Las entradas nms anteriores identifican los formatos que pueden integrar NMS con nms=True.

Consulta todos los detalles de export en la página Exportar.

Preguntas frecuentes#