Segmentazione Semantica con Ultralytics YOLO#

La segmentazione semantica assegna un'etichetta di classe a ogni pixel di un'immagine, producendo una mappa di classe densa che copre l'intera scena. A differenza della segmentazione delle istanze, che separa i singoli oggetti, la segmentazione semantica raggruppa tutti i pixel della stessa classe indipendentemente dal numero di oggetti distinti presenti.

L'output di un modello di segmentazione semantica è un'unica mappa di classe con altezza e larghezza, in cui il valore di ogni pixel corrisponde all'ID della classe predetta. Questo rende la segmentazione semantica ideale per attività di interpretazione della scena come guida autonoma, imaging medico e mappatura della copertura del suolo.

Modelli#

Di seguito sono mostrati i modelli di segmentazione semantica YOLO26 preaddestrati sul dataset Cityscapes.

I modelli vengono scaricati automaticamente dall'ultima release di Ultralytics al primo utilizzo.

• I valori di mIoU^val sono calcolati con un singolo modello e una singola scala sul set di convalida Cityscapes.
  Riproduci con yolo semantic val data=cityscapes.yaml device=0 imgsz=2048
• Le metriche di velocità sono mediate sulle immagini di convalida Cityscapes utilizzando un'istanza RTX3090.
  Riproduci con yolo semantic val data=cityscapes.yaml batch=1 device=0|cpu imgsz=2048
• I valori di Params e FLOPs si riferiscono al modello fuso dopo model.fuse(), che unisce i layer Conv e BatchNorm. I checkpoint preaddestrati conservano l'architettura completa di addestramento e possono mostrare conteggi più elevati.

Di seguito sono mostrati i modelli di segmentazione semantica YOLO26 preaddestrati sul dataset ADE20K.

I modelli vengono scaricati automaticamente dall'ultima release di Ultralytics al primo utilizzo.

• I valori di mIoU^val sono calcolati con un singolo modello e una singola scala sul set di convalida ADE20K.
  Riproduci con yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml device=0 imgsz=640, sostituendo yolo26n-sem-ade20k.pt con il checkpoint yolo26*-sem-ade20k.pt desiderato.
• Le metriche di velocità sono mediate sulle immagini di convalida ADE20K utilizzando un'istanza RTX3090.
  Riproduci con yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml batch=1 device=0|cpu imgsz=640, sostituendo yolo26n-sem-ade20k.pt con il checkpoint yolo26*-sem-ade20k.pt desiderato.
• I valori di Params e FLOPs si riferiscono al modello fuso dopo model.fuse(), che unisce i layer Conv e BatchNorm. I checkpoint preaddestrati conservano l'architettura completa di addestramento e possono mostrare conteggi più elevati.

Consulta l'anteprima inedita di YOLO27 per i risultati preliminari di mIoU su Cityscapes.

Addestramento#

Addestra YOLO26n-sem sul dataset Cityscapes8 per 100 epoche con una dimensione delle immagini di 1024. Per un elenco completo degli argomenti disponibili, consulta la pagina Configurazione.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.yaml")  # build a new model from YAML
model = YOLO("yolo26n-sem.pt")  # load a pretrained model (recommended for training)
model = YOLO("yolo26n-sem.yaml").load("yolo26n-sem.pt")  # build from YAML and transfer weights

# Train the model
results = model.train(data="cityscapes8.yaml", epochs=100, imgsz=1024)

Consulta tutti i dettagli della modalità train nella pagina Addestramento. I modelli di segmentazione semantica possono essere addestrati anche con l'addestramento cloud di Ultralytics Platform.

Formato del dataset#

I dataset di segmentazione semantica usano immagini maschera a canale singolo, in genere PNG, in cui ogni valore di pixel rappresenta un ID di classe. I pixel con valore 255 vengono trattati come "ignore" ed esclusi dal calcolo della loss. Il file YAML del dataset deve specificare i percorsi delle immagini e delle directory delle maschere corrispondenti. Consulta la Guida ai dataset di segmentazione semantica per i dettagli sul formato. I dataset supportati includono Cityscapes e ADE20K. Puoi gestire e annotare i dataset semantici con l'annotazione di Ultralytics Platform.

Val#

Convalida l'accuratezza del modello YOLO26n-sem addestrato su un dataset di segmentazione semantica. Passa esplicitamente data in modo che la convalida utilizzi il file YAML del dataset previsto.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Validate the model
metrics = model.val(data="cityscapes.yaml")
metrics.miou  # mean Intersection over Union
metrics.pixel_accuracy  # overall pixel accuracy

Predizione#

Usa un modello YOLO26n-sem addestrato per eseguire predizioni sulle immagini.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    semantic_mask = result.semantic_mask.data  # class map, shape (H,W), integer dtype selected by class count

Consulta la pagina Predict per tutti i dettagli sulla modalità predict.

Output dei risultati#

La segmentazione semantica YOLO restituisce un oggetto Results per immagine. Ogni risultato memorizza una mappa di classe densa per l'intera immagine invece di un elenco di maschere degli oggetti. I pixel con la stessa classe predetta condividono lo stesso ID di classe, anche quando appartengono a oggetti separati.

Per i campi Results specifici dell'attività in tutte le attività, consulta la sezione Risultati delle predizioni per attività.

Segmentazione delle istanze e segmentazione semantica#

Esportazione#

Esporta un modello YOLO26n-sem in un formato diverso, come ONNX, CoreML, ecc.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Export the model
model.export(format="onnx")

I formati di esportazione disponibili per la segmentazione semantica YOLO26 sono riportati nella tabella seguente. Puoi esportare in qualsiasi formato usando l'argomento format, ovvero format='onnx' o format='engine'. Puoi eseguire predizioni o convalide direttamente sui modelli esportati, ovvero yolo predict model=yolo26n-sem.onnx. Al termine dell'esportazione verranno mostrati esempi di utilizzo per il tuo modello.

nms=None utilizza i valori predefiniti per gli output grezzi per la NMS esterna. Imposta nms=False per selezionare una testa senza NMS disponibile; i formati non supportati ricorrono al loro percorso di output nativo. Le voci nms sopra indicano i formati che possono incorporare la NMS con nms=True.

Consulta la pagina Export per tutti i dettagli su export.

FAQ#