Segmentazione semantica con Ultralytics YOLO#

La segmentazione semantica assegna un'etichetta di classe a ogni pixel di un'immagine, producendo una mappa di classi densa che copre l'intera scena. A differenza della segmentazione delle istanze, che separa i singoli oggetti, la segmentazione semantica raggruppa tutti i pixel della stessa classe, indipendentemente dal numero di oggetti distinti presenti.

L'output di un modello di segmentazione semantica è un'unica mappa di classi con altezza e larghezza pari a quelle dell'immagine, in cui ogni valore di pixel corrisponde a un ID di classe previsto. Per questo la segmentazione semantica è ideale per attività di analisi delle scene come la guida autonoma, l'imaging medico e la mappatura della copertura del suolo.

Modelli#

Di seguito sono mostrati i modelli YOLO26 Semantic preaddestrati sul dataset Cityscapes.

I modelli vengono scaricati automaticamente dalla più recente release di Ultralytics al primo utilizzo.

• I valori mIoU^val si riferiscono a un singolo modello e a una singola scala sul set di convalida Cityscapes.
  Riproduci i risultati con yolo semantic val data=cityscapes.yaml device=0 imgsz=2048
• Le metriche di velocità sono medie calcolate sulle immagini di convalida Cityscapes usando un'istanza RTX3090.
  Riproduci i risultati con yolo semantic val data=cityscapes.yaml batch=1 device=0|cpu imgsz=2048
• I valori di Params e FLOPs si riferiscono al modello fuso dopo model.fuse(), che unisce i layer Conv e BatchNorm. I checkpoint preaddestrati mantengono l'architettura di addestramento completa e possono riportare valori più alti.

Di seguito sono mostrati i modelli YOLO26 Semantic preaddestrati sul dataset ADE20K.

• I valori mIoU^val si riferiscono a un singolo modello e a una singola scala sul set di convalida ADE20K.
  Riproduci i risultati con yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml device=0 imgsz=640, sostituendo yolo26n-sem-ade20k.pt con il checkpoint yolo26*-sem-ade20k.pt desiderato.
• Le metriche di velocità sono medie calcolate sulle immagini di convalida ADE20K usando un'istanza RTX3090.
  Riproduci i risultati con yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml batch=1 device=0|cpu imgsz=640, sostituendo yolo26n-sem-ade20k.pt con il checkpoint yolo26*-sem-ade20k.pt desiderato.
• I valori di Params e FLOPs si riferiscono al modello fuso dopo model.fuse(), che unisce i layer Conv e BatchNorm. I checkpoint preaddestrati mantengono l'architettura di addestramento completa e possono riportare valori più alti.

Consulta l'anteprima non ancora rilasciata di YOLO27 per i risultati preliminari di mIoU su Cityscapes.

Addestra#

Addestra YOLO26n-sem sul dataset Cityscapes8 per 100 epoche con una dimensione delle immagini di 1024. Per l'elenco completo degli argomenti disponibili, consulta la pagina Configurazione.

from ultralytics import YOLO

# Carica un modello
model = YOLO("yolo26n-sem.yaml")  # crea un nuovo modello dal file YAML
model = YOLO("yolo26n-sem.pt")  # carica un modello preaddestrato (consigliato per l'addestramento)
model = YOLO("yolo26n-sem.yaml").load("yolo26n-sem.pt")  # crea dal file YAML e trasferisci i pesi

# Addestra il modello
results = model.train(data="cityscapes8.yaml", epochs=100, imgsz=1024)

Consulta la pagina Addestramento per tutti i dettagli sulla modalità train. Puoi addestrare i modelli di segmentazione semantica anche con l'addestramento cloud di Ultralytics Platform.

Formato del dataset#

I dataset di segmentazione semantica usano immagini di maschere a canale singolo, generalmente in formato PNG, in cui ogni valore di pixel rappresenta un ID di classe. I pixel con valore 255 vengono considerati "da ignorare" ed esclusi dal calcolo della loss. Il file YAML del dataset deve specificare i percorsi delle immagini e delle rispettive directory delle maschere. I dataset con etichette poligonali YOLO possono essere usati direttamente per l'addestramento; vengono convertiti in maschere al volo (vedi sotto Posso usare dati di segmentazione delle istanze). Per i dettagli sul formato, consulta la Guida ai dataset di segmentazione semantica. Tra i dataset supportati figurano Cityscapes e ADE20K. Puoi gestire ed etichettare i dataset semantici con l'annotazione di Ultralytics Platform.

Convalida#

Convalida l'accuratezza del modello YOLO26n-sem addestrato su un dataset di segmentazione semantica. Passa esplicitamente data affinché la convalida usi il file YAML del dataset desiderato.

from ultralytics import YOLO

# Carica un modello
model = YOLO("yolo26n-sem.pt")  # carica un modello ufficiale
model = YOLO("path/to/best.pt")  # carica un modello personalizzato

# Convalida il modello
metrics = model.val(data="cityscapes.yaml")
metrics.miou  # media dell'intersezione sull'unione
metrics.pixel_accuracy  # accuratezza complessiva dei pixel

Predici#

Usa un modello YOLO26n-sem addestrato per eseguire predizioni sulle immagini.

from ultralytics import YOLO

# Carica un modello
model = YOLO("yolo26n-sem.pt")  # carica un modello ufficiale
model = YOLO("path/to/best.pt")  # carica un modello personalizzato

# Esegui previsioni con il modello
results = model("https://ultralytics.com/images/bus.jpg")  # esegui una previsione su un’immagine

# Accedi ai risultati
for result in results:
    semantic_mask = result.semantic_mask.data  # mappa delle classi, forma (H,W), tipo intero selezionato in base al numero di classi

Consulta la pagina Previsione per i dettagli completi sulla modalità predict.

Output dei risultati#

La segmentazione semantica YOLO restituisce un oggetto Results per immagine. Ogni risultato memorizza un'unica mappa di classi densa per l'intera immagine, anziché un elenco di maschere degli oggetti. I pixel con la stessa classe prevista condividono lo stesso ID di classe, anche se appartengono a oggetti distinti.

Per consultare i campi Results specifici di ogni attività, visita la sezione Risultati delle previsioni per attività.

Segmentazione delle istanze e segmentazione semantica#

Esporta#

Esporta un modello YOLO26n-sem in un altro formato, ad esempio ONNX, CoreML e così via.

from ultralytics import YOLO

# Carica un modello
model = YOLO("yolo26n-sem.pt")  # carica un modello ufficiale
model = YOLO("path/to/best.pt")  # carica un modello personalizzato

# Esporta il modello
model.export(format="onnx")

I formati di esportazione disponibili per la segmentazione semantica YOLO26 sono elencati nella tabella seguente. Puoi esportare in qualsiasi formato usando l'argomento format, ad esempio format='onnx' o format='engine'. Puoi eseguire predizioni o convalidare direttamente i modelli esportati, ad esempio yolo predict model=yolo26n-sem.onnx. Al termine dell'esportazione, vengono mostrati esempi d'uso per il tuo modello.

nms=None restituisce per impostazione predefinita output grezzi per NMS esterno. Imposta nms=False per selezionare una head disponibile senza NMS; i formati non supportati utilizzano il proprio percorso di output nativo. Le voci nms qui sopra identificano i formati che possono integrare NMS con nms=True.

Consulta i dettagli completi di export nella pagina Esportazione.

Domande frequenti#