Segmentazione semantica#

La segmentazione semantica assegna un'etichetta di classe a ogni pixel in un'immagine, producendo una mappa di classe densa che copre l'intera scena. A differenza della segmentazione di istanze, che separa i singoli oggetti, la segmentazione semantica raggruppa tutti i pixel della stessa classe indipendentemente da quanti oggetti distinti siano presenti.

L'output di un modello di segmentazione semantica è una singola mappa di classe altezza-per-larghezza in cui ogni valore di pixel corrisponde a un ID di classe previsto. Questo rende la segmentazione semantica ideale per attività di analisi della scena come la guida autonoma, l'imaging medico e la mappatura della copertura del suolo.

Modelli#

I modelli di segmentazione semantica YOLO26 preaddestrati sul dataset Cityscapes sono mostrati di seguito.

I modelli vengono scaricati automaticamente dall'ultima release di Ultralytics al primo utilizzo.

• I valori mIoU^val si riferiscono a modelli singoli a scala singola sul set di validazione Cityscapes.
  Riproduci con yolo semantic val data=cityscapes.yaml device=0 imgsz=2048
• Le metriche di velocità sono calcolate come media sulle immagini di validazione Cityscapes usando un'istanza RTX3090.
  Riproduci con yolo semantic val data=cityscapes.yaml batch=1 device=0|cpu imgsz=2048
• I valori Params e FLOPs si riferiscono al modello fuso dopo model.fuse(), che unisce i livelli Conv e BatchNorm. I checkpoint preaddestrati mantengono l'architettura di training completa e potrebbero mostrare conteggi più elevati.

I modelli di segmentazione semantica YOLO26 preaddestrati sul dataset ADE20K sono mostrati di seguito.

I modelli vengono scaricati automaticamente dall'ultima release di Ultralytics al primo utilizzo.

• I valori di mIoU^val sono per modello singolo a scala singola sul set di convalida di ADE20K.
  Riproduci con yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml device=0 imgsz=640, sostituendo yolo26n-sem-ade20k.pt con il checkpoint yolo26*-sem-ade20k.pt desiderato.
• Le metriche di Speed sono calcolate come media sulle immagini di validazione ADE20K utilizzando un'istanza RTX3090.
  Riproducile con yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml batch=1 device=0|cpu imgsz=640, sostituendo yolo26n-sem-ade20k.pt con il checkpoint yolo26*-sem-ade20k.pt desiderato.
• I valori Params e FLOPs si riferiscono al modello fuso dopo model.fuse(), che unisce i livelli Conv e BatchNorm. I checkpoint preaddestrati mantengono l'architettura di training completa e potrebbero mostrare conteggi più elevati.

Addestramento#

Addestra YOLO26n-sem sul dataset Cityscapes8 per 100 epoche con una dimensione immagine di 1024. Per un elenco completo degli argomenti disponibili, consulta la pagina Configurazione.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.yaml")  # build a new model from YAML
model = YOLO("yolo26n-sem.pt")  # load a pretrained model (recommended for training)
model = YOLO("yolo26n-sem.yaml").load("yolo26n-sem.pt")  # build from YAML and transfer weights

# Train the model
results = model.train(data="cityscapes8.yaml", epochs=100, imgsz=1024)

Consulta i dettagli completi della modalità train nella pagina Train. I modelli di segmentazione semantica possono anche essere addestrati con Ultralytics Platform cloud training.

Formato del dataset#

I dataset di segmentazione semantica utilizzano immagini con maschera a canale singolo, tipicamente PNG, dove ogni valore di pixel rappresenta un ID di classe. I pixel con valore 255 vengono trattati come "ignore" ed esclusi dal calcolo della perdita. Il YAML del dataset dovrebbe specificare i percorsi delle immagini e le relative directory delle maschere. Consulta la Semantic Segmentation Dataset Guide per i dettagli sul formato. I dataset supportati includono Cityscapes e ADE20K. Puoi gestire ed etichettare i dataset semantici con Ultralytics Platform annotation.

Valutazione#

Valida l' accuratezza del modello YOLO26n-sem addestrato su un dataset di segmentazione semantica. Passa data esplicitamente in modo che la validazione utilizzi il YAML del dataset previsto.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Validate the model
metrics = model.val(data="cityscapes.yaml")
metrics.miou  # mean Intersection over Union
metrics.pixel_accuracy  # overall pixel accuracy

Previsione#

Usa un modello YOLO26n-sem addestrato per eseguire predizioni sulle immagini.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    semantic_mask = result.semantic_mask.data  # class map, shape (H,W), integer dtype selected by class count

Vedi tutti i dettagli della modalità predict nella pagina Predict.

Output dei risultati#

La segmentazione semantica YOLO restituisce un oggetto Results per immagine. Ogni risultato archivia una mappa di classe densa per l'intera immagine invece di un elenco di maschere di oggetti. I pixel con la stessa classe prevista condividono lo stesso ID di classe, anche quando appartengono a oggetti separati.

Per i campi Results specifici per ogni attività, vedi la sezione Predizioni dei Risultati per Attività.

Segmentazione di istanze vs semantica#

Esportazione#

Esporta un modello YOLO26n-sem in un formato diverso come ONNX, CoreML, ecc.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Export the model
model.export(format="onnx")

I formati di esportazione disponibili per la segmentazione semantica YOLO26 sono nella tabella sottostante. Puoi esportare in qualsiasi formato usando l'argomento format, ad esempio format='onnx' o format='engine'. Puoi predire o validare direttamente sui modelli esportati, ad esempio yolo predict model=yolo26n-sem.onnx. Esempi di utilizzo sono mostrati per il tuo modello una volta completata l'esportazione.

Vedi i dettagli completi dell'export nella pagina Export.

FAQ#

Come addestro un modello di segmentazione semantica YOLO26 su un dataset personalizzato?#

Per addestrare un modello di segmentazione semantica YOLO26 su un dataset personalizzato, devi preparare immagini con maschera PNG in cui ogni valore di pixel rappresenta un ID di classe (0, 1, 2, ...) e i pixel con valore 255 vengono ignorati durante l'addestramento. Crea un file YAML del dataset che punta alle directory delle immagini e delle maschere, quindi addestra il modello:

from ultralytics import YOLO

# Load a pretrained YOLO26 semantic segmentation model
model = YOLO("yolo26n-sem.pt")

# Train the model
results = model.train(data="path/to/your_dataset.yaml", epochs=100, imgsz=512)

Controlla la pagina Configurazione per ulteriori argomenti disponibili.

Qual è la differenza tra segmentazione di istanze e segmentazione semantica?#

La segmentazione di istanze e la segmentazione semantica sono entrambe attività a livello di pixel ma differiscono in un aspetto chiave:

• Segmentazione semantica assegna un'etichetta di classe a ogni pixel ma non distingue tra singoli oggetti della stessa classe. Ad esempio, tutte le auto in una scena condividono la stessa etichetta di classe.
• Segmentazione di istanze identifica ogni singolo oggetto separatamente, producendo maschere distinte per ogni oggetto anche se appartengono alla stessa classe.

La segmentazione semantica è più adatta per attività di comprensione della scena come la guida autonoma e la mappatura della copertura del suolo, mentre la segmentazione di istanze è preferibile quando conta il conteggio o il tracciamento dei singoli oggetti.

Posso usare dati di segmentazione di istanze per addestrare la segmentazione semantica?#

Sì. Se il tuo dataset utilizza etichette poligonali Ultralytics YOLO (un .txt per immagine), ometti masks_dir dal YAML del dataset e assicurati che non esista alcuna cartella masks/ accanto alle tue immagini nella root del dataset (la sua sola presenza attiva la modalità maschera PNG anche senza masks_dir impostato). Il caricatore converte quindi i poligoni in maschere semantiche per immagine al volo. Per i dataset multi-classe (N > 1) viene aggiunta automaticamente una classe background extra ai names. Per i dataset a classe singola (N == 1) l'addestramento rimane a 1 classe: la tua classe dichiarata diventa 1 nella maschera e i pixel non coperti diventano 0. Consulta la Guida al Dataset di Segmentazione Semantica per i dettagli.

Quali dataset sono supportati per la segmentazione semantica?#

Ultralytics YOLO26 fornisce configurazioni integrate per diversi dataset di segmentazione semantica:

• Cityscapes: Scene stradali urbane con 19 classi, ampiamente utilizzate per la ricerca sulla guida autonoma.
• ADE20K: Un dataset di analisi di scene su larga scala con 150 classi.

Puoi anche utilizzare qualsiasi dataset personalizzato che fornisca annotazioni di maschera PNG dove i valori dei pixel corrispondono agli ID di classe.

Come convalido un modello di segmentazione semantica YOLO26 preaddestrato?#

Valida un modello di segmentazione semantica YOLO26 preaddestrato con il YAML del dataset utilizzato per la valutazione:

from ultralytics import YOLO

# Load a pretrained model
model = YOLO("yolo26n-sem.pt")

# Validate the model
metrics = model.val(data="cityscapes.yaml")
print("Mean IoU:", metrics.miou)
print("Pixel Accuracy:", metrics.pixel_accuracy)

Questi passaggi ti forniranno metriche di validazione come la media dell'intersezione sull'unione (mIoU) e l'accuratezza dei pixel, che sono misure standard per valutare le prestazioni della segmentazione semantica.

Come posso esportare un modello di segmentazione semantica YOLO26 in formato ONNX?#

Esporta un modello di segmentazione semantica YOLO26 in formato ONNX con comandi Python o CLI:

from ultralytics import YOLO

# Load a pretrained model
model = YOLO("yolo26n-sem.pt")

# Export the model to ONNX format
model.export(format="onnx")

Per ulteriori dettagli sull'esportazione in vari formati, consulta la pagina Export.