Segmentazione semantica#

Semantic segmentation assegna un'etichetta di classe a ogni pixel in un'immagine, producendo una mappa di classe densa che copre l'intera scena. A differenza della instance segmentation, che separa i singoli oggetti, la semantic segmentation raggruppa tutti i pixel della stessa classe indipendentemente da quanti oggetti distinti siano presenti.

L'output di un modello di segmentazione semantica è una singola mappa di classe altezza-per-larghezza in cui ogni valore di pixel corrisponde a un ID di classe previsto. Questo rende la segmentazione semantica ideale per attività di analisi della scena come la guida autonoma, l'imaging medico e la mappatura della copertura del suolo.

Modelli#

I modelli YOLO26 semantic segmentation preaddestrati sul dataset Cityscapes sono mostrati di seguito.

I Modelli vengono scaricati automaticamente dall'ultimo rilascio di Ultralytics al primo utilizzo.

• I valori di mIoU^val sono per modello singolo a scala singola sul set di validazione di Cityscapes.
  Riproduci con yolo semantic val data=cityscapes.yaml device=0 imgsz=2048
• Le metriche di Speed sono mediate sulle immagini di validazione di Cityscapes usando un'istanza RTX3090.
  Riproduci con yolo semantic val data=cityscapes.yaml batch=1 device=0|cpu imgsz=2048
• I valori di Params e FLOPs sono per il modello fuso dopo model.fuse(), che unisce i layer Conv e BatchNorm. I checkpoint preaddestrati mantengono l'intera architettura di training e potrebbero mostrare conteggi più alti.

I modelli YOLO26 semantic segmentation preaddestrati sul dataset ADE20K sono mostrati di seguito.

I Modelli vengono scaricati automaticamente dall'ultimo rilascio di Ultralytics al primo utilizzo.

• I valori di mIoU^val sono per modello singolo a scala singola sul set di validazione di ADE20K.
  Riproduci con yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml device=0 imgsz=640, sostituendo yolo26n-sem-ade20k.pt con il checkpoint yolo26*-sem-ade20k.pt desiderato.
• Le metriche di Speed sono mediate sulle immagini di validazione di ADE20K usando un'istanza RTX3090.
  Riproduci con yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml batch=1 device=0|cpu imgsz=640, sostituendo yolo26n-sem-ade20k.pt con il checkpoint yolo26*-sem-ade20k.pt desiderato.
• I valori di Params e FLOPs sono per il modello fuso dopo model.fuse(), che unisce i layer Conv e BatchNorm. I checkpoint preaddestrati mantengono l'intera architettura di training e potrebbero mostrare conteggi più alti.

Addestramento#

Addestra YOLO26n-sem sul dataset Cityscapes8 per 100 epochs a una dimensione immagine di 1024. Per un elenco completo degli argomenti disponibili vedi la pagina Configuration.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.yaml")  # build a new model from YAML
model = YOLO("yolo26n-sem.pt")  # load a pretrained model (recommended for training)
model = YOLO("yolo26n-sem.yaml").load("yolo26n-sem.pt")  # build from YAML and transfer weights

# Train the model
results = model.train(data="cityscapes8.yaml", epochs=100, imgsz=1024)

Vedi i dettagli completi della modalità train nella pagina Train. I modelli di semantic segmentation possono anche essere addestrati con il cloud training di Ultralytics Platform.

Formato del dataset#

I dataset di semantic segmentation usano immagini di maschere a canale singolo, tipicamente PNG, in cui ogni valore di pixel rappresenta un ID di classe. I pixel con valore 255 sono trattati come "ignore" ed esclusi dal calcolo della loss. Lo YAML del dataset dovrebbe specificare i percorsi alle immagini e alle relative directory di maschere. Vedi la Guida al dataset di Semantic Segmentation per i dettagli sul formato. I dataset supportati includono Cityscapes e ADE20K. Puoi gestire ed etichettare i dataset semantici con l'annotazione di Ultralytics Platform.

Valutazione#

Valida l'accuracy del modello YOLO26n-sem addestrato su un dataset di semantic segmentation. Passa esplicitamente data in modo che la validazione usi lo YAML del dataset inteso.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Validate the model
metrics = model.val(data="cityscapes.yaml")
metrics.miou  # mean Intersection over Union
metrics.pixel_accuracy  # overall pixel accuracy

Previsione#

Usa un modello YOLO26n-sem addestrato per eseguire predizioni sulle immagini.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    semantic_mask = result.semantic_mask.data  # class map, shape (H,W), integer dtype selected by class count

Visualizza i dettagli completi della modalità predict nella pagina Predict.

Output dei risultati#

YOLO semantic segmentation restituisce un oggetto Results per immagine. Ogni risultato memorizza una mappa di classe densa per l'intera immagine anziché un elenco di maschere di oggetti. I pixel con la stessa classe prevista condividono lo stesso ID di classe, anche quando appartengono a oggetti separati.

Per i campi specifici dell'attività Results relativi a ogni attività, consulta la sezione Risultati di predizione per attività.

Segmentazione di istanze vs semantica#

Esportazione#

Esporta un modello YOLO26n-sem in un formato diverso come ONNX, CoreML, ecc.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Export the model
model.export(format="onnx")

I formati di esportazione disponibili per YOLO26 semantic segmentation sono nella tabella sottostante. Puoi esportare in qualsiasi formato usando l'argomento format, ad es. format='onnx' o format='engine'. Puoi effettuare previsioni o validare direttamente su modelli esportati, ad es. yolo predict model=yolo26n-sem.onnx. Gli esempi d'uso vengono mostrati per il tuo modello al termine dell'esportazione.

Visualizza i dettagli completi di export nella pagina Export.

FAQ#