Segmentazione d'istanza con Ultralytics YOLO#
Instance segmentation fa un passo avanti rispetto al rilevamento di oggetti e consiste nell'identificare singoli oggetti in un'immagine e segmentarli dal resto dell'immagine.
L'output di un modello di segmentazione delle istanze è un insieme di maschere o contorni che delineano ogni oggetto nell'immagine, insieme alle etichette di classe e ai punteggi di confidenza per ogni oggetto. La segmentazione delle istanze è utile quando devi sapere non solo dove si trovano gli oggetti in un'immagine, ma anche quale sia la loro forma esatta.
Watch: Run Segmentation with Pretrained Ultralytics YOLO Model in Python.
I modelli YOLO26 Segment utilizzano il suffisso -seg, ovvero yolo26n-seg.pt, e sono preaddestrati su COCO.
Modelli#
I modelli Segment preaddestrati di YOLO26 sono mostrati qui. I modelli Detect, Segment e Pose sono preaddestrati sul set di dati COCO, i modelli Semantic sono preaddestrati su Cityscapes e i modelli Classify sono preaddestrati sul set di dati ImageNet.
I Modelli vengono scaricati automaticamente dall'ultimo rilascio di Ultralytics al primo utilizzo.
| Modello | dimensione (pixel) | mAPbox 50-95(e2e) | mAPmask 50-95(e2e) | Velocità CPU ONNX (ms) | Velocità T4 TensorRT10 (ms) | params (M) | FLOPs (B) |
|---|---|---|---|---|---|---|---|
| YOLO26n-seg | 640 | 39.6 | 33.9 | 53.3 ± 0.5 | 2.1 ± 0.0 | 2.7 | 9.1 |
| YOLO26s-seg | 640 | 47.3 | 40.0 | 118.4 ± 0.9 | 3.3 ± 0.0 | 10.4 | 34.2 |
| YOLO26m-seg | 640 | 52.5 | 44.1 | 328.2 ± 2.4 | 6.7 ± 0.1 | 23.6 | 121.5 |
| YOLO26l-seg | 640 | 54.4 | 45.5 | 387.0 ± 3.7 | 8.0 ± 0.1 | 28.0 | 139.8 |
| YOLO26x-seg | 640 | 56.5 | 47.0 | 787.0 ± 6.8 | 16.4 ± 0.1 | 62.8 | 313.5 |
- I valori di mAPval si riferiscono a modello singolo su scala singola sul dataset COCO val2017.
Riproduci tramiteyolo val segment data=coco.yaml device=0 - Speed mediata sulle immagini di validazione di COCO utilizzando un'istanza Amazon EC2 P4d.
Riproduci tramiteyolo val segment data=coco.yaml batch=1 device=0|cpu - I valori di Params e FLOPs si riferiscono al modello fuso dopo
model.fuse(), che unisce i layer Conv e BatchNorm e, per i modelli end2end, rimuove la testa di rilevamento ausiliaria one-to-many. I checkpoint preaddestrati mantengono l'architettura di addestramento completa e potrebbero mostrare conteggi più elevati.
Addestramento#
Allena YOLO26n-seg sul set di dati COCO8-seg per 100 epochs a una dimensione dell'immagine di 640. Per un elenco completo degli argomenti disponibili, consulta la pagina Configuration.
from ultralytics import YOLO
# Load a model
model = YOLO("yolo26n-seg.yaml") # build a new model from YAML
model = YOLO("yolo26n-seg.pt") # load a pretrained model (recommended for training)
model = YOLO("yolo26n-seg.yaml").load("yolo26n-seg.pt") # build from YAML and transfer weights
# Train the model
results = model.train(data="coco8-seg.yaml", epochs=100, imgsz=640)Vedi tutti i dettagli della modalità train nella pagina Train. I modelli di segmentazione possono anche essere addestrati con l'addestramento cloud Ultralytics Platform cloud training.
Formato del dataset#
Il formato del set di dati di segmentazione YOLO può essere trovato in dettaglio nella Dataset Guide. Per convertire il tuo set di dati esistente da altri formati (come COCO ecc.) al formato YOLO, usa lo strumento JSON2YOLO di Ultralytics. Puoi anche creare maschere di segmentazione con l'annotazione Ultralytics Platform annotation utilizzando strumenti poligonali e l'annotazione intelligente basata su SAM.
Valutazione#
Valida l'accuracy del modello YOLO26n-seg addestrato sul set di dati COCO8-seg. Non sono necessari argomenti poiché model mantiene la sua data di addestramento e gli argomenti come attributi del modello.
from ultralytics import YOLO
# Load a model
model = YOLO("yolo26n-seg.pt") # load an official model
model = YOLO("path/to/best.pt") # load a custom model
# Validate the model
metrics = model.val() # no arguments needed, dataset and settings remembered
metrics.box.map # map50-95(B)
metrics.box.map50 # map50(B)
metrics.box.map75 # map75(B)
metrics.box.maps # a list containing mAP50-95(B) for each category
metrics.box.image_metrics # per-image metrics dictionary for det with precision, recall, F1, TP, FP, and FN
metrics.seg.map # map50-95(M)
metrics.seg.map50 # map50(M)
metrics.seg.map75 # map75(M)
metrics.seg.maps # a list containing mAP50-95(M) for each category
metrics.seg.image_metrics # per-image metrics dictionary for seg with precision, recall, F1, TP, FP, and FNPrevisione#
Usa un modello YOLO26n-seg addestrato per eseguire previsioni su immagini.
from ultralytics import YOLO
# Load a model
model = YOLO("yolo26n-seg.pt") # load an official model
model = YOLO("path/to/best.pt") # load a custom model
# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg") # predict on an image
# Access the results
for result in results:
xy = result.masks.xy # mask polygons in pixel coordinates
xyn = result.masks.xyn # normalized mask polygons
masks = result.masks.data # binary masks, shape (N,H,W), dtype torch.uint8Visualizza i dettagli completi della modalità predict nella pagina Predict.
Output dei risultati#
La segmentazione di istanze YOLO restituisce un oggetto Results per immagine. Ogni risultato memorizza previsioni a livello di oggetto, in cui ogni istanza rilevata ha la propria maschera binaria, classe, confidenza e riquadro.
| Attributo | Tipo | Forma | Descrizione |
|---|---|---|---|
result.masks | Masks | (N) | Maschere di istanza. |
result.masks.data | torch.uint8 | (N,H,W) | Maschere binarie, valori 0 o 1. |
result.masks.xy | np.float32 | list[(P,2)] | Poligoni in pixel. |
result.masks.xyn | np.float32 | list[(P,2)] | Poligoni normalizzati. |
result.boxes | Boxes | (N) | Box/classi/confidenze di istanza. |
result.boxes.cls | torch.float32 | (N,) | ID di classe; convertiti in int per i nomi. |
Per i campi specifici dell'attività Results relativi a ogni attività, consulta la sezione Risultati di predizione per attività.
In che modo questo differisce dalla segmentazione semantica#
La segmentazione delle istanze è una segmentazione a livello di oggetto: due auto producono due maschere, due riquadri e due punteggi di confidenza. La Semantic segmentation è una classificazione a livello di pixel: quelle stesse auto diventano pixel con lo stesso ID di classe in un'unica mappa di classe delle dimensioni di un'immagine, senza riquadri per oggetto, confidenze o elenco di poligoni predefinito.
Esportazione#
Esporta un modello YOLO26n-seg in un formato diverso come ONNX, CoreML, ecc.
from ultralytics import YOLO
# Load a model
model = YOLO("yolo26n-seg.pt") # load an official model
model = YOLO("path/to/best.pt") # load a custom-trained model
# Export the model
model.export(format="onnx")I formati di esportazione YOLO26-seg disponibili sono nella tabella sottostante. Puoi esportare in qualsiasi formato usando l'argomento format, ovvero format='onnx' o format='engine'. Puoi prevedere o validare direttamente sui modelli esportati, ovvero yolo predict model=yolo26n-seg.onnx. Gli esempi di utilizzo vengono mostrati per il tuo modello al termine dell'esportazione.
Le pipeline NMS integrate di CoreML (nms=True) supportano solo i modelli di rilevamento oggetti. Le esportazioni di segmentazione su CoreML generano un avviso e forzano nms=False, producendo un modello grezzo senza NMS.
| Formato | Argomento format | Modello | Metadati | Argomenti |
|---|---|---|---|---|
| PyTorch | - | yolo26n-seg.pt | ✅ | - |
| TorchScript | torchscript | yolo26n-seg.torchscript | ✅ | imgsz, quantize, dynamic, nms, batch, device |
| ONNX | onnx | yolo26n-seg.onnx | ✅ | imgsz, quantize, dynamic, simplify, opset, nms, batch, data, fraction, device |
| OpenVINO | openvino | yolo26n-seg_openvino_model/ | ✅ | imgsz, quantize, dynamic, nms, batch, data, fraction, device |
| TensorRT | engine | yolo26n-seg.engine | ✅ | imgsz, quantize, dynamic, simplify, opset, workspace, nms, batch, data, fraction, device |
| CoreML | coreml | yolo26n-seg.mlpackage | ✅ | imgsz, dynamic, quantize, nms, batch, device |
| TF SavedModel | saved_model | yolo26n-seg_saved_model/ | ✅ | imgsz, keras, quantize, opset, nms, batch, data, fraction, device |
| TF GraphDef | pb | yolo26n-seg.pb | ❌ | imgsz, opset, batch, device |
| TF Edge TPU | edgetpu | yolo26n-seg_edgetpu.tflite | ✅ | imgsz, quantize, opset, data, fraction, device |
| PaddlePaddle | paddle | yolo26n-seg_paddle_model/ | ✅ | imgsz, batch, device |
| MNN | mnn | yolo26n-seg.mnn | ✅ | imgsz, batch, dynamic, quantize, simplify, opset, nms, device |
| NCNN | ncnn | yolo26n-seg_ncnn_model/ | ✅ | imgsz, quantize, batch, device |
| IMX500 | imx | yolo26n-seg_imx_model/ | ✅ | imgsz, quantize, data, fraction, nms, device |
| RKNN | rknn | yolo26n-seg_rknn_model/ | ✅ | imgsz, batch, name, quantize, simplify, opset, data, fraction, device |
| ExecuTorch | executorch | yolo26n-seg_executorch_model/ | ✅ | imgsz, batch, device |
| Axelera | axelera | yolo26n-seg_axelera_model/ | ✅ | imgsz, batch, quantize, data, fraction, device |
| DEEPX | deepx | yolo26n-seg_deepx_model/ | ✅ | imgsz, quantize, simplify, opset, data, optimize, device |
| Qualcomm QNN | qnn | yolo26n-seg_qnn.onnx | ✅ | imgsz, batch, name, quantize, simplify, opset, data, fraction, device |
| LiteRT | litert | yolo26n-seg.tflite | ✅ | imgsz, quantize, batch, data, fraction, device |
| Hailo | hailo | yolo26n-seg_hailo_model/ | ✅ | imgsz, name, quantize, data, fraction, simplify, conf, iou |
| Huawei Ascend | ascend | yolo26n-seg_ascend_model/ | ✅ | imgsz, batch, name, quantize, opset, simplify, nms |
Visualizza i dettagli completi di export nella pagina Export.
FAQ#
Per addestrare un modello di segmentazione YOLO26 su un set di dati personalizzato, devi prima preparare il tuo set di dati nel formato di segmentazione YOLO. Puoi utilizzare strumenti come JSON2YOLO per convertire set di dati da altri formati. Una volta pronto il set di dati, puoi addestrare il modello usando Python o i comandi CLI:
Esempiofrom ultralytics import YOLO # Load a pretrained YOLO26 segment model model = YOLO("yolo26n-seg.pt") # Train the model results = model.train(data="path/to/your_dataset.yaml", epochs=100, imgsz=640)Controlla la pagina Configurazione per ulteriori argomenti disponibili.
L'object detection identifica e localizza gli oggetti all'interno di un'immagine disegnando dei riquadri delimitatori attorno a essi, mentre la segmentazione delle istanze non solo identifica i riquadri delimitatori, ma delinea anche la forma esatta di ogni oggetto. I modelli di segmentazione delle istanze YOLO26 forniscono maschere o contorni che delineano ogni oggetto rilevato, il che è particolarmente utile per attività in cui è importante conoscere la forma precisa degli oggetti, come nell'imaging medico o nella guida autonoma.
Ultralytics YOLO26 è un modello all'avanguardia riconosciuto per la sua elevata precisione e le prestazioni in tempo reale, che lo rendono ideale per le attività di segmentazione di istanze. I modelli YOLO26 Segment vengono forniti preaddestrati sul COCO dataset, garantendo prestazioni robuste su una varietà di oggetti. Inoltre, YOLO supporta le funzionalità di addestramento, validazione, previsione ed esportazione con un'integrazione perfetta, rendendolo estremamente versatile sia per la ricerca che per le applicazioni industriali.
Caricare e convalidare un modello di segmentazione YOLO pre-addestrato è semplice. Ecco come puoi farlo usando sia Python che la CLI:
Esempiofrom ultralytics import YOLO # Load a pretrained model model = YOLO("yolo26n-seg.pt") # Validate the model metrics = model.val() print("Mean Average Precision for boxes:", metrics.box.map) print("Mean Average Precision for masks:", metrics.seg.map)Questi passaggi ti forniranno metriche di validazione come la Mean Average Precision (mAP), fondamentali per valutare le prestazioni del modello.
Esportare un modello di segmentazione YOLO nel formato ONNX è semplice e può essere fatto usando comandi Python o CLI:
Esempiofrom ultralytics import YOLO # Load a pretrained model model = YOLO("yolo26n-seg.pt") # Export the model to ONNX format model.export(format="onnx")Per ulteriori dettagli sull'esportazione in vari formati, fai riferimento alla pagina Export.