Segmentation sémantique avec Ultralytics YOLO#

La segmentation sémantique attribue une étiquette de classe à chaque pixel d'une image et produit une carte de classes dense couvrant toute la scène. Contrairement à la segmentation d'instances, qui sépare les objets individuels, la segmentation sémantique regroupe tous les pixels d'une même classe, quel que soit le nombre d'objets distincts présents.

La sortie d'un modèle de segmentation sémantique est une carte de classes unique, de hauteur par largeur, où chaque valeur de pixel correspond à un ID de classe prédit. Cela rend la segmentation sémantique idéale pour les tâches d'analyse de scènes telles que la conduite autonome, l'imagerie médicale et la cartographie de l'occupation des sols.

Modèles#

Les modèles de segmentation sémantique YOLO26 préentraînés sur le jeu de données Cityscapes sont présentés ci-dessous.

Les modèles sont automatiquement téléchargés depuis la dernière version d’Ultralytics lors de la première utilisation.

• Les valeurs de mIoU^val correspondent à un modèle unique et une seule échelle sur l'ensemble de validation Cityscapes.
  Reproduis-les avec yolo semantic val data=cityscapes.yaml device=0 imgsz=2048
• Les métriques de vitesse sont moyennées sur les images de validation Cityscapes à l'aide d'une instance RTX3090.
  Reproduis-les avec yolo semantic val data=cityscapes.yaml batch=1 device=0|cpu imgsz=2048
• Les valeurs de Params et de FLOPs correspondent au modèle fusionné après model.fuse(), qui fusionne les couches Conv et BatchNorm. Les checkpoints préentraînés conservent l'architecture complète d'entraînement et peuvent donc afficher des valeurs plus élevées.

Les modèles de segmentation sémantique YOLO26 préentraînés sur le jeu de données ADE20K sont présentés ci-dessous.

Les modèles sont automatiquement téléchargés depuis la dernière version d’Ultralytics lors de la première utilisation.

• Les valeurs de mIoU^val correspondent à un modèle unique et une seule échelle sur l'ensemble de validation ADE20K.
  Reproduis-les avec yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml device=0 imgsz=640, en remplaçant yolo26n-sem-ade20k.pt par le checkpoint yolo26*-sem-ade20k.pt souhaité.
• Les métriques de vitesse sont moyennées sur les images de validation ADE20K à l'aide d'une instance RTX3090.
  Reproduis-les avec yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml batch=1 device=0|cpu imgsz=640, en remplaçant yolo26n-sem-ade20k.pt par le checkpoint yolo26*-sem-ade20k.pt souhaité.
• Les valeurs de Params et de FLOPs correspondent au modèle fusionné après model.fuse(), qui fusionne les couches Conv et BatchNorm. Les checkpoints préentraînés conservent l'architecture complète d'entraînement et peuvent donc afficher des valeurs plus élevées.

Consulte l'aperçu non publié de YOLO27 pour les résultats préliminaires du mIoU sur Cityscapes.

Entraîner#

Entraîne YOLO26n-sem sur le jeu de données Cityscapes8 pendant 100 époques, avec une taille d'image de 1024. Pour obtenir la liste complète des arguments disponibles, consulte la page Configuration.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.yaml")  # build a new model from YAML
model = YOLO("yolo26n-sem.pt")  # load a pretrained model (recommended for training)
model = YOLO("yolo26n-sem.yaml").load("yolo26n-sem.pt")  # build from YAML and transfer weights

# Train the model
results = model.train(data="cityscapes8.yaml", epochs=100, imgsz=1024)

Consulte tous les détails du mode train sur la page Entraînement. Les modèles de segmentation sémantique peuvent également être entraînés avec l'entraînement cloud d'Ultralytics Platform.

Format du dataset#

Les jeux de données de segmentation sémantique utilisent des images de masques à canal unique, généralement au format PNG, où chaque valeur de pixel représente un ID de classe. Les pixels dont la valeur est 255 sont traités comme « ignore » et exclus du calcul de la perte. Le fichier YAML du jeu de données doit indiquer les chemins vers les images et leurs répertoires de masques correspondants. Consulte le guide des jeux de données de segmentation sémantique pour les détails sur le format. Les jeux de données pris en charge incluent Cityscapes et ADE20K. Tu peux gérer et annoter des jeux de données sémantiques avec l'annotation Ultralytics Platform.

Validation#

Évalue la précision d'un modèle YOLO26n-sem entraîné sur un jeu de données de segmentation sémantique. Passe explicitement data afin que l'évaluation utilise le fichier YAML du jeu de données prévu.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Validate the model
metrics = model.val(data="cityscapes.yaml")
metrics.miou  # mean Intersection over Union
metrics.pixel_accuracy  # overall pixel accuracy

Prédiction#

Utilise un modèle YOLO26n-sem entraîné pour effectuer des prédictions sur des images.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    semantic_mask = result.semantic_mask.data  # class map, shape (H,W), integer dtype selected by class count

Consulte les détails complets du mode predict dans la page Prédiction.

Sortie des résultats#

La segmentation sémantique YOLO renvoie un objet Results par image. Chaque résultat stocke une carte de classes dense pour l'image entière plutôt qu'une liste de masques d'objets. Les pixels ayant la même classe prédite partagent le même ID de classe, même lorsqu'ils appartiennent à des objets distincts.

Pour connaître les champs Results spécifiques à chaque tâche, consulte la section Résultats des prédictions par tâche.

Segmentation d'instances et segmentation sémantique#

Exportation#

Exporte un modèle YOLO26n-sem vers un autre format tel que ONNX, CoreML, etc.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Export the model
model.export(format="onnx")

Les formats d'exportation disponibles pour la segmentation sémantique YOLO26 sont présentés dans le tableau ci-dessous. Tu peux exporter vers n'importe quel format à l'aide de l'argument format, c'est-à-dire format='onnx' ou format='engine'. Tu peux effectuer directement des prédictions ou des évaluations sur les modèles exportés, par exemple avec yolo predict model=yolo26n-sem.onnx. Des exemples d'utilisation sont présentés pour ton modèle une fois l'exportation terminée.

nms=None utilise par défaut des sorties brutes pour NMS externe. Définis nms=False pour sélectionner une tête sans NMS disponible ; les formats non pris en charge reviennent à leur chemin de sortie natif. Les entrées nms ci-dessus identifient les formats capables d'intégrer NMS avec nms=True.

Consulte les détails complets du mode export dans la page Exportation.

FAQ#