Segmentation sémantique avec Ultralytics YOLO#

La segmentation sémantique attribue une étiquette de classe à chaque pixel d’une image, produisant une carte de classes dense qui couvre toute la scène. Contrairement à la segmentation d’instances, qui distingue les objets individuels, la segmentation sémantique regroupe tous les pixels d’une même classe, quel que soit le nombre d’objets distincts présents.

La sortie d’un modèle de segmentation sémantique est une carte de classes unique, de hauteur et de largeur égales à celles de l’image, où chaque valeur de pixel correspond à un ID de classe prédit. La segmentation sémantique est donc idéale pour les tâches d’analyse de scène, comme la conduite autonome, l’imagerie médicale et la cartographie de la couverture terrestre.

Modèles#

Les modèles YOLO26 Semantic préentraînés sur le jeu de données Cityscapes sont présentés ci-dessous.

Les modèles sont automatiquement téléchargés depuis la dernière version d’Ultralytics lors de leur première utilisation.

• Les valeurs mIoU^val correspondent à une évaluation à échelle unique avec un seul modèle sur l’ensemble de validation Cityscapes.
  Reproduis les résultats avec yolo semantic val data=cityscapes.yaml device=0 imgsz=2048
• Les métriques de vitesse sont calculées en moyenne sur les images de validation Cityscapes avec une instance RTX3090.
  Reproduis les résultats avec yolo semantic val data=cityscapes.yaml batch=1 device=0|cpu imgsz=2048
• Les valeurs de Params et de FLOPs correspondent au modèle fusionné après model.fuse(), qui fusionne les couches Conv et BatchNorm. Les checkpoints préentraînés conservent l’architecture d’entraînement complète et peuvent donc afficher des valeurs plus élevées.

Les modèles YOLO26 Semantic préentraînés sur le jeu de données ADE20K sont présentés ci-dessous.

• Les valeurs mIoU^val correspondent à une évaluation à échelle unique avec un seul modèle sur l’ensemble de validation ADE20K.
  Reproduis les résultats avec yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml device=0 imgsz=640, en remplaçant yolo26n-sem-ade20k.pt par le checkpoint yolo26*-sem-ade20k.pt souhaité.
• Les métriques de vitesse sont calculées en moyenne sur les images de validation ADE20K avec une instance RTX3090.
  Reproduis les résultats avec yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml batch=1 device=0|cpu imgsz=640, en remplaçant yolo26n-sem-ade20k.pt par le checkpoint yolo26*-sem-ade20k.pt souhaité.
• Les valeurs de Params et de FLOPs correspondent au modèle fusionné après model.fuse(), qui fusionne les couches Conv et BatchNorm. Les checkpoints préentraînés conservent l’architecture d’entraînement complète et peuvent donc afficher des valeurs plus élevées.

Consulte l’aperçu non publié de YOLO27 pour découvrir les résultats préliminaires de mIoU sur Cityscapes.

Entraînement#

Entraîne YOLO26n-sem sur le jeu de données Cityscapes8 pendant 100 époques, avec une taille d’image de 1024. Pour consulter la liste complète des arguments disponibles, voir la page Configuration.

from ultralytics import YOLO

# Charger un modèle
model = YOLO("yolo26n-sem.yaml")  # créer un nouveau modèle à partir du fichier YAML
model = YOLO("yolo26n-sem.pt")  # charger un modèle préentraîné (recommandé pour l’entraînement)
model = YOLO("yolo26n-sem.yaml").load("yolo26n-sem.pt")  # créer à partir du fichier YAML et transférer les poids

# Entraîner le modèle
results = model.train(data="cityscapes8.yaml", epochs=100, imgsz=1024)

Consulte la page Entraînement pour obtenir tous les détails du mode train. Tu peux également entraîner les modèles de segmentation sémantique avec l’entraînement cloud d’Ultralytics Platform.

Format du jeu de données#

Les jeux de données de segmentation sémantique utilisent des images de masque à un seul canal, généralement au format PNG, où chaque valeur de pixel représente un ID de classe. Les pixels de valeur 255 sont considérés comme « à ignorer » et exclus du calcul de la perte. Le fichier YAML du jeu de données doit indiquer les chemins vers les images et leurs répertoires de masques correspondants. Les jeux de données avec des étiquettes de polygone YOLO sont utilisés directement pour l’entraînement, puis convertis en masques à la volée (voir ci-dessous Puis-je utiliser des données de segmentation d’instances ?). Consulte le guide des jeux de données de segmentation sémantique pour les détails sur le format. Les jeux de données pris en charge incluent Cityscapes et ADE20K. Tu peux gérer et annoter des jeux de données sémantiques avec l’annotation Ultralytics Platform.

Validation#

Valide l’exactitude du modèle YOLO26n-sem entraîné sur un jeu de données de segmentation sémantique. Indique explicitement data afin que la validation utilise le fichier YAML prévu pour le jeu de données.

from ultralytics import YOLO

# Charger un modèle
model = YOLO("yolo26n-sem.pt")  # charger un modèle officiel
model = YOLO("path/to/best.pt")  # charger un modèle personnalisé

# Valider le modèle
metrics = model.val(data="cityscapes.yaml")
metrics.miou  # intersection sur union moyenne
metrics.pixel_accuracy  # précision globale au niveau des pixels

Prédiction#

Utilise un modèle YOLO26n-sem entraîné pour effectuer des prédictions sur des images.

from ultralytics import YOLO

# Charger un modèle
model = YOLO("yolo26n-sem.pt")  # charger un modèle officiel
model = YOLO("path/to/best.pt")  # charger un modèle personnalisé

# Effectuer des prédictions avec le modèle
results = model("https://ultralytics.com/images/bus.jpg")  # effectuer une prédiction sur une image

# Accéder aux résultats
for result in results:
    semantic_mask = result.semantic_mask.data  # carte de classes, forme (H,W), dtype entier choisi selon le nombre de classes

Consulte les détails complets du mode predict sur la page Predict.

Sortie des résultats#

La segmentation sémantique YOLO renvoie un objet Results par image. Chaque résultat stocke une carte de classes dense pour l’image entière, plutôt qu’une liste de masques d’objets. Les pixels ayant la même classe prédite partagent le même ID de classe, même s’ils appartiennent à des objets distincts.

Pour connaître les champs Results propres à chaque tâche, consulte la section Résultats des prédictions par tâche.

Segmentation d’instances et segmentation sémantique#

Export#

Exporte un modèle YOLO26n-sem dans un autre format, comme ONNX, CoreML, etc.

from ultralytics import YOLO

# Charger un modèle
model = YOLO("yolo26n-sem.pt")  # charger un modèle officiel
model = YOLO("path/to/best.pt")  # charger un modèle personnalisé

# Exporter le modèle
model.export(format="onnx")

Les formats d’export disponibles pour la segmentation sémantique YOLO26 sont indiqués dans le tableau ci-dessous. Tu peux exporter dans n’importe quel format avec l’argument format, par exemple format='onnx' ou format='engine'. Tu peux effectuer des prédictions ou des validations directement avec les modèles exportés, par exemple yolo predict model=yolo26n-sem.onnx. Des exemples d’utilisation de ton modèle s’affichent une fois l’export terminé.

nms=None produit par défaut des sorties brutes pour la NMS externe. Définis nms=False pour sélectionner une tête disponible sans NMS ; les formats non pris en charge utilisent leur voie de sortie native. Les entrées nms ci-dessus désignent les formats qui peuvent intégrer la NMS avec nms=True.

Consulte tous les détails de export sur la page Exportation.

FAQ#