Семантическая сегментация с Ultralytics YOLO#

Семантическая сегментация присваивает метку класса каждому пикселю изображения, создавая плотную карту классов, охватывающую всю сцену. В отличие от сегментации экземпляров, которая разделяет отдельные объекты, семантическая сегментация объединяет все пиксели одного класса независимо от количества присутствующих отдельных объектов.

Результатом работы модели семантической сегментации является единая карта классов высотой на ширину, где значение каждого пикселя соответствует предсказанному ID класса. Это делает семантическую сегментацию идеальной для таких задач разбора сцен, как автономное вождение, анализ медицинских изображений и картографирование типов земного покрова.

Модели#

Ниже показаны модели семантической сегментации YOLO26, предварительно обученные на датасете Cityscapes.

Модели автоматически скачиваются из последнего релиза Ultralytics при первом использовании.

• Значения mIoU^val приведены для одной модели в одном масштабе на валидационном наборе Cityscapes.
  Воспроизведи с помощью yolo semantic val data=cityscapes.yaml device=0 imgsz=2048
• Метрики скорости усреднены по изображениям валидационного набора Cityscapes с использованием экземпляра RTX3090.
  Воспроизведи с помощью yolo semantic val data=cityscapes.yaml batch=1 device=0|cpu imgsz=2048
• Значения Params и FLOPs указаны для объединённой модели после выполнения model.fuse(), которая объединяет слои Conv и BatchNorm. Предварительно обученные контрольные точки сохраняют полную архитектуру обучения и могут показывать большее количество параметров и операций.

Ниже показаны модели семантической сегментации YOLO26, предварительно обученные на датасете ADE20K.

Модели автоматически скачиваются из последнего релиза Ultralytics при первом использовании.

• Значения mIoU^val приведены для одной модели в одном масштабе на валидационном наборе ADE20K.
  Воспроизведи с помощью yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml device=0 imgsz=640, заменив yolo26n-sem-ade20k.pt на нужную контрольную точку yolo26*-sem-ade20k.pt.
• Метрики скорости усреднены по изображениям валидационного набора ADE20K с использованием экземпляра RTX3090.
  Воспроизведи с помощью yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml batch=1 device=0|cpu imgsz=640, заменив yolo26n-sem-ade20k.pt на нужную контрольную точку yolo26*-sem-ade20k.pt.
• Значения Params и FLOPs указаны для объединённой модели после выполнения model.fuse(), которая объединяет слои Conv и BatchNorm. Предварительно обученные контрольные точки сохраняют полную архитектуру обучения и могут показывать большее количество параметров и операций.

Смотри предварительный обзор невыпущенного YOLO27 для предварительных результатов mIoU на Cityscapes.

Обучение#

Обучи YOLO26n-sem на датасете Cityscapes8 в течение 100 эпох с размером изображения 1024. Полный список доступных аргументов см. на странице Конфигурация.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.yaml")  # build a new model from YAML
model = YOLO("yolo26n-sem.pt")  # load a pretrained model (recommended for training)
model = YOLO("yolo26n-sem.yaml").load("yolo26n-sem.pt")  # build from YAML and transfer weights

# Train the model
results = model.train(data="cityscapes8.yaml", epochs=100, imgsz=1024)

Полные сведения о режиме train см. на странице Обучение. Модели семантической сегментации также можно обучать с помощью облачного обучения на платформе Ultralytics.

Формат датасета#

Датасеты для семантической сегментации используют одноканальные изображения масок, обычно в формате PNG, где значение каждого пикселя представляет собой ID класса. Пиксели со значением 255 считаются «игнорируемыми» и исключаются из вычисления потерь. В YAML-файле датасета должны быть указаны пути к изображениям и соответствующим каталогам масок. Подробности о формате см. в руководстве по датасетам для семантической сегментации. Поддерживаются датасеты Cityscapes и ADE20K. Управлять датасетами для семантической сегментации и размечать их можно с помощью аннотации на платформе Ultralytics.

Val#

Проверь точность обученной модели YOLO26n-sem на датасете для семантической сегментации. Явно передай data, чтобы при проверке использовался нужный YAML-файл датасета.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Validate the model
metrics = model.val(data="cityscapes.yaml")
metrics.miou  # mean Intersection over Union
metrics.pixel_accuracy  # overall pixel accuracy

Predict#

Используй обученную модель YOLO26n-sem для выполнения предсказаний на изображениях.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    semantic_mask = result.semantic_mask.data  # class map, shape (H,W), integer dtype selected by class count

Полное описание режима predict см. на странице Predict.

Выходные данные результатов#

Семантическая сегментация YOLO возвращает один объект Results для каждого изображения. Каждый результат хранит одну плотную карту классов для всего изображения, а не список масок объектов. Пиксели с одинаковым предсказанным классом имеют один и тот же ID класса, даже если они относятся к отдельным объектам.

Описание специфичных для задач полей Results для всех задач см. в разделе Результаты предсказаний по задачам.

Сегментация экземпляров и семантическая сегментация#

Экспорт#

Экспортируй модель YOLO26n-sem в другой формат, например ONNX, CoreML и т. д.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Export the model
model.export(format="onnx")

Доступные форматы экспорта моделей семантической сегментации YOLO26 приведены в таблице ниже. Экспортировать модель в любой формат можно с помощью аргумента format, например format='onnx' или format='engine'. Предсказывать или выполнять проверку непосредственно на экспортированных моделях можно с помощью yolo predict model=yolo26n-sem.onnx. Примеры использования для твоей модели отображаются после завершения экспорта.

nms=None по умолчанию выдает сырые результаты для внешнего NMS. Установи nms=False, чтобы выбрать доступный головной модуль без NMS; неподдерживаемые форматы возвращаются к своему родному пути вывода. Записи nms выше определяют форматы, которые могут встраивать NMS с помощью nms=True.

Полное описание export см. на странице Экспорт.

Часто задаваемые вопросы#