Семантическая сегментация с Ultralytics YOLO#

Семантическая сегментация назначает метку класса каждому пикселю изображения и создает плотную карту классов, охватывающую всю сцену. В отличие от сегментации экземпляров, которая разделяет отдельные объекты, семантическая сегментация объединяет все пиксели одного класса независимо от количества отдельных объектов.

Модель семантической сегментации выдает одну карту классов высотой и шириной с изображение, где значение каждого пикселя соответствует предсказанному ID класса. Поэтому семантическая сегментация подходит для анализа сцен, например в задачах автономного вождения, обработки медицинских изображений и картографирования земного покрова.

Модели#

Ниже представлены предварительно обученные на наборе данных Cityscapes модели YOLO26 Semantic.

Модели автоматически загружаются из последнего релиза Ultralytics при первом использовании.

• Значения mIoU^val рассчитаны для одной модели и одного масштаба на валидационной выборке Cityscapes.
  Воспроизвести результат можно с помощью yolo semantic val data=cityscapes.yaml device=0 imgsz=2048
• Метрики скорости усреднены по изображениям валидационной выборки Cityscapes с использованием экземпляра RTX3090.
  Воспроизвести результат можно с помощью yolo semantic val data=cityscapes.yaml batch=1 device=0|cpu imgsz=2048
• Значения Params и FLOPs указаны для объединенной модели после model.fuse(), которая объединяет слои Conv и BatchNorm. Предварительно обученные контрольные точки сохраняют полную архитектуру обучения, поэтому их значения могут быть выше.

Ниже представлены предварительно обученные на наборе данных ADE20K модели YOLO26 Semantic.

• Значения mIoU^val рассчитаны для одной модели и одного масштаба на валидационной выборке ADE20K.
  Воспроизвести результат можно с помощью yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml device=0 imgsz=640, заменив yolo26n-sem-ade20k.pt на нужную контрольную точку yolo26*-sem-ade20k.pt.
• Метрики скорости усреднены по изображениям валидационной выборки ADE20K с использованием экземпляра RTX3090.
  Воспроизвести результат можно с помощью yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml batch=1 device=0|cpu imgsz=640, заменив yolo26n-sem-ade20k.pt на нужную контрольную точку yolo26*-sem-ade20k.pt.
• Значения Params и FLOPs указаны для объединенной модели после model.fuse(), которая объединяет слои Conv и BatchNorm. Предварительно обученные контрольные точки сохраняют полную архитектуру обучения, поэтому их значения могут быть выше.

Предварительные результаты mIoU на Cityscapes смотри в анонсе предстоящего YOLO27.

Обучение#

Обучи YOLO26n-sem на наборе данных Cityscapes8 в течение 100 эпох с размером изображения 1024. Полный список доступных аргументов смотри на странице Configuration.

from ultralytics import YOLO

# Загрузить модель
model = YOLO("yolo26n-sem.yaml")  # создать новую модель из YAML
model = YOLO("yolo26n-sem.pt")  # загрузить предварительно обученную модель (рекомендуется для обучения)
model = YOLO("yolo26n-sem.yaml").load("yolo26n-sem.pt")  # создать модель из YAML и перенести веса

# Обучить модель
results = model.train(data="cityscapes8.yaml", epochs=100, imgsz=1024)

Полное описание режима train смотри на странице Train. Модели семантической сегментации также можно обучать в облаке с помощью Ultralytics Platform.

Формат датасета#

Для семантической сегментации используются одноканальные изображения масок, обычно в формате PNG, где значение каждого пикселя обозначает ID класса. Пиксели со значением 255 считаются «игнорируемыми» и исключаются из вычисления функции потерь. В YAML-файле набора данных нужно указать пути к изображениям и соответствующим каталогам масок. Наборы данных с полигональной разметкой YOLO используются для обучения напрямую, а маски создаются на лету (см. раздел Можно ли использовать данные сегментации экземпляров ниже). Подробности о формате смотри в руководстве по наборам данных для семантической сегментации. Поддерживаются, в частности, Cityscapes и ADE20K. Управлять наборами данных для семантической сегментации и размечать их можно с помощью Ultralytics Platform.

Валидация#

Проверь точность обученной модели YOLO26n-sem на наборе данных для семантической сегментации. Явно укажи data, чтобы при валидации использовался нужный YAML-файл набора данных.

from ultralytics import YOLO

# Загрузить модель
model = YOLO("yolo26n-sem.pt")  # загрузить официальную модель
model = YOLO("path/to/best.pt")  # загрузить пользовательскую модель

# Валидировать модель
metrics = model.val(data="cityscapes.yaml")
metrics.miou  # среднее пересечение по объединению
metrics.pixel_accuracy  # общая точность по пикселям

Предсказание#

Используй обученную модель YOLO26n-sem для предсказаний на изображениях.

from ultralytics import YOLO

# Загрузить модель
model = YOLO("yolo26n-sem.pt")  # загрузить официальную модель
model = YOLO("path/to/best.pt")  # загрузить пользовательскую модель

# Получи предсказания с помощью модели
results = model("https://ultralytics.com/images/bus.jpg")  # получи предсказание для изображения

# Обратись к результатам
for result in results:
    semantic_mask = result.semantic_mask.data  # карта классов, форма (H,W), целочисленный тип данных выбирается в зависимости от количества классов

Полное описание режима predict см. на странице Предсказание.

Результаты работы#

При семантической сегментации YOLO возвращает один объект Results для каждого изображения. Каждый результат содержит одну плотную карту классов для всего изображения, а не список масок объектов. Пиксели с одинаковым предсказанным классом имеют один и тот же ID класса, даже если они принадлежат разным объектам.

Описание полей Results, специфичных для каждой задачи, см. в разделе Результаты предсказаний по задачам.

Сегментация экземпляров и семантическая сегментация#

Экспорт#

Экспортируй модель YOLO26n-sem в другой формат, например ONNX, CoreML и т. д.

from ultralytics import YOLO

# Загрузить модель
model = YOLO("yolo26n-sem.pt")  # загрузить официальную модель
model = YOLO("path/to/best.pt")  # загрузить пользовательскую модель

# Экспортировать модель
model.export(format="onnx")

Доступные форматы экспорта YOLO26 для семантической сегментации перечислены в таблице ниже. Экспортировать модель можно в любой формат с помощью аргумента format, например format='onnx' или format='engine'. На экспортированных моделях можно сразу выполнять предсказания или валидацию, например yolo predict model=yolo26n-sem.onnx. После завершения экспорта для твоей модели будут показаны примеры использования.

nms=None по умолчанию возвращает исходные выходные данные для внешней NMS. Укажи nms=False, чтобы выбрать доступную голову без NMS; неподдерживаемые форматы используют собственный путь вывода. Элементы nms выше обозначают форматы, в которые можно встроить NMS с помощью nms=True.

Полное описание export смотри на странице экспорта.

Часто задаваемые вопросы#