Семантическая сегментация#

Семантическая сегментация присваивает метку класса каждому пикселю на изображении, создавая плотную карту классов, которая охватывает всю сцену. В отличие от сегментации экземпляров, которая разделяет отдельные объекты, семантическая сегментация объединяет все пиксели одного класса вместе независимо от того, сколько различных объектов присутствует.

Результатом работы модели семантической сегментации является единая карта классов с высотой и шириной, где каждое значение пикселя соответствует предсказанному ID класса. Это делает семантическую сегментацию идеальной для задач парсинга сцен, таких как автономное вождение, медицинская визуализация и картирование земного покрова.

Модели#

Модели семантической сегментации YOLO26, предварительно обученные на датасете Cityscapes, показаны ниже.

Модели загружаются автоматически из последнего релиза Ultralytics при первом использовании.

• Значения mIoU^val указаны для одной модели и одного масштаба на валидационном наборе Cityscapes.
  Воспроизведи с помощью yolo semantic val data=cityscapes.yaml device=0 imgsz=2048
• Метрики Speed усреднены по валидационным изображениям Cityscapes с использованием экземпляра RTX3090.
  Воспроизведи с помощью yolo semantic val data=cityscapes.yaml batch=1 device=0|cpu imgsz=2048
• Значения Params и FLOPs относятся к объединенной модели после model.fuse(), которая объединяет слои Conv и BatchNorm. Предварительно обученные чекпоинты сохраняют всю архитектуру обучения и могут показывать больший счетчик.

Модели семантической сегментации YOLO26, предварительно обученные на датасете ADE20K, показаны ниже.

Модели загружаются автоматически из последнего релиза Ultralytics при первом использовании.

• Значения mIoU^val указаны для одной модели и одного масштаба на валидационном наборе ADE20K.
  Воспроизведи с помощью yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml device=0 imgsz=640, заменив yolo26n-sem-ade20k.pt на желаемый чекпоинт yolo26*-sem-ade20k.pt.
• Метрики Speed усреднены по валидационным изображениям ADE20K с использованием экземпляра RTX3090.
  Воспроизведи с помощью yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml batch=1 device=0|cpu imgsz=640, заменив yolo26n-sem-ade20k.pt на желаемый чекпоинт yolo26*-sem-ade20k.pt.
• Значения Params и FLOPs относятся к объединенной модели после model.fuse(), которая объединяет слои Conv и BatchNorm. Предварительно обученные чекпоинты сохраняют всю архитектуру обучения и могут показывать больший счетчик.

Обучение#

Обучи YOLO26n-sem на датасете Cityscapes8 в течение 100 эпох при размере изображения 1024. Полный список доступных аргументов смотри на странице Configuration.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.yaml")  # build a new model from YAML
model = YOLO("yolo26n-sem.pt")  # load a pretrained model (recommended for training)
model = YOLO("yolo26n-sem.yaml").load("yolo26n-sem.pt")  # build from YAML and transfer weights

# Train the model
results = model.train(data="cityscapes8.yaml", epochs=100, imgsz=1024)

Смотри подробности о режиме train на странице Train. Модели семантической сегментации также можно обучать с помощью облачного обучения Ultralytics Platform.

Формат набора данных#

Датасеты семантической сегментации используют одноканальные маски-изображения, обычно в формате PNG, где значение каждого пикселя представляет идентификатор класса. Пиксели со значением 255 трактуются как «игнорируемые» и исключаются из вычисления функции потерь. В YAML-файле датасета должны быть указаны пути к изображениям и соответствующим им директориям масок. Подробности о формате см. в Руководстве по датасетам семантической сегментации. Поддерживаемые датасеты включают Cityscapes и ADE20K. Ты можешь управлять семантическими датасетами и размечать их с помощью разметки Ultralytics Platform.

Валидация#

Выполни валидацию точности обученной модели YOLO26n-sem на датасете семантической сегментации. Передай data явно, чтобы валидация использовала нужный YAML-файл датасета.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Validate the model
metrics = model.val(data="cityscapes.yaml")
metrics.miou  # mean Intersection over Union
metrics.pixel_accuracy  # overall pixel accuracy

Предсказание#

Используй обученную модель YOLO26n-sem для запуска предсказаний на изображениях.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    semantic_mask = result.semantic_mask.data  # class map, shape (H,W), integer dtype selected by class count

Смотри полную информацию о режиме predict на странице Предсказание.

Вывод результатов#

Семантическая сегментация YOLO возвращает один объект Results на изображение. Каждый результат хранит одну плотную карту классов для всего изображения вместо списка масок объектов. Пиксели с предсказанным одинаковым классом разделяют один и тот же ID класса, даже если они принадлежат разным объектам.

Информацию о специфичных для задач полях Results для каждой задачи см. в разделе Результаты предсказания по задачам.

Экземплярная vs Семантическая сегментация#

Экспорт#

Экспортируй модель YOLO26n-sem в другой формат, такой как ONNX, CoreML и т.д.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Export the model
model.export(format="onnx")

Доступные форматы экспорта семантической сегментации YOLO26 приведены в таблице ниже. Ты можешь экспортировать в любой формат с помощью аргумента format, то есть format='onnx' или format='engine'. Ты можешь выполнять предсказание или валидацию напрямую на экспортированных моделях, т.е. yolo predict model=yolo26n-sem.onnx. Примеры использования показываются для твоей модели после завершения экспорта.

Смотри полную информацию об export на странице Экспорт.

FAQ#