Link to this sectionСемантическая сегментация#

Семантическая сегментация присваивает метку класса каждому пикселю изображения, создавая плотную карту классов, которая покрывает всю сцену. В отличие от экземплярной сегментации, которая разделяет отдельные объекты, семантическая сегментация группирует все пиксели одного класса вместе, независимо от того, сколько отдельных объектов присутствует.

Результатом работы модели семантической сегментации является единая карта классов с высотой и шириной, где каждое значение пикселя соответствует предсказанному ID класса. Это делает семантическую сегментацию идеальной для задач парсинга сцен, таких как автономное вождение, медицинская визуализация и картирование земного покрова.

Link to this sectionМодели#

Модели семантической сегментации YOLO26, предварительно обученные на наборе данных Cityscapes, представлены ниже.

Модели скачиваются автоматически из последнего релиза Ultralytics при первом использовании.

• mIoU^val значения приведены для одной модели в одном масштабе на валидационном наборе Cityscapes.
  Воспроизведи с помощью yolo semantic val data=cityscapes.yaml device=0 imgsz=2048
• Метрики скорости усреднены по валидационным изображениям Cityscapes с использованием инстанса RTX3090.
  Воспроизведи с помощью yolo semantic val data=cityscapes.yaml batch=1 device=0|cpu imgsz=2048
• Значения Params и FLOPs указаны для объединенной (fused) модели после model.fuse(), которая объединяет слои Conv и BatchNorm. Предобученные чекпоинты сохраняют полную архитектуру обучения и могут показывать более высокие значения.

Ниже представлены модели семантической сегментации YOLO26, предварительно обученные на наборе данных ADE20K.

Модели скачиваются автоматически из последнего релиза Ultralytics при первом использовании.

• Значения mIoU^val указаны для одной модели при одном масштабе на валидационном наборе данных ADE20K.
  Воспроизведи результат с помощью команды yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml device=0 imgsz=640, заменив yolo26n-sem-ade20k.pt на нужный чекпоинт yolo26*-sem-ade20k.pt.
• Показатели Speed усреднены по валидационным изображениям ADE20K с использованием инстанса RTX3090.
  Воспроизведи результат с помощью команды yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml batch=1 device=0|cpu imgsz=640, заменив yolo26n-sem-ade20k.pt на нужный чекпоинт yolo26*-sem-ade20k.pt.
• Значения Params и FLOPs указаны для объединенной (fused) модели после model.fuse(), которая объединяет слои Conv и BatchNorm. Предобученные чекпоинты сохраняют полную архитектуру обучения и могут показывать более высокие значения.

Link to this sectionОбучение#

Обучи YOLO26n-sem на наборе данных Cityscapes8 в течение 100 эпох при размере изображения 1024. Полный список доступных аргументов смотри на странице Конфигурация.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.yaml")  # build a new model from YAML
model = YOLO("yolo26n-sem.pt")  # load a pretrained model (recommended for training)
model = YOLO("yolo26n-sem.yaml").load("yolo26n-sem.pt")  # build from YAML and transfer weights

# Train the model
results = model.train(data="cityscapes8.yaml", epochs=100, imgsz=1024)

Полную информацию о режиме train смотри на странице Train. Модели семантической сегментации также можно обучать с помощью Ultralytics Platform cloud training.

Link to this sectionФормат набора данных#

В наборах данных для семантической сегментации используются одноканальные маски (обычно в формате PNG), где каждое значение пикселя соответствует ID класса. Пиксели со значением 255 игнорируются и исключаются из расчета функции потерь. В YAML-файле набора данных укажи пути к изображениям и соответствующим им папкам с масками. Подробности формата смотри в Semantic Segmentation Dataset Guide. Поддерживаются такие наборы данных, как Cityscapes и ADE20K. Ты можешь управлять и размечать наборы данных для семантической сегментации с помощью Ultralytics Platform annotation.

Link to this sectionВалидация#

Проверь точность обученной модели YOLO26n-sem на наборе данных для семантической сегментации. Передай data явно, чтобы при валидации использовался нужный YAML-файл набора данных.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Validate the model
metrics = model.val(data="cityscapes.yaml")
metrics.miou  # mean Intersection over Union
metrics.pixel_accuracy  # overall pixel accuracy

Link to this sectionПредсказание#

Используй обученную модель YOLO26n-sem для запуска предсказаний на изображениях.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    semantic_mask = result.semantic_mask.data  # class map, shape (H,W), integer dtype selected by class count

Полную информацию о режиме predict смотри на странице Predict.

Link to this sectionВывод результатов#

Семантическая сегментация YOLO возвращает один объект Results на каждое изображение. Каждый результат хранит одну плотную карту классов для всего изображения вместо списка масок объектов. Пиксели с одинаковым предсказанным классом имеют общий ID класса, даже если они принадлежат разным объектам.

Для получения информации о специфичных для задачи полях Results см. раздел Предсказания по задачам.

Link to this sectionЭкземплярная vs Семантическая сегментация#

Link to this sectionЭкспорт#

Экспортируй модель YOLO26n-sem в другой формат, такой как ONNX, CoreML и т.д.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Export the model
model.export(format="onnx")

Доступные форматы экспорта семантической сегментации YOLO26 приведены в таблице ниже. Ты можешь выполнить экспорт в любой формат, используя аргумент format, например format='onnx' или format='engine'. Ты можешь предсказывать или проводить валидацию непосредственно на экспортированных моделях, например yolo predict model=yolo26n-sem.onnx. Примеры использования будут показаны для твоей модели после завершения экспорта.

Смотри подробную информацию об export на странице Export.

Link to this sectionFAQ#

Link to this sectionКак обучить модель семантической сегментации YOLO26 на собственном наборе данных?#

Чтобы обучить модель семантической сегментации YOLO26 на собственном наборе данных, нужно подготовить изображения масок в формате PNG, где каждое значение пикселя представляет ID класса (0, 1, 2, ...), а пиксели со значением 255 игнорируются при обучении. Создай файл YAML набора данных, указывающий на директории с изображениями и масками, затем обучи модель:

from ultralytics import YOLO

# Load a pretrained YOLO26 semantic segmentation model
model = YOLO("yolo26n-sem.pt")

# Train the model
results = model.train(data="path/to/your_dataset.yaml", epochs=100, imgsz=512)

Проверь страницу Конфигурация для получения информации о дополнительных аргументах.

Link to this sectionВ чем разница между экземплярой и семантической сегментацией?#

Экземплярная и семантическая сегментации — это задачи на уровне пикселей, но они отличаются в одном ключевом аспекте:

• Семантическая сегментация присваивает метку класса каждому пикселю, но не различает отдельные объекты одного и того же класса. Например, все автомобили на сцене имеют одну и ту же метку класса.
• Экземплярная сегментация идентифицирует каждый отдельный объект по отдельности, создавая четкие маски для каждого объекта, даже если они принадлежат к одному классу.

Семантическая сегментация лучше всего подходит для задач понимания сцены, таких как автономное вождение и картирование земного покрова, в то время как экземплярная сегментация предпочтительнее, когда важен подсчет или отслеживание отдельных объектов.

Link to this sectionМожно ли использовать данные экземплярной сегментации для обучения семантической сегментации?#

Yes. If your dataset uses Ultralytics YOLO polygon labels (one .txt per image), omit masks_dir from the dataset YAML, and make sure no masks/ folder exists next to your images at the dataset root (its presence alone triggers PNG-mask mode even without masks_dir set). The loader then converts polygons to per-image semantic masks on the fly. For multi-class datasets (N > 1) an extra background class is appended to names automatically. For single-class datasets (N == 1) training stays at 1 class — your declared class becomes 1 in the mask and uncovered pixels become 0. See the Semantic Segmentation Dataset Guide for details.

Link to this sectionКакие наборы данных поддерживаются для семантической сегментации?#

Ultralytics YOLO26 предоставляет встроенные конфигурации для нескольких наборов данных семантической сегментации:

• Cityscapes: Городские уличные сцены с 19 классами, широко используемые для исследований в области автономного вождения.
• ADE20K: Крупномасштабный набор данных для парсинга сцен со 150 классами.

Ты также можешь использовать любой пользовательский набор данных, который предоставляет аннотации масок в формате PNG, где значения пикселей соответствуют ID классов.

Link to this sectionКак проверить предварительно обученную модель семантической сегментации YOLO26?#

Проверь предварительно обученную модель семантической сегментации YOLO26 с помощью YAML-файла набора данных, используемого для оценки:

from ultralytics import YOLO

# Load a pretrained model
model = YOLO("yolo26n-sem.pt")

# Validate the model
metrics = model.val(data="cityscapes.yaml")
print("Mean IoU:", metrics.miou)
print("Pixel Accuracy:", metrics.pixel_accuracy)

Эти шаги предоставят тебе метрики валидации, такие как среднее пересечение по объединению (mIoU) и точность по пикселям, которые являются стандартными мерами для оценки производительности семантической сегментации.

Link to this sectionКак экспортировать модель семантической сегментации YOLO26 в формат ONNX?#

Экспортируй модель семантической сегментации YOLO26 в формат ONNX с помощью Python или команд CLI:

from ultralytics import YOLO

# Load a pretrained model
model = YOLO("yolo26n-sem.pt")

# Export the model to ONNX format
model.export(format="onnx")

Для получения подробной информации об экспорте в различные форматы обратись к странице Экспорт.