Сегментация экземпляров с Ultralytics YOLO#

Сегментация экземпляров — это следующий этап после обнаружения объектов: она включает идентификацию отдельных объектов на изображении и их выделение из остальной части изображения.

Результатом работы модели сегментации экземпляров является набор масок или контуров, очерчивающих каждый объект на изображении, а также метки классов и оценки уверенности для каждого объекта. Сегментация экземпляров полезна, когда нужно знать не только, где находятся объекты на изображении, но и какова их точная форма.

Модели#

Здесь представлены предварительно обученные модели YOLO26 Segment. Модели обнаружения, сегментации и позы предварительно обучены на наборе данных COCO, семантические модели — на Cityscapes, а модели классификации — на наборе данных ImageNet.

Модели автоматически скачиваются из последнего релиза Ultralytics при первом использовании.

• Значения mAP^val приведены для одной модели и одного масштаба на наборе данных COCO val2017.
  Воспроизвести результаты можно с помощью yolo val segment data=coco.yaml device=0 nms=False
• Значение скорости усреднено по изображениям COCO val с использованием экземпляра Amazon EC2 P4d.
  Воспроизвести можно с помощью yolo val segment data=coco.yaml batch=1 device=0|cpu nms=False
• Значения Params и FLOPs приводятся для слитных моделей после свертки/пакетной нормализации (Conv/BatchNorm folding) и удаления неиспользуемой ветки детекции. Предварительно обученные контрольные точки сохраняют полную архитектуру обучения и могут показывать большие значения.

Эти контрольные точки выполняют сегментацию 80 классов COCO. Чтобы выполнять сегментацию категорий, не входящих в этот список, без повторного обучения, смотри YOLOE, который принимает классы в виде текстового запроса, визуального примера или встроенного словаря.

Смотри предварительный просмотр unreleased YOLO27 для предварительных результатов по ограничивающим рамкам и маскам COCO.

Обучение#

Обучи YOLO26n-seg на наборе данных COCO8-seg в течение 100 эпох при размере изображения 640. Полный список доступных аргументов смотри на странице Конфигурация.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-seg.yaml")  # build a new model from YAML
model = YOLO("yolo26n-seg.pt")  # load a pretrained model (recommended for training)
model = YOLO("yolo26n-seg.yaml").load("yolo26n-seg.pt")  # build from YAML and transfer weights

# Train the model
results = model.train(data="coco8-seg.yaml", epochs=100, imgsz=640)

Полные сведения о режиме train смотри на странице Обучение. Модели сегментации также можно обучать с помощью облачного обучения на платформе Ultralytics.

Формат датасета#

Формат датасета сегментации YOLO подробно описан в руководстве по датасетам. Чтобы конвертировать существующий датасет COCO JSON в формат YOLO, используй встроенную функцию convert_coco с use_segments=True, как описано в руководстве по конвертации COCO в YOLO. Ты также можешь создавать маски сегментации с помощью аннотации на платформе Ultralytics, используя инструменты полигонов и умную аннотацию на базе SAM.

Val#

Проверь точность обученной модели YOLO26n-seg на наборе данных COCO8-seg. Аргументы не нужны, поскольку model сохраняет параметры обучения data и аргументы в качестве атрибутов модели.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-seg.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Validate the model
metrics = model.val()  # no arguments needed, dataset and settings remembered
metrics.box.map  # map50-95(B)
metrics.box.map50  # map50(B)
metrics.box.map75  # map75(B)
metrics.box.maps  # a list containing mAP50-95(B) for each category
metrics.box.image_metrics  # per-image metrics dictionary for det with precision, recall, F1, TP, FP, and FN
metrics.seg.map  # map50-95(M)
metrics.seg.map50  # map50(M)
metrics.seg.map75  # map75(M)
metrics.seg.maps  # a list containing mAP50-95(M) for each category
metrics.seg.image_metrics  # per-image metrics dictionary for seg with precision, recall, F1, TP, FP, and FN

Predict#

Используй обученную модель YOLO26n-seg для выполнения предсказаний на изображениях.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-seg.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    xy = result.masks.xy  # mask polygons in pixel coordinates
    xyn = result.masks.xyn  # normalized mask polygons
    masks = result.masks.data  # binary masks, shape (N,H,W), dtype torch.uint8

Полное описание режима predict см. на странице Predict.

Выходные данные результатов#

Сегментация экземпляров YOLO возвращает один объект Results для каждого изображения. Каждый результат хранит предсказания на уровне объектов, где у каждого обнаруженного экземпляра есть собственные бинарная маска, класс, оценка уверенности и рамка.

Описание специфичных для задач полей Results для всех задач см. в разделе Результаты предсказаний по задачам.

Отличия от семантической сегментации#

Сегментация экземпляров выполняется на уровне объектов: две машины дают две маски, две рамки и две оценки уверенности. Семантическая сегментация — это классификация на уровне пикселей: те же машины становятся пикселями с одним и тем же идентификатором класса на одной карте классов размером с изображение, без рамок, оценок уверенности для отдельных объектов и стандартного списка полигонов.

Экспорт#

Экспортируй модель YOLO26n-seg в другой формат, например ONNX, CoreML и другие.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-seg.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom-trained model

# Export the model
model.export(format="onnx")

Доступные форматы экспорта YOLO26-seg приведены в таблице ниже. Ты можешь экспортировать модель в любой формат с помощью аргумента format, то есть format='onnx' или format='engine'. Ты можешь напрямую выполнять предсказания или проверку на экспортированных моделях, то есть yolo predict model=yolo26n-seg.onnx. Примеры использования для твоей модели отображаются после завершения экспорта.

nms=None по умолчанию выдает сырые результаты для внешнего NMS. Установи nms=False, чтобы выбрать доступный головной модуль без NMS; неподдерживаемые форматы возвращаются к своему родному пути вывода. Записи nms выше определяют форматы, которые могут встраивать NMS с помощью nms=True.

Полное описание export см. на странице Экспорт.

Часто задаваемые вопросы#