Сегментация экземпляров с Ultralytics YOLO#

Сегментация экземпляров идет дальше обнаружения объектов: она позволяет находить отдельные объекты на изображении и отделять их от остальной части изображения.

Модель сегментации экземпляров выдает набор масок или контуров, очерчивающих каждый объект на изображении, а также метки классов и оценки уверенности для каждого объекта. Сегментация экземпляров полезна, когда важно знать не только расположение объектов на изображении, но и их точную форму.

Модели#

Ниже представлены предварительно обученные на наборе данных COCO модели YOLO26 Segment.

Модели автоматически загружаются из последнего релиза Ultralytics при первом использовании.

• Значения mAP^val рассчитаны для одной модели и одного масштаба на наборе данных COCO val2017.
  Воспроизвести результат можно с помощью yolo segment val data=coco.yaml device=0 nms=False
• Скорость рассчитана как среднее значение по изображениям COCO val: ONNX на CPU и TensorRT10 на GPU NVIDIA T4.
  Воспроизведи результаты с помощью yolo segment val data=coco.yaml batch=1 device=0|cpu nms=False.
• Значения Params и FLOPs указаны для объединённых моделей после свёртки Conv/BatchNorm и удаления неиспользуемой ветви обнаружения. Предварительно обученные контрольные точки сохраняют полную архитектуру обучения, поэтому их показатели могут быть выше.

Эти контрольные точки сегментируют 80 классов COCO. Чтобы сегментировать категории, не входящие в этот список, без повторного обучения, смотри YOLOE: модель принимает классы в виде текстового запроса, визуального примера или встроенного словаря.

Предварительные результаты по боксам и маскам COCO смотри в анонсе предстоящего YOLO27.

Обучение#

Обучи YOLO26n-seg на наборе данных COCO8-seg в течение 100 эпох с размером изображения 640. Полный список доступных аргументов смотри на странице Configuration.

from ultralytics import YOLO

# Загрузить модель
model = YOLO("yolo26n-seg.yaml")  # создать новую модель из YAML
model = YOLO("yolo26n-seg.pt")  # загрузить предварительно обученную модель (рекомендуется для обучения)
model = YOLO("yolo26n-seg.yaml").load("yolo26n-seg.pt")  # создать модель из YAML и перенести веса

# Обучить модель
results = model.train(data="coco8-seg.yaml", epochs=100, imgsz=640)

Полное описание режима train смотри на странице Train. Модели сегментации также можно обучать в облаке с помощью Ultralytics Platform.

Формат датасета#

Подробное описание формата наборов данных для сегментации YOLO смотри в руководстве по наборам данных. Чтобы преобразовать существующий набор данных COCO JSON в формат YOLO, используй встроенную функцию convert_coco с use_segments=True, как описано в руководстве по преобразованию COCO в YOLO. Ты также можешь создавать маски сегментации с помощью инструментов-полигонов и интеллектуальной разметки на основе SAM в Ultralytics Platform.

Валидация#

Проверь точность обученной модели YOLO26n-seg. Аргументы не нужны: model сохраняет параметры обучения data и аргументы в атрибутах модели. Модель path/to/best.pt из примера на странице Train проходит валидацию на COCO8-seg. В официальных весах указан путь к обучающему набору данных, которого нет на твоем компьютере, поэтому модель переключается на набор данных задачи по умолчанию coco8-seg.yaml и выводит предупреждение. Укажи data, чтобы провести валидацию на другом наборе данных.

from ultralytics import YOLO

# Загрузить модель
model = YOLO("yolo26n-seg.pt")  # загрузить официальную модель
model = YOLO("path/to/best.pt")  # загрузить пользовательскую модель

# Валидировать модель
metrics = model.val()  # аргументы не нужны, набор данных и настройки сохранены
metrics.box.map  # map50-95(B)
metrics.box.map50  # map50(B)
metrics.box.map75  # map75(B)
metrics.box.maps  # список значений mAP50-95(B) для каждой категории
metrics.box.image_metrics  # словарь метрик для каждого изображения для det с точностью, полнотой, F1, TP, FP и FN
metrics.seg.map  # map50-95(M)
metrics.seg.map50  # map50(M)
metrics.seg.map75  # map75(M)
metrics.seg.maps  # список значений mAP50-95(M) для каждой категории
metrics.seg.image_metrics  # словарь метрик для каждого изображения для seg с точностью, полнотой, F1, TP, FP и FN

Предсказание#

Используй обученную модель YOLO26n-seg для предсказаний на изображениях.

from ultralytics import YOLO

# Загрузить модель
model = YOLO("yolo26n-seg.pt")  # загрузить официальную модель
model = YOLO("path/to/best.pt")  # загрузить пользовательскую модель

# Получи предсказания с помощью модели
results = model("https://ultralytics.com/images/bus.jpg")  # получи предсказание для изображения

# Обратись к результатам
for result in results:
    xy = result.masks.xy  # полигоны масок в пиксельных координатах
    xyn = result.masks.xyn  # нормализованные полигоны масок
    masks = result.masks.data  # бинарные маски, форма (N,H,W), тип данных torch.uint8

Полное описание режима predict см. на странице Предсказание.

Результаты работы#

При сегментации экземпляров YOLO возвращает один объект Results для каждого изображения. Каждый результат содержит предсказания на уровне объектов: у каждого обнаруженного экземпляра есть собственная бинарная маска, класс, оценка уверенности и бокс.

Описание полей Results, специфичных для каждой задачи, см. в разделе Результаты предсказаний по задачам.

Сегментация экземпляров и семантическая сегментация#

Сегментация экземпляров — это сегментация на уровне объектов: для двух машин создаются две маски, два бокса и две оценки уверенности. Семантическая сегментация — это классификация на уровне пикселей: те же машины представлены пикселями с одинаковым ID класса на одной карте классов размером с изображение; боксы, оценки уверенности и список полигонов по умолчанию не формируются. Смотри сравнение по параметрам на странице о семантической сегментации.

Экспорт#

Экспортируй модель YOLO26n-seg в другой формат, например ONNX, CoreML и т. д.

from ultralytics import YOLO

# Загрузить модель
model = YOLO("yolo26n-seg.pt")  # загрузить официальную модель
model = YOLO("path/to/best.pt")  # загрузить пользовательскую модель

# Экспортировать модель
model.export(format="onnx")

Доступные форматы экспорта YOLO26-seg перечислены в таблице ниже. Экспортировать модель можно в любой формат с помощью аргумента format, например format='onnx' или format='engine'. На экспортированных моделях можно сразу выполнять предсказания или валидацию, например yolo predict model=yolo26n-seg.onnx. После завершения экспорта для твоей модели будут показаны примеры использования.

nms=None по умолчанию возвращает исходные выходные данные для внешней NMS. Укажи nms=False, чтобы выбрать доступную голову без NMS; неподдерживаемые форматы используют собственный путь вывода. Элементы nms выше обозначают форматы, в которые можно встроить NMS с помощью nms=True.

Полное описание export смотри на странице экспорта.

Часто задаваемые вопросы#