Сегментация экземпляров с помощью Ultralytics YOLO#

Сегментация экземпляров делает еще один шаг вперед по сравнению с обнаружением объектов и заключается в определении отдельных объектов на изображении и их сегментации от остальной части изображения.

Результатом работы модели сегментации экземпляров является набор масок или контуров, которые очерчивают каждый объект на изображении, а также метки классов и показатели уверенности для каждого объекта. Сегментация экземпляров полезна, когда тебе нужно знать не только где находятся объекты на изображении, но и какова их точная форма.

Модели#

Здесь представлены предварительно обученные модели YOLO26 Segment. Модели Detect, Segment и Pose предварительно обучены на датасете COCO, Semantic модели предварительно обучены на датасете Cityscapes, а модели Classify предварительно обучены на датасете ImageNet.

Модели загружаются автоматически из последнего релиза Ultralytics при первом использовании.

• Значения mAP^val указаны для одной модели в одном масштабе на датасете COCO val2017.
  Воспроизведите с помощью yolo val segment data=coco.yaml device=0
• Speed усреднена по изображениям COCO val с использованием инстанса Amazon EC2 P4d.
  Воспроизведите с помощью yolo val segment data=coco.yaml batch=1 device=0|cpu
• Значения Params и FLOPs даны для слитной модели после model.fuse(), которая объединяет слои Conv и BatchNorm и, для моделей end2end, удаляет вспомогательную голову детекции «один ко многим». Предварительно обученные чекпоинты сохраняют полную архитектуру обучения и могут показывать большие значения.

Обучение#

Обучи модель YOLO26n-seg на датасете COCO8-seg в течение 100 эпох с размером изображения 640. Полный список доступных аргументов смотри на странице Configuration.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-seg.yaml")  # build a new model from YAML
model = YOLO("yolo26n-seg.pt")  # load a pretrained model (recommended for training)
model = YOLO("yolo26n-seg.yaml").load("yolo26n-seg.pt")  # build from YAML and transfer weights

# Train the model
results = model.train(data="coco8-seg.yaml", epochs=100, imgsz=640)

Смотри подробности о полном режиме train на странице Train. Модели сегментации также можно обучать с помощью облачного обучения Ultralytics Platform.

Формат набора данных#

С подробным форматом датасетов сегментации YOLO можно ознакомиться в Dataset Guide. Чтобы конвертировать существующий датасет из других форматов (например, COCO и т. д.) в формат YOLO, используй инструмент JSON2YOLO от Ultralytics. Ты также можешь создавать маски сегментации с помощью аннотирования Ultralytics Platform, используя инструменты полигонов и умную аннотацию на базе SAM.

Валидация#

Выполни валидацию точности обученной модели YOLO26n-seg на датасете COCO8-seg. Никакие аргументы не нужны, так как model сохраняет свои data обучения и аргументы в качестве атрибутов модели.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-seg.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Validate the model
metrics = model.val()  # no arguments needed, dataset and settings remembered
metrics.box.map  # map50-95(B)
metrics.box.map50  # map50(B)
metrics.box.map75  # map75(B)
metrics.box.maps  # a list containing mAP50-95(B) for each category
metrics.box.image_metrics  # per-image metrics dictionary for det with precision, recall, F1, TP, FP, and FN
metrics.seg.map  # map50-95(M)
metrics.seg.map50  # map50(M)
metrics.seg.map75  # map75(M)
metrics.seg.maps  # a list containing mAP50-95(M) for each category
metrics.seg.image_metrics  # per-image metrics dictionary for seg with precision, recall, F1, TP, FP, and FN

Предсказание#

Используй обученную модель YOLO26n-seg для выполнения предсказаний на изображениях.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-seg.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    xy = result.masks.xy  # mask polygons in pixel coordinates
    xyn = result.masks.xyn  # normalized mask polygons
    masks = result.masks.data  # binary masks, shape (N,H,W), dtype torch.uint8

Смотри полную информацию о режиме predict на странице Предсказание.

Вывод результатов#

Сегментация экземпляров YOLO возвращает один объект Results на изображение. Каждый результат сохраняет предсказания на уровне объектов, где каждый обнаруженный экземпляр имеет собственную бинарную маску, класс, уровень уверенности и бокс.

Информацию о специфичных для задач полях Results для каждой задачи см. в разделе Результаты предсказания по задачам.

Чем это отличается от семантической сегментации#

Сегментация экземпляров — это сегментация на уровне объектов: две машины создают две маски, два бокса и две оценки уверенности. Семантическая сегментация — это классификация на уровне пикселей: те же самые машины становятся пикселями с тем же идентификатором класса в одной карте классов размером с изображение, без боксов для каждого объекта, уровней уверенности или списка полигонов по умолчанию.

Экспорт#

Экспортируй модель YOLO26n-seg в другой формат, такой как ONNX, CoreML и т.д.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-seg.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom-trained model

# Export the model
model.export(format="onnx")

Доступные форматы экспорта YOLO26-seg приведены в таблице ниже. Ты можешь экспортировать в любой формат, используя аргумент format, т. е. format='onnx' или format='engine'. Ты можешь выполнять предсказание или валидацию напрямую на экспортированных моделях, т. е. yolo predict model=yolo26n-seg.onnx. Примеры использования приводятся для твоей модели после завершения экспорта.

Смотри полную информацию об export на странице Экспорт.

FAQ#