Как изолировать сегментированные объекты с помощью Ultralytics YOLO#

Сегментация экземпляров создает пиксельно-точную маску для каждого обнаруженного объекта, что означает возможность извлечь каждый объект из изображения по отдельности. В этом руководстве показано, как превратить результаты сегментации Ultralytics YOLO в изолированные объекты с помощью режима предсказания и OpenCV, используя сплошной черный или прозрачный фон для сохранения в формате PNG.

Зачем изолировать сегментированные объекты?#

Извлечение отдельных объектов из изображения открывает ряд возможностей для дальнейшей обработки:

• Удаление фона для фотографий товаров, каталогов или творческого редактирования.
• Вырезание отдельных объектов для создания наборов данных классификации на основе твоих обнаружений.
• Целенаправленная обработка, чтобы последующие шаги, такие как OCR, цветовой анализ или измерения, видели только сам объект, а не окружающую сцену.
• Экспорт в прозрачный PNG для наложения объектов на новые фоны.

Рецепт работает с любой моделью сегментации Ultralytics YOLO и состоит из четырех этапов: запуск инференса → извлечение каждого контура → изоляция объекта → сохранение результата.

Запуск вывода сегментации#

Установи необходимые библиотеки, затем загрузи модель сегментации (суффикс -seg, необходимый для создания масок) и запусти предсказание на исходном изображении:

from ultralytics import YOLO

# Load a segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on a source
results = model.predict(source="path/to/image.jpg")

Извлечение контуров объектов#

Каждый элемент в results соответствует одному изображению, а итерация по результату возвращает одно обнаружение за раз. Для каждого обнаружения скопируй исходное изображение, прочти название класса и нарисуй контур маски объекта на пустой бинарной маске. Белая область этой маски точно обозначает пиксели, принадлежащие объекту.

Фрагменты кода в этом и следующем разделах выполняются внутри цикла обнаружения ниже; полный готовый скрипт находится в разделе Полный пример.

{ width="240", align="right" }

from pathlib import Path

import cv2
import numpy as np

for r in results:
    img = np.copy(r.orig_img)
    img_name = Path(r.path).stem  # source image base-name

    # Iterate each detected object in the image
    for ci, c in enumerate(r):
        label = c.names[c.boxes.cls.tolist().pop()]  # class name

        # Build a binary mask and draw the object contour onto it
        b_mask = np.zeros(img.shape[:2], np.uint8)
        contour = c.masks.xy[0].astype(np.int32).reshape(-1, 1, 2)
        cv2.drawContours(b_mask, [contour], -1, (255, 255, 255), cv2.FILLED)

Изоляция объекта#

Когда бинарная маска готова, объедини её с исходным изображением. Есть два распространенных стиля, в зависимости от того, какой фон ты хочешь получить:

# Isolate object with a black background
mask3ch = cv2.cvtColor(b_mask, cv2.COLOR_GRAY2BGR)
isolated = cv2.bitwise_and(mask3ch, img)

# Bounding box coordinates
x1, y1, x2, y2 = c.boxes.xyxy.cpu().numpy().squeeze().astype(np.int32)
# Crop the isolated image to the object region
iso_crop = isolated[y1:y2, x1:x2]

Сохранение результата (опционально)#

Что делать с каждым изолированным объектом — решать тебе. Обычный следующий шаг — запись на диск для дальнейшего использования:

# Save the isolated object to file
cv2.imwrite(f"{img_name}_{label}-{ci}.png", isolated)

Здесь img_name — базовое имя исходного изображения, label — имя класса, а ci — индекс обнаружения, поэтому несколько экземпляров одного класса получают уникальные имена файлов. Замени isolated на iso_crop, если ты применил указанное выше дополнительное обрезание.

Полный пример#

Приведенный ниже скрипт объединяет каждый шаг в один запускаемый блок. По умолчанию используется черный фон; замени единственную отмеченную строку на np.dstack([img, b_mask]) для получения прозрачного PNG:

from pathlib import Path

import cv2
import numpy as np

from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")
results = model.predict(source="path/to/image.jpg")

for r in results:
    img = np.copy(r.orig_img)
    img_name = Path(r.path).stem

    for ci, c in enumerate(r):
        label = c.names[c.boxes.cls.tolist().pop()]

        # Build a binary mask from the object contour
        b_mask = np.zeros(img.shape[:2], np.uint8)
        contour = c.masks.xy[0].astype(np.int32).reshape(-1, 1, 2)
        cv2.drawContours(b_mask, [contour], -1, (255, 255, 255), cv2.FILLED)

        # Isolate the object (black background)
        mask3ch = cv2.cvtColor(b_mask, cv2.COLOR_GRAY2BGR)
        isolated = cv2.bitwise_and(mask3ch, img)  # transparent PNG: isolated = np.dstack([img, b_mask])

        # Save or add your custom post-processing here
        cv2.imwrite(f"{img_name}_{label}-{ci}.png", isolated)

        # Optional: crop to the bounding box before saving
        # x1, y1, x2, y2 = c.boxes.xyxy.cpu().numpy().squeeze().astype(np.int32)
        # cv2.imwrite(f"{img_name}_{label}-{ci}.png", isolated[y1:y2, x1:x2])

Для повторного использования оберни тело цикла в функцию, чтобы вызывать ее для множества изображений.

Заключение#

Теперь у тебя есть готовый рецепт для выделения сегментированных объектов с помощью Ultralytics YOLO: запуск инференса, создание бинарной маски из каждого контура, извлечение объекта на черном или прозрачном фоне и дополнительное обрезание по ограничивающей рамке. Изучи полную документацию по задаче сегментации и режиму предсказания, чтобы адаптировать рабочий процесс под свои классы.

FAQ#