Изолирование объектов сегментации

После выполнения задачи Segment Task иногда бывает необходимо извлечь изолированные объекты из результатов умозаключений. В этом руководстве приводится общий рецепт, как это сделать с помощьюрежима Ultralytics PredictMode.

Просмотр рецептов

1. Краткое руководство по установке необходимых библиотек см. в разделеUltralytics Quickstart Installation.

   ---

2. Загрузите модель и запустите predict() метод на источнике.

   from ultralytics import YOLO
   
   # Load a model
   model = YOLO("yolo11n-seg.pt")
   
   # Run inference
   results = model.predict()
   

   Нет аргументов в пользу предсказаний?

   Без указания источника будут использоваться примеры изображений из библиотеки:

   'ultralytics/assets/bus.jpg'
   'ultralytics/assets/zidane.jpg'
   

   Это полезно для быстрого тестирования с помощью predict() метод.

   Дополнительную информацию о моделях сегментации можно найти на сайте Задача сегмента Страница. Чтобы узнать больше о predict() метод, см. Режим предсказания в разделе Документация.

   ---

3. Теперь пройдитесь итерацией по результатам и контурам. Для рабочих процессов, которые хотят сохранить изображение в файл, исходное изображение base-name и обнаружение class-label извлекаются для последующего использования (необязательно).

   from pathlib import Path
   
   import numpy as np
   
   # (2) Iterate detection results (helpful for multiple images)
   for r in res:
       img = np.copy(r.orig_img)
       img_name = Path(r.path).stem  # source image base-name
   
       # Iterate each object contour (multiple detections)
       for ci, c in enumerate(r):
           # (1) Get detection class name
           label = c.names[c.boxes.cls.tolist().pop()]
   

   1. Чтобы узнать больше о работе с результатами обнаружения, см. раздел Вставки для режима прогнозирования.
   2. Чтобы узнать больше о predict() результаты см. Работа с результатами для режима Predict
   For-Loop

   Для одиночного изображения первый цикл будет пройден только один раз. Для одиночного изображения с единственным обнаружением каждый цикл будет пройден только один раз.

   ---

4. Начните с создания бинарной маски из исходного изображения, а затем нарисуйте на ней заполненный контур. Это позволит изолировать объект от других частей изображения. Пример из bus.jpg для одного из обнаруженных person Объекты класса показаны справа.

   

   import cv2
   
   # Create binary mask
   b_mask = np.zeros(img.shape[:2], np.uint8)
   
   # (1) Extract contour result
   contour = c.masks.xy.pop()
   # (2) Changing the type
   contour = contour.astype(np.int32)
   # (3) Reshaping
   contour = contour.reshape(-1, 1, 2)
   
   
   # Draw contour onto mask
   _ = cv2.drawContours(b_mask, [contour], -1, (255, 255, 255), cv2.FILLED)
   

   1. Для получения дополнительной информации о c.masks.xy см. Раздел "Маски" из режима прогнозирования.

   2. Здесь значения преобразуются в np.int32 для совместимости с drawContours() функция от OpenCV.

   3. OpenCV drawContours() Функция ожидает, что контуры будут иметь форму [N, 1, 2] расширить раздел ниже для получения более подробной информации.

   Чтобы понять, что происходит при определении contour переменная.

   • c.masks.xy :: Предоставляет координаты точек контура маски в формате (x, y). Для получения более подробной информации см. Раздел "Маски" из режима прогнозирования.

   • .pop() :: Как masks.xy является списком, содержащим один элемент, этот элемент извлекается с помощью pop() метод.

   • .astype(np.int32) :: Использование masks.xy вернется с типом данных float32но это не будет совместимо с OpenCV. drawContours() функция изменит тип данных на int32 для совместимости.

   • .reshape(-1, 1, 2) :: Переформатирует данные в требуемую форму [N, 1, 2] где N количество точек контура, каждая из которых представлена одной записью 1, и запись состоит из 2 ценности. Сайт -1 означает, что число значений в этом измерении гибкое.

   Разверните, чтобы получить объяснение drawContours() конфигурация.

   • Инкапсуляция contour переменная в квадратных скобках, [contour]В ходе тестирования было установлено, что он эффективно генерирует желаемую контурную маску.

   • Значение -1 указанный для drawContours() Параметр указывает функции нарисовать все контуры, присутствующие на изображении.

   • Сайт tuple (255, 255, 255) представляет собой белый цвет, который является желаемым цветом для рисования контура в этой бинарной маске.

   • Добавление cv2.FILLED окрасит все пиксели, заключенные в границу контура, в один и тот же цвет, в данном случае все заключенные пиксели будут белыми.

   • См. Документация по OpenCV на drawContours() для получения дополнительной информации.

   ---

5. Далее предлагаются 2 варианта того, как можно продолжить работу с изображением с этой точки, и последующий вариант для каждого из них.

   Параметры изоляции объектов

   Пример

   Пиксели черного фонаПиксели прозрачного фона

   # Create 3-channel mask
   mask3ch = cv2.cvtColor(b_mask, cv2.COLOR_GRAY2BGR)
   
   # Isolate object with binary mask
   isolated = cv2.bitwise_and(mask3ch, img)
   

   Как это работает?

   • Сначала двоичная маска преобразуется из одноканального изображения в трехканальное. Это преобразование необходимо для последующего этапа, на котором маска и исходное изображение объединяются. Оба изображения должны иметь одинаковое количество каналов, чтобы быть совместимыми с операцией смешивания.

   • Исходное изображение и трехканальная бинарная маска объединяются с помощью функции OpenCV bitwise_and(). Эта операция сохраняет только значения пикселей, которые больше нуля (> 0) из обоих изображений. Поскольку пиксели маски больше нуля (> 0) только В области контура остаются пиксели, перекрывающие контур исходного изображения.

   Изолировать с помощью черных пикселей: Подварианты

   Полноразмерное изображение

   При сохранении полноразмерного изображения никаких дополнительных действий не требуется.

   

   Обрезанное изображение объекта

   Дополнительные действия необходимы для обрезки изображения, чтобы включить только область объекта.

   

   # (1) Bounding box coordinates
   x1, y1, x2, y2 = c.boxes.xyxy.cpu().numpy().squeeze().astype(np.int32)
   # Crop image to object region
   iso_crop = isolated[y1:y2, x1:x2]
   

   1. Дополнительную информацию о результатах создания ограничительных рамок см. в разделе Рамки из режима прогнозирования

   Что делает этот код?

   • Сайт c.boxes.xyxy.cpu().numpy() Вызов извлекает ограничительные рамки в виде массива NumPy в xyxy формат, где xmin, ymin, xmax, и ymax представляют собой координаты прямоугольника ограничительной рамки. См. Секция боксов из режима прогнозирования для более подробной информации.

   • Сайт squeeze() Операция удаляет лишние размеры из массива NumPy, обеспечивая его ожидаемую форму.

   • Преобразование значений координат с помощью .astype(np.int32) изменяет тип данных координат коробки с float32 на int32что делает их совместимыми для обрезки изображений с помощью индексных фрагментов.

   • Наконец, область ограничительной рамки вырезается из изображения с помощью индексной нарезки. Границы определяются с помощью [ymin:ymax, xmin:xmax] координаты ограничительной рамки обнаружения.

   # Isolate object with transparent background (when saved as PNG)
   isolated = np.dstack([img, b_mask])
   

   Как это работает?

   • Использование NumPy dstack() (укладка массива по оси глубины) в сочетании со сгенерированной бинарной маской создаст изображение с четырьмя каналами. Это позволяет сделать все пиксели за пределами контура объекта прозрачными при сохранении в формате PNG файл.

   Изолировать с помощью прозрачных пикселей: Подварианты

   Полноразмерное изображение

   При сохранении полноразмерного изображения никаких дополнительных действий не требуется.

   

   Обрезанное изображение объекта

   Дополнительные действия необходимы для обрезки изображения, чтобы включить только область объекта.

   

   # (1) Bounding box coordinates
   x1, y1, x2, y2 = c.boxes.xyxy.cpu().numpy().squeeze().astype(np.int32)
   # Crop image to object region
   iso_crop = isolated[y1:y2, x1:x2]
   

   1. Дополнительную информацию о результатах создания ограничительных рамок см. в разделе Рамки из режима прогнозирования

   Что делает этот код?

   • При использовании c.boxes.xyxy.cpu().numpy()Граничные поля возвращаются в виде массива NumPy, используя xyxy формат координат бокса, которые соответствуют точкам xmin, ymin, xmax, ymax для ограничительной рамки (прямоугольника), см. Секция боксов из режима прогнозирования для получения дополнительной информации.

   • Добавление squeeze() гарантирует, что все лишние размеры будут удалены из массива NumPy.

   • Преобразование значений координат с помощью .astype(np.int32) изменяет тип данных координат коробки с float32 на int32 которые будут совместимы при обрезке изображения с помощью индексных фрагментов.

   • Наконец, область изображения для ограничительного поля обрезается с помощью индексной нарезки, где границы задаются с помощью функции [ymin:ymax, xmin:xmax] координаты ограничительной рамки обнаружения.

   А если мне нужен обрезанный объект , включая фон?

   Это встроенная функция библиотеки Ultralytics . См. save_crop аргумент за Аргументы для умозаключений в режиме предсказания для деталей.

   ---

6. Что делать дальше, зависит только от вас как разработчика. В качестве примера показан один из возможных вариантов действий (сохранение изображения в файл для дальнейшего использования).

   • ПРИМЕЧАНИЕ: этот шаг не является обязательным и может быть пропущен, если он не требуется для вашего конкретного случая использования.
   Пример Заключительный шаг

   # Save isolated object to file
   _ = cv2.imwrite(f"{img_name}_{label}-{ci}.png", iso_crop)
   

   • В этом примере img_name базовое имя исходного файла изображения, label это имя обнаруженного класса, а ci индекс обнаружение объектов (в случае нескольких экземпляров с одним и тем же именем класса).

Полный код примера

Здесь все шаги из предыдущего раздела объединены в один блок кода. Для повторного использования оптимальным будет определить функцию, которая будет выполнять некоторые или все команды, содержащиеся в for-петли, но это упражнение остается на усмотрение читателя.

from pathlib import Path

import cv2
import numpy as np

from ultralytics import YOLO

m = YOLO("yolo11n-seg.pt")  # (4)!
res = m.predict()  # (3)!

# Iterate detection results (5)
for r in res:
    img = np.copy(r.orig_img)
    img_name = Path(r.path).stem

    # Iterate each object contour (6)
    for ci, c in enumerate(r):
        label = c.names[c.boxes.cls.tolist().pop()]

        b_mask = np.zeros(img.shape[:2], np.uint8)

        # Create contour mask (1)
        contour = c.masks.xy.pop().astype(np.int32).reshape(-1, 1, 2)
        _ = cv2.drawContours(b_mask, [contour], -1, (255, 255, 255), cv2.FILLED)

        # Choose one:

        # OPTION-1: Isolate object with black background
        mask3ch = cv2.cvtColor(b_mask, cv2.COLOR_GRAY2BGR)
        isolated = cv2.bitwise_and(mask3ch, img)

        # OPTION-2: Isolate object with transparent background (when saved as PNG)
        isolated = np.dstack([img, b_mask])

        # OPTIONAL: detection crop (from either OPT1 or OPT2)
        x1, y1, x2, y2 = c.boxes.xyxy.cpu().numpy().squeeze().astype(np.int32)
        iso_crop = isolated[y1:y2, x1:x2]

        # TODO your actions go here (2)

1. Строка, заполняющая contour объединяется в одну строку здесь, где выше она была разделена на несколько.
2. Что здесь будет, зависит только от вас!
3. Дополнительную информацию см. в разделе Режим прогнозирования.
4. Дополнительные сведения см. в разделе Сегментная задача.
5. Узнайте больше о работе с результатами
6. Узнайте больше о результатах применения маски сегментации

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ

Как выделить объекты с помощью Ultralytics YOLO11 для задач сегментации?

Чтобы изолировать объекты с помощью Ultralytics YOLO11 , выполните следующие действия:

1. Загрузите модель и запустите вывод:

   from ultralytics import YOLO
   
   model = YOLO("yolo11n-seg.pt")
   results = model.predict(source="path/to/your/image.jpg")
   

2. Создайте бинарную маску и нарисуйте контуры:

   import cv2
   import numpy as np
   
   img = np.copy(results[0].orig_img)
   b_mask = np.zeros(img.shape[:2], np.uint8)
   contour = results[0].masks.xy[0].astype(np.int32).reshape(-1, 1, 2)
   cv2.drawContours(b_mask, [contour], -1, (255, 255, 255), cv2.FILLED)
   

3. Выделите объект с помощью двоичной маски:

   mask3ch = cv2.cvtColor(b_mask, cv2.COLOR_GRAY2BGR)
   isolated = cv2.bitwise_and(mask3ch, img)
   

Дополнительную информацию см. в руководстве по режиму прогнозирования и задаче "Сегмент".

Какие опции доступны для сохранения изолированных объектов после сегментации?

Ultralytics YOLO11 предлагает два основных варианта сохранения изолированных объектов:

1. С черным фоном:

   mask3ch = cv2.cvtColor(b_mask, cv2.COLOR_GRAY2BGR)
   isolated = cv2.bitwise_and(mask3ch, img)
   

2. С прозрачным фоном:

   isolated = np.dstack([img, b_mask])
   

Более подробную информацию можно найти в разделе "Режим прогнозирования ".

Как обрезать изолированные объекты до их ограничительных рамок с помощью Ultralytics YOLO11 ?

Чтобы обрезать изолированные объекты до их ограничительных рамок:

1. Получение координат ограничительной рамки:

   x1, y1, x2, y2 = results[0].boxes.xyxy[0].cpu().numpy().astype(np.int32)
   

2. Обрежьте изолированное изображение:

   iso_crop = isolated[y1:y2, x1:x2]
   

Более подробную информацию о результатах построения ограничительной рамки можно найти в документации по режиму Predict.

Почему следует использовать Ultralytics YOLO11 для выделения объектов в задачах сегментации?

Ultralytics YOLO11 обеспечивает:

• Высокоскоростное обнаружение и сегментация объектов в реальном времени.
• Точная генерация ограничительных рамок и масок для точного выделения объектов.
• Исчерпывающая документация и простой в использовании API для эффективной разработки.

Изучите преимущества использования YOLO в документации Segment Task.

Можно ли сохранить изолированные объекты, включая фон, с помощью Ultralytics YOLO11 ?

Да, это встроенная функция в Ultralytics YOLO11 . Используйте save_crop аргумент в predict() метод. Например:

results = model.predict(source="path/to/your/image.jpg", save_crop=True)

Подробнее о save_crop аргумент в Аргументы для умозаключений в режиме предсказания раздел.

📅 Создано 12 месяцев назад ✏️ Обновлено 1 месяц назад

Комментарии