Сегментация и отслеживание экземпляров с помощью Ultralytics YOLOv8 🚀.

Q: How can I implement object tracking using Ultralytics YOLOv8?

Чтобы реализовать отслеживание объектов, используй метод model.track и убедись, что идентификатор каждого объекта последовательно присваивается во всех кадрах. Ниже приведен простой пример: Узнай больше в разделе "Сегментация и отслеживание объектов".

Что такое сегментация экземпляров?

Ultralytics YOLOv8 Сегментация экземпляров подразумевает идентификацию и выделение отдельных объектов на изображении, обеспечивая детальное понимание пространственного распределения. В отличие от семантической сегментации, она уникально маркирует и точно очерчивает каждый объект, что крайне важно для таких задач, как обнаружение объектов и медицинская визуализация.

В пакете Ultralytics доступны два типа отслеживания сегментации инстансов:

Сегментация экземпляра с помощью объектов класса: Каждому объекту класса присваивается уникальный цвет для четкого визуального разделения.
Сегментация экземпляров с помощью треков объектов: Каждый трек представлен отдельным цветом, что облегчает его идентификацию и отслеживание.

Смотри: Сегментация экземпляров с отслеживанием объектов с помощью Ultralytics YOLOv8

Образцы

Сегментация экземпляров	Сегментация объектов + отслеживание объектов

Ultralytics Сегментация экземпляра 😍.	Ultralytics Сегментация экземпляров с помощью отслеживания объектов 🔥.

Сегментация и отслеживание экземпляров

Сегментация экземпляровСегментация экземпляров с отслеживанием объектов

import cv2

from ultralytics import YOLO
from ultralytics.utils.plotting import Annotator, colors

model = YOLO("yolov8n-seg.pt")  # segmentation model
names = model.model.names
cap = cv2.VideoCapture("path/to/video/file.mp4")
w, h, fps = (int(cap.get(x)) for x in (cv2.CAP_PROP_FRAME_WIDTH, cv2.CAP_PROP_FRAME_HEIGHT, cv2.CAP_PROP_FPS))

out = cv2.VideoWriter("instance-segmentation.avi", cv2.VideoWriter_fourcc(*"MJPG"), fps, (w, h))

while True:
    ret, im0 = cap.read()
    if not ret:
        print("Video frame is empty or video processing has been successfully completed.")
        break

    results = model.predict(im0)
    annotator = Annotator(im0, line_width=2)

    if results[0].masks is not None:
        clss = results[0].boxes.cls.cpu().tolist()
        masks = results[0].masks.xy
        for mask, cls in zip(masks, clss):
            color = colors(int(cls), True)
            txt_color = annotator.get_txt_color(color)
            annotator.seg_bbox(mask=mask, mask_color=color, label=names[int(cls)], txt_color=txt_color)

    out.write(im0)
    cv2.imshow("instance-segmentation", im0)

    if cv2.waitKey(1) & 0xFF == ord("q"):
        break

out.release()
cap.release()
cv2.destroyAllWindows()

from collections import defaultdict

import cv2

from ultralytics import YOLO
from ultralytics.utils.plotting import Annotator, colors

track_history = defaultdict(lambda: [])

model = YOLO("yolov8n-seg.pt")  # segmentation model
cap = cv2.VideoCapture("path/to/video/file.mp4")
w, h, fps = (int(cap.get(x)) for x in (cv2.CAP_PROP_FRAME_WIDTH, cv2.CAP_PROP_FRAME_HEIGHT, cv2.CAP_PROP_FPS))

out = cv2.VideoWriter("instance-segmentation-object-tracking.avi", cv2.VideoWriter_fourcc(*"MJPG"), fps, (w, h))

while True:
    ret, im0 = cap.read()
    if not ret:
        print("Video frame is empty or video processing has been successfully completed.")
        break

    annotator = Annotator(im0, line_width=2)

    results = model.track(im0, persist=True)

    if results[0].boxes.id is not None and results[0].masks is not None:
        masks = results[0].masks.xy
        track_ids = results[0].boxes.id.int().cpu().tolist()

        for mask, track_id in zip(masks, track_ids):
            color = colors(int(track_id), True)
            txt_color = annotator.get_txt_color(color)
            annotator.seg_bbox(mask=mask, mask_color=color, label=str(track_id), txt_color=txt_color)

    out.write(im0)
    cv2.imshow("instance-segmentation-object-tracking", im0)

    if cv2.waitKey(1) & 0xFF == ord("q"):
        break

out.release()
cap.release()
cv2.destroyAllWindows()

`seg_bbox` Аргументы

Имя	Тип	По умолчанию	Описание
`mask`	`array`	`None`	Координаты маски сегментации
`mask_color`	`RGB`	`(255, 0, 255)`	Цвет маски для каждой сегментированной коробки
`label`	`str`	`None`	Метка для сегментированного объекта
`txt_color`	`RGB`	`None`	Цвет метки для сегментированного и отслеживаемого объекта

Примечание

По всем вопросам не стесняйся писать в разделе вопросовUltralytics или в разделе обсуждений, который указан ниже.

ВОПРОСЫ И ОТВЕТЫ

Как выполнить сегментацию экземпляров с помощью Ultralytics YOLOv8 ?

Чтобы выполнить сегментацию экземпляра с помощью Ultralytics YOLOv8 , инициализируй модель YOLO сегментационной версией YOLOv8 и обрабатывай через нее видеокадры. Вот упрощенный пример кода:

Пример

Python

import cv2

from ultralytics import YOLO
from ultralytics.utils.plotting import Annotator, colors

model = YOLO("yolov8n-seg.pt")  # segmentation model
cap = cv2.VideoCapture("path/to/video/file.mp4")
w, h, fps = (int(cap.get(x)) for x in (cv2.CAP_PROP_FRAME_WIDTH, cv2.CAP_PROP_FRAME_HEIGHT, cv2.CAP_PROP_FPS))

out = cv2.VideoWriter("instance-segmentation.avi", cv2.VideoWriter_fourcc(*"MJPG"), fps, (w, h))

while True:
    ret, im0 = cap.read()
    if not ret:
        break

    results = model.predict(im0)
    annotator = Annotator(im0, line_width=2)

    if results[0].masks is not None:
        clss = results[0].boxes.cls.cpu().tolist()
        masks = results[0].masks.xy
        for mask, cls in zip(masks, clss):
            annotator.seg_bbox(mask=mask, mask_color=colors(int(cls), True), det_label=model.model.names[int(cls)])

    out.write(im0)
    cv2.imshow("instance-segmentation", im0)
    if cv2.waitKey(1) & 0xFF == ord("q"):
        break

out.release()
cap.release()
cv2.destroyAllWindows()

Узнай больше о сегментации экземпляров в руководствеUltralytics YOLOv8 .

В чем разница между сегментацией экземпляров и отслеживанием объектов в Ultralytics YOLOv8 ?

Сегментация объектов идентифицирует и очерчивает отдельные объекты в изображении, присваивая каждому объекту уникальную метку и маску. Отслеживание объектов расширяет эту функцию, присваивая объектам последовательные метки в разных видеокадрах, что позволяет непрерывно отслеживать одни и те же объекты в течение долгого времени. Подробнее об этих различиях можно узнать из документацииUltralytics YOLOv8 .

Почему я должен использовать Ultralytics YOLOv8 для сегментации и трекинга, а не другие модели, например Mask R-CNN или Faster R-CNN.

Ultralytics YOLOv8 предлагает производительность в реальном времени, превосходную точность и простоту использования по сравнению с другими моделями, такими как Mask R-CNN или Faster R-CNN. YOLOv8 обеспечивает бесшовную интеграцию с Ultralytics HUB, позволяя пользователям эффективно управлять моделями, наборами данных и конвейерами обучения. Узнай больше о преимуществах YOLOv8 в блогеUltralytics .

Как реализовать слежение за объектами с помощью Ultralytics YOLOv8 ?

Чтобы реализовать слежение за объектами, используй model.track метод и убедись, что ID каждого объекта последовательно присваивается во всех кадрах. Ниже приведен простой пример:

Пример

Python

from collections import defaultdict

import cv2

from ultralytics import YOLO
from ultralytics.utils.plotting import Annotator, colors

track_history = defaultdict(lambda: [])

model = YOLO("yolov8n-seg.pt")  # segmentation model
cap = cv2.VideoCapture("path/to/video/file.mp4")
w, h, fps = (int(cap.get(x)) for x in (cv2.CAP_PROP_FRAME_WIDTH, cv2.CAP_PROP_FRAME_HEIGHT, cv2.CAP_PROP_FPS))

out = cv2.VideoWriter("instance-segmentation-object-tracking.avi", cv2.VideoWriter_fourcc(*"MJPG"), fps, (w, h))

while True:
    ret, im0 = cap.read()
    if not ret:
        break

    annotator = Annotator(im0, line_width=2)
    results = model.track(im0, persist=True)

    if results[0].boxes.id is not None and results[0].masks is not None:
        masks = results[0].masks.xy
        track_ids = results[0].boxes.id.int().cpu().tolist()

        for mask, track_id in zip(masks, track_ids):
            annotator.seg_bbox(mask=mask, mask_color=colors(track_id, True), track_label=str(track_id))

    out.write(im0)
    cv2.imshow("instance-segmentation-object-tracking", im0)
    if cv2.waitKey(1) & 0xFF == ord("q"):
        break

out.release()
cap.release()
cv2.destroyAllWindows()

Узнай больше в разделе Instance Segmentation and Tracking.

Есть ли какие-нибудь наборы данных, предоставленные Ultralytics , подходящие для обучения моделей YOLOv8 , например, сегментации и трекинга?

Да, Ultralytics предлагает несколько наборов данных, подходящих для обучения YOLOv8 -моделей, включая наборы данных для сегментации и отслеживания. Примеры наборов данных, их структуру и инструкции по использованию можно найти в документацииUltralytics Datasets.

Создано 2023-12-18, Обновлено 2024-07-14
Авторы: RizwanMunawar (2), glenn-jocher (10), IvorZhu331 (1)